《Systems and Soft Computing》:Technical research on image-based virtual scene generation and stitching methods
编辑推荐:
随着感觉反馈数据量和复杂性的增加,能够管理异构数据的多模态数据融合平台在人工构建上面临巨大挑战。近年来,多模态机器学习的研究不断增多,研究人员主要集中于处理视觉与听觉数据的方法。然而,从机器人学的角度来看,与环境交互产生的触觉反馈对于执行实际任务至关重要。能够
随着感觉反馈数据量和复杂性的增加,能够管理异构数据的多模态数据融合平台在人工构建上面临巨大挑战。近年来,多模态机器学习的研究不断增多,研究人员主要集中于处理视觉与听觉数据的方法。然而,从机器人学的角度来看,与环境交互产生的触觉反馈对于执行实际任务至关重要。能够在不完全了解系统内部机制的情况下使用深度强化学习(DRL)是其主要优势之一。移动机器人中最困难的方面之一是路径规划,即避障。研究采用了一组人机传感器阵列,包括四个力传感器、两个操纵杆和一个深度感知摄像机,以此来检测人类意图。由于运动控制器能够通过交互力理解用户的意图,用户无需用手操作助行器,只需移动或转身即可。为了确保算法的有效性,研究人员在健康人群和虚拟患者上进行了初步测试。结果表明,与传统的比例控制器相比,所提出的运动控制方法更精确、更用户友好,并且能够识别用户的意图。为了提高意图识别的准确性,研究人员提出了一种多模态融合方法,将YoloV8模型与卷积神经网络(CNN)相结合。该系统随后使用摄像机、测力计和操纵杆分别获取移动角度(E)、骨盆姿态(F)和运动向量(H)。该方法通过提取特征并结合数据进行目标分类,最后利用视觉同步定位与建图(SLAM)模型和深度强化学习(DRL),通过机器人运动学输出电机速度控制。研究结果表明,该系统能够提供行走辅助,且所提方法是高效的。
研究背景与问题来看,在人类日常行为中,动态合成多模态信息是至关重要的能力,例如结合视觉和触觉信息进行精细操作。在光线不足的环境中,视觉感知受限,往往需要依赖其他感官。在机器人领域,融合多源数据的常见方法是基于贝叶斯推理的概率模型。然而,面对当前海量多模态和多关系数据集,这种研究常遇瓶颈。虽然机器学习技术由于能处理庞大复杂数据被提出用以应对该挑战,且近年来利用神经网络进行高效数据融合的研究颇多,但研究人员往往为了提升模型准确性而忽视了机器人应用中普遍存在的非标称情况(如噪声数据和传感器故障)。大多数研究侧重于利用数据互补性提升准确性,而严重缺乏对真实场景中干扰和传感器故障具有鲁棒性的数据源可互换性考量。鉴于多模态机器学习领域的快速发展,研究人员开展了相关研究,在多个数据集上比较了多种知名的多模态融合方法在数据退化场景下的表现,并验证了数据增强的影响,旨在突出多模态融合在机器人领域的重要性。该研究提出了一种新型多模态意图识别方法,结合基于力的直观运动控制器,成功将视觉SLAM、DRL等先进技术集成以提供行走辅助。研究得出的结论表明,该方法相比传统控制器更精确友好,有效解决了助行器的意图识别与路径规划问题。这对于提升多模态数据融合在复杂机器人系统中的鲁棒性具有重要意义。该论文发表在《Systems and Soft Computing》。
关键技术方法概括如下:研究主要采用了四项关键技术方法。首先是结合YoloV8与卷积神经网络(CNN)的混合架构,用于实时目标检测、特征提取与用户意图分类;其次是长短期记忆网络(LSTM),用于模拟和预测动态障碍物的移动轨迹与行为模式;再次是视觉同步定位与建图(SLAM)技术,用于在未知环境中实现机器人的精准位姿估计与地图构建;最后是基于软执行者-评论者(SAC)算法的深度强化学习(DRL)策略,结合连续奖励函数设计,用于机器人的最优路径规划与避障控制。研究使用的数据集来源包括KITTI、A2D2和nuScenes。
研究结果部分详细介绍如下:
1. 实验设计与评估指标:研究设计了包含数据处理、特征提取、目标识别、路径规划、视觉SLAM定位与动态障碍轨迹预测在内的实验流程。评估采用了像素精度(PA)、精确率(P)、召回率(R)、平均精度(AP)、交并比(IoU)以及均方根误差(RMSE)、平均绝对误差(MAE)、平均绝对百分比误差(MAPE)等多种指标。
2. 实验结果与模型性能:通过在静态障碍物环境中进行测试,研究人员发现YOLOv8模型在目标识别中表现出色,对测试数据集中的目标定位和分类具有高精度,其中堆肥目标的AP得分为0.75,非堆肥目标为0.65。模型平均处理速度为每张图片10.8毫秒,证明其具备实时推理的潜力。该方法成功提升了智能物流机器人的工作效率,降低了风险。
3. 融合方法比较与预测误差分析:在四个多模态融合算法的对比测试中,研究发现当所有模态可用且无噪声时,数据准备的质量比融合技术本身更为关键。在对比基准方法的实验中,提出的YOLOv8-CNN多模态融合模型取得了最低的RMSE、MAE、MSE和MAPE值(RMSE:0.182, MAE:0.141, MSE:0.033, MAPE:4.87%),相较于仅用CNN、仅用YOLOv8、传统比例控制以及无多模态融合的DRL方法,其预测准确性显著提升,充分证明了视觉与特征级信息结合的有效性。
4. 讨论与局限性:实验讨论指出,现有的流行机器人多模态处理方法在面对缺失或含噪模态时表现不佳,数据增强在一定程度上缓解了输入质量下降的负面影响。研究存在一定的局限性,包括验证范围仅限于健康人与虚拟患者,缺乏针对老年或步态障碍患者等目标用户的临床有效性;系统过度依赖少数特定传感器,单个组件故障会危及整个意图识别系统;处理YoloV8视频与SLAM计算以及DRL决策时可能产生计算延迟,导致控制输出滞后于用户即时意图。
5. 结论翻译与总结:在结论部分,研究人员总结该方法首先使用YoloV8从照片中提取时空信息,以实现对象识别和障碍物检测;随后结合YOLO模型、LSTM和视觉SLAM技术,将特征输入LSTM以模拟移动障碍物的路径与行为,并利用视觉SLAM实现机器人定位与地图生成;最后应用DRL方法进行路径规划以确保机器人无碰撞。实验表明,该方法在多个数据集上显著优于现有先进技术,尤其在路径规划精度和避障能力上表现突出。未来的研究应集中于扩大系统规模并在真实环境中进行综合医疗验证,如针对中风后或帕金森患者的长期研究,同时加强DRL在拥挤街道等动态非结构化环境下的适应性与鲁棒性。