《Control Engineering Practice》：Multi-source fusion for hexapod wheel-legged mobile robot positioning with vision-Semantics
编辑推荐：
摘要在未知环境中工作的移动机器人需要稳定可靠的定位与状态估计功能。然而，传统的视觉惯性测距系统在户外复杂动态环境中仍存在性能下降的问题，其原因包括移动物体导致的视觉特征干扰、不规则地形带来的高频振动与冲击，以及近乎匀速运动时惯性激励不足和尺度漂移等问题。为解决这些问题，本文提出S
摘要
在未知环境中工作的移动机器人需要稳定可靠的定位与状态估计功能。然而，传统的视觉惯性测距系统在户外复杂动态环境中仍存在性能下降的问题，其原因包括移动物体导致的视觉特征干扰、不规则地形带来的高频振动与冲击，以及近乎匀速运动时惯性激励不足和尺度漂移等问题。为解决这些问题，本文提出SVF-VIKO这一面向户外动态环境中的轮腿式移动机器人的语义运动学扩展版VINS框架。该框架将语义动态特征过滤与机体运动预积分残差整合到紧密耦合的单目视觉惯性优化过程中。在前端，SVF利用DeepLabV3+语义分割网络，结合随机采样一致性算法和极线几何原理对特征点进行过滤，去除动态特征，同时保留符合静态场景几何约束的准静态特征。在后端，VIKO通过同一滑动窗口优化器，结合经SVF过滤后的视觉重投影残差、IMU预积分残差以及机体运动预积分残差，共同估算系统状态。在KAIST Urban数据集及自行收集的FAST数据集上的实验表明，SVF-VIKO提升了动态复杂地面环境下的定位精度，同时减少了尺度漂移。
引言
对于在真实场景中执行任务的智能自主移动机器人而言，动态物体（如移动的行人、车辆等）会导致SLAM过程中的特征点匹配错误和轨迹偏移，进而降低定位精度并生成错误的地图。在高度动态的环境中，静态环境假设的局限性愈发明显，这促使人们不断研究如何在动态环境下实现稳定的SLAM运行。早期的研究主要侧重于利用几何方法识别动态物体。Li和Lee（2017）提出了一种适用于动态场景的RGB-D SLAM系统，通过分析帧与关键帧之间的深度边缘点来为匹配的特征点赋予权重，从而估算它们属于动态物体的概率。Sun等人（2017）则采用量化深度图分割算法对像素进行分类，并结合连续帧之间RGB值的变化来辅助动态物体检测。这类方法可通过几何或深度信息减少动态特征的影响，但通常依赖RGB-D传感器、深度图或手工设计的几何规则，因此难以应用于复杂的户外场景或轻量级移动机器人平台。随着深度学习的快速发展（Pu等人，2023），研究人员开始将语义分割与物体检测技术集成到动态环境下的视觉SLAM系统中，取得了显著改进。Yu等人（2018）提出了DS-SLAM，将该方法与Badrinarayanan等人（2017）提出的语义分割网络相结合，并加入运动一致性检查机制，有效降低了动态元素对系统性能的影响，同时实现了密集的语义八叉树地图的生成。Zhong等人（2018）提出的Detect-SLAM则将视觉SLAM与基于深度神经网络的物体检测技术相融合，它引入了特征点状态分类机制，利用关键帧的RGB数据进行SSD单次多框检测器物体检测，并更新对应地图区域中的运动概率。Bescos等人（2018）将基于Mask R-CNN（He等人，2017）的动态物体检测模块集成到ORB-SLAM2（Mur-Artal和Tardos，2017）中，利用多视图几何结构识别移动物体。OVD-SLAM（He等人，2023）则利用RGB-D相机的深度数据以及YOLOv5的先验信息，开发出一种统计分割算法，用于区分前景与背景点。该方法通过卡方检验消除光流异常值，并为地图点计算优化权重，以评估潜在动态特征的可靠性。Cheng等人（2023）提出了SG-SLAM，该系统增加了物体检测模块与语义映射模块。其跟踪模块采用了快速动态特征筛选算法，整合语义与几何数据；而语义映射模块则能从点云和语义对象中生成直观的语义地图。这些动态语义SLAM方法体现了语义信息与几何一致性在动态场景定位中的价值。不过，这些方法的主要功能集中在动态特征去除、静态地图构建、背景恢复或语义地图生成等方面，通常并未解决单目VINS在近乎匀速运动时的IMU预积分问题、轮式/运动学约束问题以及尺度退化问题。因此，仅依靠动态语义前端仍不足以完全解决动态复杂环境中的视觉污染、惯性激励不足以及尺度漂移等问题。
VINS通过融合IMU与视觉传感器的数据，发挥了两者的互补优势。但在应用于地面移动机器人时，仍存在一些缺陷。在近似平面环境中运动时，机器人通常呈现恒定加速度或匀速运动模式，这种简化的运动模式会导致IMU激励不足，进而引发系统尺度误差，使定位精度下降。其次，在视觉特征匮乏或光照条件不佳的情况下，图像质量会显著下降，容易引发定位偏差，最终导致系统失效。为克服VINS的这些局限，研究人员引入了额外的信息源，将VINS发展为多源融合系统。将机器人运动学模型的测量数据与VINS相结合，是多源信息融合中的一种可靠方法，能够大幅提升姿态估计精度与系统稳定性。Wu等人（2017）提出了VINS On Wheels算法，该算法将低频轮式编码器数据与VINS相结合，使得尺度等参数可被准确获取。考虑到地面车辆的运动特性，该算法还在系统中加入了平面运动约束，进一步提升了定位精度与系统稳定性。Zhang等人（2019）提出了一种基于参数与滑动窗口迭代优化的方法，用于近似地面机器人的运动流形，该方法利用多个传感器的测量数据的流形表示来实现数据融合。Zuo等人（2022）则为滑移转向式移动机器人建立了基于瞬时旋转中心的VIO运动学模型约束，他们的方法能够实现运动学参数与导航状态的在线估计，大幅提升了定位精度。Kang等人（2019）提出了VINS-Vehicle，这是一种全新的紧密耦合型车辆动力学扩展方案，将VINS与二自由度车辆动力学模型的预积分功能紧密集成在一起。这类紧密耦合方法能够在统一框架内同时处理所有观测数据，充分利用视觉、惯性信息与机器人数学模型之间的互补性，是目前多源信息融合的主流思路。这些基于轮式/运动学辅助的VIO方法能够提升尺度可观测性、速度估计精度以及运动一致性。不过，这些方法的约束条件通常是针对特定的轮式车辆、滑移转向平台或车辆动力学模型设计的，它们主要关注运动学简化与尺度问题，却未明确处理视觉重投影残差中的动态物体干扰问题。此外，在转弯、打滑或轮子与地面接触不稳定时，运动学偏航约束本身也可能引入误差。因此，对于在户外复杂动态环境中工作的轮腿式移动机器人而言，仅仅添加运动学约束仍不足以在复杂的动态场景中实现稳定定位。
综上所述，多源信息融合的优势在于能够引入更丰富的观测数据与约束类型，从而提升系统状态估计的可观测性与稳定性。然而，现有的动态语义SLAM方法与基于运动学辅助的VIO方法仍无法同时满足户外复杂动态环境中的轮腿式移动机器人的定位需求。为解决这一问题，本文提出了SVF-VIKO，如图1所示，这是一种面向户外动态环境中的轮腿式移动机器人的语义运动学扩展版VINS框架。在前端，SVF结合了DeepLabV3+语义分割网络（Chen等人，2018）与随机采样一致性算法及极线几何原理，去除动态特征，同时保留符合几何一致性的准静态特征，从而提升视觉重投影约束的数量与质量。在后端，VIKO根据机体框架的向前速度与偏航率构建机体运动预积分残差，再通过同一滑动窗口优化器，结合经SVF过滤后的视觉重投影残差、IMU预积分残差以及机体运动预积分残差，共同估算系统状态。这样的设计旨在同时应对由动态物体引发的视觉测量污染、不规则地形导致的IMU测量误差，以及近乎匀速运动引起的尺度漂移问题。
本文的其余部分结构如下：第二部分介绍与语义信息相结合的前端视觉处理技术；第三部分详细阐述结合运动学约束的多源信息融合定位方法；第四部分在公共数据集及轮腿式机器人平台上对所提方法进行验证；第五部分总结本文的贡献与研究结论。
章节要点
与语义信息相结合的视觉前端处理
传统的VINS视觉前端通常依靠检测并跟踪场景中的特征点，通过分析其特征点的运动模式来估算相机姿态。然而，这种方法难以在动态场景中有效区分静态与动态特征点，因此容易受到移动物体的干扰。本节通过语义分割实现图像中的动态物体识别，并提出了一种结合语义信息的视觉前端处理方案
结合运动学约束的多源信息融合定位
当移动机器人做匀速运动时，IMU的激励不足，会导致VINS出现尺度不确定性，进而降低定位精度。为解决这一问题，本节将运动学信息引入定位系统中。借鉴IMU预积分的原理，构建了运动学预积分模型及其对应的运动学约束，这些约束与视觉约束、IMU约束一起被整合到
实验部分
前面的章节已经初步验证了语义视觉前端与运动学后端相比传统VINS框架各自所带来的改进效果。不过，SVF-VIKO的主要贡献并非仅在于单个模块的优化，而在于将语义前端、机体运动预积分残差与运动学初始化方法整合到统一的估计框架中。为了进一步评估这一系统级的优势，
结论
本文提出了一种名为SVF-VIKO的语义运动学单目VINS框架，专为户外动态环境中的轮腿式移动机器人设计。在前端，该框架利用DeepLabV3+、随机采样一致性算法及极线几何原理去除动态特征，同时保留符合几何一致性的准静态特征。在后端，它将视觉重投影残差、IMU预积分残差以及机体运动预积分残差在同一个滑动窗口中进行联合优化。这款六轮
CRediT作者贡献说明
Shuai He：论文撰写——初稿编写、可视化处理、方法设计。Xuechao Duan：指导监督、资金申请、概念构思。Jiajun Chen：论文撰写——审阅与编辑、软件开发、方法设计。Shuai Zhang：论文撰写——审阅与编辑。
利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。
Shuai He|Xuechao Duan|Jiajun Chen|Shuai Zhang
中国陕西省西安市长安区710071，西安电子科技大学机电耦合技术国家重点实验室
