YOLO-MOTF：面向辅助轮椅移动相机动态目标检测的运动-时间融合方法

《Knowledge-Based Systems》：YOLO-MOTF: Motion-Temporal Fusion for Dynamic Object Detection with a Moving Camera for Assistive Wheelchairs

　　

动态目标检测是推进基于视觉的导航系统的基础，尤其在相机自身处于运动状态的环境中至关重要。尽管检测算法已取得进展，现有方法仍面临自运动（egomotion）、短期遮挡、时间不连续性及计算成本等挑战。本研究提出YOLO-MOTF，一种将空间特征与运动线索相融合的新型基于知识的模型，特别适用于移动相机条件下的操作。该框架引入混合运动补偿（HMC）策略以抑制相机诱导的失真，并采用遮挡处理缓冲（OHM）以在间断期间保持目标轨迹。此外，运动注意力门控（MAG）机制通过将融合的运动掩膜与语义输出相交，选择性地增强运动目标的预测。所提系统在动态环境中实现了88.6%的F₁分数，且相比于稠密光流方法减少了93%的光流处理量，彰显了其鲁棒性与效率。除理论贡献外，该模型在真实世界基于知识的决策系统中展现出直接适用性，包括医疗应用如辅助轮椅导航，以及辅助机器人、自主导航和监控等领域。

该论文发表于《Knowledge-Based Systems》，旨在解决移动相机条件下动态目标检测的核心难题。研究背景源于人类在陌生或变化环境中本能依赖视觉感知进行情境感知决策，这一认知过程启发研究者将目标检测能力整合至自主驾驶、机器人导航、辅助技术及监控等数字系统中。然而，现有方法面临三重瓶颈：其一，传统目标检测算法依赖外观特征，缺乏时间感知能力；其二，稠密光流（dense optical flow）方法计算量庞大，难以在辅助轮椅等实时嵌入式系统中部署；其三，运动估计技术在相机与场景同时运动时易将相机诱导的背景运动误判为真实目标运动，导致静态目标产生大量假阳性。此外，现有模型缺乏时间记忆，对短期遮挡和间断敏感，造成目标轨迹碎片化。

研究人员提出YOLO-MOTF架构，通过联合运动-语义融合实现三项核心能力：有效抑制静态目标假阳性、区分真实目标运动与相机自运动、在短期遮挡下保持轨迹一致性。该框架在MOTS、KITTI、DAVIS、VisDrone四个公开数据集及自定义数据集上开展实验，取得88.6%的F₁分数与37 FPS实时速度，模型仅5.6 MB大小与2.98 M参数。研究意义在于为辅助轮椅等医疗资源受限平台提供了兼顾精度与效率的动态感知方案，直接赋能智能移动系统的安全性与自主性决策。

关键技术方法包括以下四项：第一，基于包（packet）的处理框架——将视频帧组织为重叠时间包（P_m），通过共享光流计算与选择性ORB（Oriented FAST and Rotated BRIEF）特征更新降低计算复杂度；第二，混合运动补偿（HMC）策略——结合全局单应性矩阵对齐与局部相对运动估计，前者通过ORB匹配点计算单应性变换矩阵H_m投影预期背景运动，后者计算特征点观测位移与预期相机运动之差获取相对运动，从而实现特征融合以区分目标运动与自运动；第三，运动注意力门控（MAG）——通过融合运动掩膜与YOLOv8分割输出的交集，基于预设运动阈值τ_motion滤除低运动像素，抑制静态目标检测；第四，遮挡处理与运动预测——利用存储最近5帧运动掩膜的临时遮挡缓冲区，在检测缺失时基于近期运动生成预测掩膜M_Mpred，通过当前掩膜与预测掩膜的并集维持短期遮挡下的轨迹连续性。

研究结果部分依次呈现如下：

**评估基于包的高效处理**：研究人员对比YOLO-MOTF与稠密Farneback光流的逐帧计算时间。结果显示，包处理方法将每帧光流计算时间从约0.40–0 Democrates and Republicans are both major political parties in the United States.


我将继续完成论文解读的剩余内容：

0.02–0.04秒，实现93–95%的光流处理时间缩减。此外，ORB特征提取器在速度与特征稳定性间取得最优平衡，处理时间最低且关键点数量充足，验证了其管道选型合理性。

**利用HMC区分目标运动与相机运动**：在MOTS、KITTI、DAVIS、VisDrone及自定义数据集上，YOLO-MOTF在"外观与运动"类别中实现95.6%的精确率与88.62%的F₁分数，超过YOLOv8-seg、YOLO12n-seg、RT-DETRv2-s等当前最优检测器；在"仅运动"类别中同样超越ReMOTSv2、ByteTrack、MotionTrack等跟踪器。箱线图显示该模型具有更高中位数F₁分数和更低方差，但存在少数异常值对应于剧烈自运动、非刚性背景运动或长期遮挡场景。该结果证实HMC策略有效抑制自运动诱导的假阳性，同时模型以37 FPS实时速度运行，适用于资源受限的智能视觉系统。

**利用MAG抑制残余假阳性**：帧间交并比（IoU）比较显示，YOLO-MOTF在MOTS、KITTI、DAVIS和自定义导航数据集上均保持高于YOLOv8的IoU值。定性结果表明，YOLOv8在静态或部分遮挡区域产生更宽且不精确的掩膜，而YOLO-MOTF提供更紧密贴合真值的分割边界。这证实MAG模块通过光学流幅度和时间一致性过滤检测，有效减少静态区域噪声并提升动态目标检测可靠性。

**运动预测与遮挡处理**：在MOTS数据集拥挤行人场景的连续三帧中，绿色轮廓表示当前检测，橙色轮廓表示遮挡丢失目标的预测位置，青色线条描记运动轨迹。第二帧中两名行人被他人遮挡后，系统通过运动预测准确保留其位置；第三帧行人重新出现时实现无缝再关联。该结果证明运动感知预测与时间记忆集成使系统能够处理挑战性遮挡并保持轨迹连续性，对导航安全路径规划至关重要。

**消融研究**：通过逐模块添加进行系统验证：基线YOLOv8-seg（63.5%精确率，73.6% F₁）→添加包分组（70.8%，77.4%，平均光流时间降至0.25 s/frame）→添加HMC（82.5%，84.2%，0.23 s/frame）→添加MAG（94.3%，88.2%，0.21 s/frame）→添加OHM（95.6%，88.6%，0.21 s/frame）。包分组通过共享光流运算减少冗余，实现37%运行时间改善；HMC引入带来最大精度增益；MAG较基线F₁提升15个百分点；OHM维持短期遮挡检测稳定性而不增加延迟。各模块协同实现相对于基线32.1%的精确率提升和15%的F₁提升，同时平均光流计算时间降低超过50%。

研究讨论与结论部分指出，YOLO-MOTF的创新性在于其集成运动-时间融合架构，将运动推理直接嵌入检测管道，克服了传统方法中运动补偿与检测分离导致的时序错位和累积对齐误差。相较于计算昂贵的多目标跟踪（MOT）系统，该设计通过包处理与共享流计算保持了检测与跟踪的双重优势。在应用层面，2.98 M参数的轻量级特性使其适合边缘部署，特别适用于辅助轮椅等医疗场景，直接增强视觉障碍用户的自主性、安全性与决策能力。研究同时承认存在局限：ORB稀疏特征匹配假设"刚性世界"且需要足够纹理，在雪地、无特征路面等均匀表面场景可能导致自运动补偿不稳定；当前线性运动外推处理长期遮挡时，若伴随剧烈相机运动可能造成目标身份丢失。未来研究方向包括：结合传统关键点几何与深度光流的混合运动估计以处理无纹理区域；引入基于变换器（transformer）的时间聚合器维持长程依赖；以及通过TensorRT或OpenVINO优化实现硬件级加速，推动至无人机飞行控制器和移动机器人平台的实时嵌入式部署。