《Robotics》:Camera-Only Closed-Loop Human Following by a Boston Dynamics Spot: A System-Level Experimental Study of Detection, Tracking, Monocular Ranging, and Velocity Control
编辑推荐:
四足机器人的人体跟随是一个感知与控制耦合的问题,检测可用性、身份连续性、测距可靠性以及延迟共同决定了系统行为。本研究在波士顿动力Spot平台上对基于相机的人体跟随流程进行了实验评估。最终的纯RGB跟随回路结合了YOLOv8n行人检测、DeepSORT跟踪、基于
四足机器人的人体跟随是一个感知与控制耦合的问题,检测可用性、身份连续性、测距可靠性以及延迟共同决定了系统行为。本研究在波士顿动力Spot平台上对基于相机的人体跟随流程进行了实验评估。最终的纯RGB跟随回路结合了YOLOv8n行人检测、DeepSORT跟踪、基于检测框宽度的单目几何测距以及有界线速度/偏航速度控制;Spot深度相机仅作为备选测距来源进行了评估。YOLOv8n在室内实现了59.0%的帧级检测成功率(36/61;95%置信区间46.5–70.5%),平均推理延迟为113.7 ms;在室外为38.75%(31/80;95%置信区间28.8–49.7%),平均推理延迟为118.1 ms。DeepSORT在51帧室内和45帧室外多人体场景中观测到零身份切换和零轨迹碎片化事件,处理速率约为3.2 FPS。在12帧具有现场参考距离的室外帧中,几何测距的平均绝对误差(MAE)为0.264 m,均方根误差(RMSE)为0.323 m;Spot深度数据仅在3帧中有效。连续速度控制相较于离散指令提供了定性上更平滑的跟随行为,并在目标丢失时停止。本研究贡献了一种可复现的系统级分析,揭示了商用四足机器人在基于相机的人体跟随中的实际设计权衡与失效模式。
一、研究背景与问题
四足机器人正越来越多地应用于工业巡检、基础设施监测、应急响应等对人类而言困难、危险或不便的环境。其运动能力使其能够穿越楼梯、不平整地面和杂乱区域,但实际部署还需要与人类操作者自然可靠交互的能力。自主人体跟随是其中尤为相关的功能,可支撑移动巡检、载荷运输、引导导航和人机协同辅助等应用。
人体跟随是一个闭环机器人问题,而非独立的计算机视觉任务。机器人必须反复检测行人、保持目标身份一致性、估计相对几何关系,并将感知结果转化为运动指令。任一环节的失败都会向其他环节传播:漏检中断目标定位;身份切换可能导致机器人跟随错误个体;不稳定的距离估计引发不必要的加速或制动;过高的感知延迟会使控制器对过期信息做出反应。在腿足平台上这一挑战更为突出。波士顿动力Spot具备强大的机动能力和集成传感器套件,但自定义自主行为仍需考虑平台特定的通信、软件开发工具包(SDK)、相机和计算约束。因此,人体跟随行为必须围绕完整的感知-控制回路设计,并在实体机器人上验证,而非仅依据检测器基准推断。
现有研究多采用传感器融合方案,如结合超宽带定位与三维激光感知、融合视觉与激光雷达的昼夜自适应跟随框架,或集成射频应答器、RGB视觉、激光雷达与局部避障规划器的ANYmal平台系统。这些方案虽提升了鲁棒性,但引入了额外传感、标定或随身设备需求。本研究旨在评估仅依赖相机感知的流水线在标准Spot平台上能达到何种程度,不依赖外部定位基础设施。
二、研究内容与结论
研究人员在波士顿动力Spot平台上开发并实验评估了一套闭环视觉人体跟随流水线。最终系统结合YOLOv8n行人检测、DeepSORT身份跟踪、基于检测框宽度的单目几何测距,以及有界的距离相关线速度/偏航速度控制。研究围绕四个研究问题展开:哪种轻量级YOLO配置在部署计算平台上提供最实用的帧级检测可用性与推理延迟折中;在室内外运行中,Spot深度测量与基于行人宽度的单目几何测距哪种提供更连续实用的闭环跟随反馈;DeepSORT的外观感知时间关联是否足以证明其额外计算成本合理;用有界连续速度控制替代离散SE(2)轨迹指令如何改变集成跟随行为的响应性与定性平滑度。
实验结果表明,YOLOv8n在室内实现59.0%帧级检测成功率(36/61;95%置信区间46.5–70.5%),平均推理时间113.7 ms;室外为38.75%(31/80;95%置信区间28.8–49.7%),平均推理时间118.1 ms。YOLOv8s虽在室外达到53.8%的检测成功率,但平均推理时间高达177.9 ms。DeepSORT在51帧室内和45帧室外多人场景中实现零身份切换和零碎片化,但处理速率降至约3.2 FPS,CPU利用率升至80–90%。在12帧具有现场参考距离的室外帧中,几何测距MAE为0.264 m,RMSE为0.323 m;Spot深度仅在3帧中有效。连续速度控制相较于离散轨迹指令和阈值分段控制产生定性更平滑的跟随行为,并在目标无效或超出有效范围时输出零速度指令。
研究的重要意义在于提供了商用四足机器人上集成检测-跟踪-测距-控制流水线的系统级实验验证与分解,揭示了检测器延迟、时间身份一致性、测量可用性、计算负载与闭环运动行为之间的实际权衡。研究不宣称提出新检测器或跟踪算法,而是展示既有组件如何在真实硬件上被选择、参数化与集成,以及何处失效。
三、关键技术方法
研究人员使用波士顿动力Spot四足机器人作为实验平台,臂装RGB相机作为主要行人感知源。所有检测、跟踪、可视化、日志记录与自定义控制计算均在配备M1处理器、8核CPU、8核GPU和16 GB内存的Apple MacBook Pro上执行,通过Spot SDK经本地网络通信。软件环境包括Python 3.10或更高版本、Ultralytics YOLO(YOLOv5和YOLOv8,YOLOv11n在探索性开发中评估)、OpenCV、NumPy、PyTorch和deep_sort_realtime库。系统架构为闭环结构:图像采集→行人检测→身份跟踪→距离估计→线速度/偏航控制→Spot速度指令→下一帧图像。检测采用YOLOv8n,跟踪采用DeepSORT(配置max_age=60帧、n_init=3、nn_budget=100、max_cosine_distance=0.25、MobileNet嵌入器、CPU执行)。距离估计采用基于检测框宽度的针孔相机近似,假设肩/躯干宽度W=0.45 m,手动标定焦距f=580像素。控制采用连续速度控制器:前进速度由估计距离经线性斜坡映射计算,偏航速率由目标中心水平误差经比例增益转换并饱和至±0.5 rad/s。
四、研究结果
4.1 行人检测性能
YOLOv5s在39帧室内帧中检测到目标17帧(43.6%),平均置信度0.857,平均推理时间159.75 ms;室外70帧中检测26帧(37.1%),置信度0.797,推理时间167.36 ms。YOLOv8n在61帧室内帧中产生36次检测(59.0%),平均置信度0.878,平均推理时间113.7 ms,平均CPU和RAM利用率分别为36.0%和78.7%。YOLOv8s室内帧级成功率为60.3%(35/58帧),但平均每帧需158.3 ms。室外条件下YOLOv8n检测可用性降至38.75%(80帧中31帧),平均置信度0.802,平均推理时间118.1 ms。YOLOv8s室外达53.8%(28/52帧),但平均推理时间177.9 ms,且产生偶发远距离行人误检。YOLOv8n因最低日志记录延迟、稳定资源使用和已验证的下游接口而被保留用于集成系统。
4.2 距离估计结果
室内深度相机在46帧中37帧产生有效输出,但个别失败对闭环测距具有操作后果。在约1.5–2.0 m物理间距处,深度流在代表性帧中返回约3.74 m,而几何估计约1.7 m;约0.6 m距离处深度流返回无效值,几何方法估计约0.61 m。44帧室外帧中仅16帧(36.36%)产生有效Spot深度测量,其余28帧(63.64%)由几何估计器提供备选测距信号。在12帧现场参考子集中,几何估计器MAE=0.264 m,RMSE=0.323 m,有符号偏差=+0.168 m,MAPE=9.14%;深度流仅在3帧中有效,该小子集上MAE为1.233 m,RMSE为2.017 m,主要由约5 m参考距离处1.51 m的深度估计驱动。
4.3 跟踪性能
基线边界框跟踪器室内处理68帧,零身份切换、两次碎片化事件,6.59 FPS,78.9%平均CPU使用率;室外处理95帧,零身份切换、两次碎片化,5.96 FPS,74.7% CPU。DeepSORT在51帧室内多人序列中保持两个一致身份,零身份切换、零碎片化,平均处理速率3.22 FPS,CPU利用率85.1%;室外45帧多人序列同样零切换零碎片化,3.16 FPS,81.2% CPU。37帧困难序列(含遮挡、错位和突变运动)产生6次碎片化事件但仍无观测身份切换,CPU利用率升至90.3%。按序列长度归一化,基线跟踪器室内每100帧2.94次碎片化,室外2.11次;DeepSORT在常规序列中每100帧0次碎片化,困难序列中16.2次。DeepSORT使室内吞吐量从6.59降至3.22 FPS(?51.1%),室外从5.96降至3.16 FPS(?47.0%),CPU负载分别增加6.2和6.5个百分点。
4.4 运动控制性能与集成跟随
轨迹指令控制确认了机器人可向视觉选定的行人移动,但指令结构产生可见停顿和突变。首个连续速度控制器通过短循环更新线性和偏航指令改善了响应性,但五区阈值策略仍在区域边界产生速度阶跃变化,偶发超调或振荡。最终线性斜坡将指令前进速度与估计距离线性关联,在有效跟随区间内替代了阶跃式速度分区。偏航控制器保持朝向横向目标运动,即使前进速度接近零时也能旋转机器人。观测运动定性上比先前的离散轨迹和阈值策略更平滑,但无同步外部轨迹真值可用于定量平滑度指标。
4.5 失效案例
两个失效模式尤为相关。第一,人体跟随逻辑不构成完整的障碍物建图和路径规划系统。在记录案例中,部分遮挡路径的梯子在优先人体跟随时未被充分处理。第二,在狭窄室内空间中,机器人因控制器缺乏空间感知回退行为而无法有效旋转。其他失效包括强烈室外逆光、长时间视觉遮挡、极近距离目标位置,以及拥挤场景中首个锁定轨迹可能不足以进行持续目标验证。
五、讨论与结论
讨论部分指出,检测器选择应依据闭环运行需求而非单一计算机视觉指标。YOLOv8s在记录序列中实现更高室外帧级检测成功率,但YOLOv8n推理时间显著更少,为跟踪、可视化、日志记录和指令生成留下更多处理余量。相对适中的帧级检测成功率强调了时间关联的重要性:成功检测通常具有高置信度,但在近距离遮挡、尺度转换、部分取景、阴影和逆光期间出现短序列漏检帧。DeepSORT虽降低可用处理吞吐量并将CPU利用率提升至约80–90%,但因多人场景需要显式目标身份而被保留。深度估计比较产生重要实践结果:专用深度传感器理论上更优,但记录的Spot深度流在室外频繁返回无效或不合理值;几何估计器固有近似性但在行人边界框可用时始终可用。闭环控制器中,连续、有界、可预测的估计比名义上更精确但间歇失效的传感器更有用。最清晰的行为改善来自从离散轨迹指令向连续速度控制的转变。
研究结论:本研究在波士顿动力Spot四足机器人上开发并实验评估了闭环视觉人体跟随流水线。最终系统结合YOLOv8n行人检测、DeepSORT身份跟踪、基于边界框宽度的单目几何测距和有界距离相关线速度/偏航速度控制。在记录序列中,YOLOv8n比YOLOv8s提供更低延迟同时保持可用检测可用性;DeepSORT在常规室内外多人测试中维持零观测身份切换但将跟踪吞吐量降至约3.2 FPS;几何测距方法在12帧室外现场参考子集中始终可用,MAE=0.264 m,RMSE=0.323 m,而Spot深度间歇不可用。用连续距离相关速度斜坡替代离散轨迹和阈值速度指令产生定性更平滑的跟随行为,并在选定目标无效或离开有效范围时显式零速度行为。科学贡献在于系统级实验分析,揭示检测器延迟、目标身份连续性、测距信号可用性、计算负载和运动控制设计如何在商用四足机器人上交互。证据支持无外部定位基础设施的RGB最终跟随回路的可行性,而记录的失效案例表明实际部署仍需障碍物感知导航、多传感器融合或置信度感知测距、持久重识别、预测运动控制,以及同步外部真值和重复参与者试验的验证。结论限于测试运行条件,旨在作为可复现的工程指导而非通用性能基准。