《Biomimetics》：A Modular Vision System for Practical Object Detection on Resource-Constrained Humanoid Robots
编辑推荐：
在仿人机器人上部署现代基于深度学习的视觉系统仍然具有挑战性，原因在于有限的车载计算资源和遗留软件约束。本文提出了一种基于YOLOv9框架的模块化视觉系统，用于资源受限仿人平台上的实用物体检测（object detection）。所提出的架构采用双环境设计，将感
在仿人机器人上部署现代基于深度学习的视觉系统仍然具有挑战性，原因在于有限的车载计算资源和遗留软件约束。本文提出了一种基于YOLOv9框架的模块化视觉系统，用于资源受限仿人平台上的实用物体检测（object detection）。所提出的架构采用双环境设计，将感知流水线与机器人控制系统解耦，以实现现代深度学习库与基于ROS（机器人操作系统，Robot Operating System）的平台之间的兼容性。为支持高效部署，研究人员训练了任务特定的轻量级模型，并将其集成到针对仅CPU（中央处理器，Central Processing Unit）推理优化的模块化流水线中。该系统在源自FIRA RoboWorld Cup（Hurocup）竞赛的多个任务场景中进行了评估，包括马拉松（Marathon）、篮球（Basketball）和射箭（Archery）。性能从检测精度和计算效率两方面进行评估，表明在受限硬件条件下可在4–8 FPS（帧每秒，Frames Per Second）下实现可靠的感知。结果显示，与传统的几何视觉方法相比，所提方法在动态和视觉复杂环境中提高了鲁棒性，同时为机器人决策保持了实用的、响应式的任务级感知。该工作强调了精度、计算成本和系统响应性之间的权衡，并展示了在嵌入式仿人平台上部署现代物体检测模型的可行性。
**论文解读：基于YOLOv9的模块化视觉系统在资源受限仿人机器人上的实用物体检测**
**研究背景与问题**
在仿人机器人领域，部署现代深度学习视觉系统面临显著挑战。一方面，仿人平台通常仅配备CPU（中央处理器，Central Processing Unit），缺乏GPU（图形处理器，Graphics Processing Unit）加速，导致实时推理困难；另一方面，传统机器人软件框架（如ROS，机器人操作系统，Robot Operating System）与深度学习库存在兼容性问题，使得集成复杂。现有系统多依赖基于颜色分割、模板匹配等传统几何视觉方法，虽然计算高效，但在动态、光照变化、遮挡等复杂环境中鲁棒性不足。因此，亟需一种能在资源受限CPU平台上高效运行、同时保持模块化与实用性的物体检测（object detection）视觉系统。本研究受生物视觉系统模块化组织原理启发，旨在通过系统级设计，实现现代深度学习模型在CPU约束仿人机器人上的可行部署。
**研究内容与结论**
研究人员基于YOLOv9框架，设计并实现了一种模块化视觉系统。该系统采用双环境架构，将感知模块（运行于Python 3环境）与ROS控制模块（运行于Python 2.7环境）通过WebSocket桥接，解决了软件兼容性问题。针对FIRA Hurocup竞赛的三个任务（马拉松、篮球、射箭），训练了任务特定的轻量级YOLOv9模型（Tiny、Small、Medium），并应用帧跳过、输入调整、模型格式转换（PyTorch→ONNX→OpenVINO）及量化等优化，实现CPU仅推理。实验表明，系统在4–8 FPS（帧每秒，Frames Per Second）下即可支持有效机器人感知，相比传统几何方法，在光照变化、背景杂乱等方面鲁棒性显著提升，但在任务间存在差异：篮球任务表现最优，射箭任务近完美召回但可能过拟合，马拉松任务因箭头视觉相似导致分类混淆。该研究证明了在CPU约束仿人平台上部署现代物体检测模型的可行性，并突出了精度、计算成本与系统响应性之间的权衡。
**意义**
论文发表在《Biomimetics》（仿生学），其模块化双环境架构为将现代深度学习集成到遗留机器人系统提供了实用框架，为资源受限仿人机器人的视觉感知任务开辟了新途径，尤其适用于竞赛及实际应用场景。
**关键技术方法（不超过250字）**
研究采用的关键技术方法包括：① **YOLOv9框架**：选用YOLOv9-Tiny（YOLOv9-T）、YOLOv9-Small（YOLOv9-S）和YOLOv9-Medium（YOLOv9-M）三种轻量级架构，利用可编程梯度信息（PGI）和GELAN结构提升效率；② **双环境架构与WebSocket桥接**：在Python 3环境运行YOLOv9推理（使用PyTorch 2.5），通过WebSocket传输JSON格式的检测结果（边界框、类别标签、置信度），由Listener节点转发至ROS Kinetic（Python 2.7）环境的任务控制节点；③ **模型优化**：将训练后的模型依次转换为ONNX（开放神经网络交换格式）和OpenVINO（开放视觉推理与神经网络优化）格式，并应用后训练量化（float32→int8），结合帧跳过和输入缩放（640×640像素）最大化CPU推理速度；④ **任务特定数据集**：为三个FIRA Hurocup事件（马拉松、篮球、射箭）分别收集约150张/类图像，经Roboflow进行旋转、亮度、缩放等数据增强。样本来源于实验室环境采集，无外部队列来源。
**研究结果**（保留每个小标题，说明通过什么研究得出什么结论）
**5.1. Computational Performance（计算性能）**
通过帧跳过、输入调整、模型转换与量化优化后，系统在CPU仅硬件上达到4–8 FPS（帧每秒）。不同任务对帧率敏感度不同：导航任务（马拉松）容忍较低更新率，而交互任务（篮球、射箭）受益于更高时间分辨率。该性能足以支持评估的任务需求。
**5.2. System Responsiveness and Latency Considerations（系统响应性与延迟考量）**
由于仅传输轻量语义信息（边界框、类别标签、置信度），而非原始图像，WebSocket通信与JSON序列化带来的开销相对较小，系统延迟主要受神经网络推理时间主导。但本研究未对端到端延迟进行定量分析，留待未来工作。
**5.3. Comparison with Geometric Vision（与几何视觉方法的比较）**
与传统颜色分割、几何规则方法相比，YOLO系统在光照变化、背景杂乱等条件下检测更鲁棒。几何方法帧率更高（约高50%），但易受环境变异性影响；YOLO方法虽然帧率较低，但提供更稳定的检测，且无需后训练标定。静态与动态实验中，YOLO在篮球任务中表现更好（因光照鲁棒），射箭任务两者相当，马拉松任务几何方法略优（因YOLO对相似箭头混淆）。
**5.4. YOLO Training Results（YOLO训练结果）**
共训练9个模型（3种架构×3个事件），初始使用MSCOCO预训练权重，训练100轮，早停耐心值5。YOLOv9-Tiny获得最佳推理速度（空闲FPS测试中远超其他架构），因此被选为最终部署型号。篮球模型mAP（平均精度均值，mean Average Precision）、精度、召回率均高；射箭模型mAP@50高且召回率为1.0，但mAP@50–95波动大，暗示潜在过拟合；马拉松模型精度最低，混淆矩阵显示左右箭头混淆严重，归因于训练数据量小（约150张/类）和类间相似性。
**5.5. Experimental Setup and Procedure（实验设置与流程）**
在Laurentian智能移动机器人实验室（LIMRL）的草皮场地进行静态和动态实验。静态实验（机器人静止）：YOLO模块精度与几何方法相当，但在马拉松任务中因箭头混淆导致有效检测率偏低；几何方法帧率更高。动态实验（机器人运动执行任务）：两种方法帧率均下降。篮球任务YOLO优于几何（光照鲁棒）；射箭任务两者相当；马拉松任务几何方法优于YOLO（因YOLO对相似箭头误分类）。
**5.6. Discussion（讨论）**
研究验证了在CPU约束仿人平台上部署深度学习物体检测的可行性。双环境架构结合WebSocket桥接解决了兼容性问题，模块化设计受生物视觉通路分离启发。存在以下局限性：①训练数据集较小（约150张/类），限制泛化并可能过拟合，需加大数据量、使用合成数据；②系统延迟未定量测量，虽然通信开销预计较小（因传输轻量语义数据），但需未来详细分析；③量化对检测精度的影响未定量评估（量化仅用于推理优化，不影响训练mAP值）；④系统在ROBOTIS-OP3平台验证，但模块化ROS设计可扩展至其他类似平台。
**研究结论翻译（来自原文Conclusions部分）**
“本文提出了一种用于资源受限仿人机器人的模块化视觉系统，以实现响应式的实用物体检测。通过结合YOLOv9与双环境架构，该系统能够在仅CPU平台上部署现代深度学习模型。结果表明，中等处理速率（4–8 FPS）仍可支持实用的机器人感知，同时比传统方法具有更强的鲁棒性。该研究突出了关键权衡，并为将深度学习集成到受限机器人系统提供了实用框架。未来工作将专注于详细延迟分析、数据集扩展以及在基于ROS2的平台上的部署，以进一步提升性能和可扩展性。此外，将探索针对边缘和CPU推理设计的最新轻量级、效率优化的物体检测模型（包括近期YOLO变体），以进一步增强受限计算条件下的实时性能。”
