《Automation》：A Novel SLAM Approach for Trajectory Generation of a Dual-Arm Mobile Robot (DAMR) Using Sensor Fusion
Narendra Kumar Kolla and
Pandu Ranga Vundavilli
编辑推荐：
全球约22亿人受视力障碍影响。本研究提出了一种智能辅助导航系统，旨在解决视觉障碍人士的移动性挑战并提升其独立性。该系统集成了三个模块：视觉模块用于检测障碍物及交互物体（如门、椅子、人、灭火器等）；基于深度相机的距离模块用于提供检测物体与障碍物的距离信息；语音模
全球约22亿人受视力障碍影响。本研究提出了一种智能辅助导航系统，旨在解决视觉障碍人士的移动性挑战并提升其独立性。该系统集成了三个模块：视觉模块用于检测障碍物及交互物体（如门、椅子、人、灭火器等）；基于深度相机的距离模块用于提供检测物体与障碍物的距离信息；语音模块则在检测物体与障碍物落入预设阈值距离内时，为视觉障碍人士提供听觉反馈。研究人员通过优化系统性能与用户体验，选用Jetson Nano以降低成本，但其与多数最新物体检测模型存在兼容性问题。为此采用YOLOv5n模型进行物体检测，但该模型初始的平均精度均值（mAP）与帧率较低。通过微调YOLOv5n的超参数并结合迁移学习，将mAP@50从原始的0.457提升至0.845，mAP@50-95从0.28提升至0.593。同时应用Tensor-RT优化以提高帧率，使模型可在实际场景中部署。实时实验表明，该系统成功向用户预警关键物体、危险及障碍物，实现了独立且自信的导航。
**论文解读：基于深度学习与传感器融合的视觉障碍人士智能辅助导航系统**
**研究背景**
全球约有22亿人存在视力障碍，预计到2030年将增至3.85亿，其中5500万为盲人。视觉障碍人士面临信息获取受限、依赖移动辅助工具、空间感知困难、社会排斥等问题。现有辅助技术分为长程（GPS、信标）、中程（白手杖、导盲犬、声纳、红外）和短程（屏幕阅读器、放大镜）三类，但各自存在局限性：长程工具无法检测瞬时危险，中程工具受反射物影响，短程工具缺乏环境上下文信息。基于计算机视觉与深度学习的系统虽能同时检测障碍物与交互物体，但面临检测精度低、距离估计差、反馈延迟等挑战。为此，研究人员提出了一种集成视觉、距离与语音模块的智能辅助导航系统，并通过Jetson Nano低成本平台实现实时验证。论文发表于《Automation》。
**主要技术方法**
研究人员采用Jetson Nano作为核心处理平台，使用Intel RealSense D455深度相机同时采集RGB图像与深度数据（精度约2mm/1m）。物体检测选用YOLOv5n模型（参数190万），通过超参数调优与迁移学习提升精度，并利用Tensor-RT优化加速推理。自行采集并标注室内数据集（5类交互物体：门、椅子、人、火、灭火器），通过Roboflow进行数据增强至1000张图像（后续扩展至3000张）。语音模块基于Pyttsx3库实现文本转语音反馈。
**研究结果**
**4.1 优化**
*4.1.1 超参数调优*
原始YOLOv5n在MS-COCO上mAP@50仅0.457。研究人员通过逐步增加类别数、调整学习率、批大小、锚框等超参数，并采用SGD优化器与余弦学习率衰减，最终在5类检测任务验证集上达到mAP@50为0.885（后称88.5%）。
*4.1.2 从用户角度优化系统*
通过实验确定最优阈值距离为1.4–1.6米（采用1.5米），短阈值响应不及时，长阈值导致过度播报。优化语音播报文本，缩短为“Chair at 1.5m”或仅播报物体名称；对“Fire”类别无视阈值始终播报。
**4.2 物体检测训练与性能评估**
训练损失在50个epoch内快速下降，随后收敛，框损失约0.02，分类损失约0.003。mAP@50稳定在0.845，mAP@50-95为0.593。在测试集上对所有5类物体取得高精度、召回率与平均精度。
**4.3 实时FPS与距离模块性能评估**
嵌入Jetson Nano后FPS初始为5，经Tensor-RT优化提升至19 FPS（人正常步行需15–20 FPS）。距离估计在0.5米内偏差接近0%，10米处偏差2.16%。
**4.4 物体检测模型对比评估**
与YOLOv7tiny、SSD对比：在1000张图像数据集上，YOLOv5n的mAP@50（0.845）比YOLOv7tiny（0.584）高44.7%，比SSD（0.6219）高35.9%；参数量（117万）比SSD（2430万）减少80.6%；推理延迟2.9 ms（FPS 75）。在扩展至3000张图像后，YOLOv5n的mAP@50达0.907，表现更优。在Jetson Nano上，YOLOv5n推理时间52.6 ms（FPS 19），优于YOLOv7tiny的76.9 ms（FPS 13）。
**5. 实时实现与对比分析**
*5.1 实时实现*
在室内环境中放置各种交互物体与障碍物进行实时测试。不同时间帧下系统成功检测并播报：门、椅子、人、障碍物等。系统还能在同时检测到多个物体时，仅播报阈值内最近物体，避免信息过载。
*5.2 实时导航定量分析*
各步骤延迟：帧捕获9.13 ms、YOLO推理52.6 ms、后处理0.9 ms、绘制2.7 ms，总延迟主要来自播报时间（如“A door”总延迟965.33 ms，“A fire extinguisher”总延迟2065.33 ms）。7次实验中物体检测准确率约86%–93%，整体检测准确率88.64%，播报完成率93.06%。
*5.3 与现有解决方案对比*
与现有电子旅行辅助（ETA）设备相比，本系统同时具备障碍物与交互物体检测、深度估计、听觉反馈、可穿戴性及实时测试能力。多数现有设备仅覆盖基本障碍检测。
*5.4 未来工作与可扩展性*
未来拟增加交互物体类别（如楼梯、人行道、汽车、自行车），扩展至室外，融入GPS；增强推理能力（如检测桌子后询问是否扫描桌面物品）；加入货币识别与计数功能。
**总结讨论与结论**
本研究提出了一种集成语音与听觉反馈的系统，在室内环境中辅助视觉障碍人士。系统包含视觉（YOLOv5n）、距离（深度相机）和语音三个模块，嵌入Jetson Nano实现实时。通过超参数调优，mAP@50达到88.5%；经Tensor-RT优化，帧率从5 FPS提升至19 FPS；距离模块在1.5米阈值内偏差近乎0%。语音模块成功向用户传达交互物体与障碍物的存在及其距离。该系统可有效用于全天活动，帮助视觉障碍人士在日常生活中获得更大独立性。
