基于关键帧的多无人机快速航拍图像拼接方法

《Automation》：A Rapid Aerial Image Mosaic Method for Multiple Drones Based on Key Frames Xiuzhen Wu, Yahui Qi, Liang Qin, Shi Yan and Jianxiu Zhang

　　

全球约有22亿人受到视力障碍影响，为应对视障人士在移动和日常生活活动中面临的重大挑战，研究人员提出了一种智能辅助导航系统。该系统集成了三个模块：视觉模块负责检测障碍物和交互对象（如门、椅子、人、灭火器等）；基于深度摄像头的距离模块提供检测物体和障碍物的距离；语音模块在检测物体或障碍物落入预设阈值距离内时，向视障人士提供听觉反馈。最终，研究人员从性能和用户体验两方面对系统进行了优化。采用Jetson Nano作为硬件平台以降低系统成本，但该平台与许多最新目标检测模型存在兼容性问题。为此，研究人员选用YOLOv5n模型进行目标检测，但其平均精度均值（mAP）和帧率较低。通过微调YOLOv5n的各项超参数并结合迁移学习，研究人员将mAP@50从原始0.457提升至0.845，mAP@50-95从0.28提升至0.593。同时，采用TensorRT优化技术提高帧率，使模型能够部署于实际场景。实时实验表明，所提系统成功向用户预警关键物体、危险和障碍物，实现了独立且自信的导航。

**论文解读：基于深度学习和低成本嵌入式平台的视障人士智能辅助导航系统**

**研究背景与问题**
全球约22亿人受视力障碍影响，预计2030年视障人数将达3.85亿。视障人士在信息获取、移动、空间感知、社会融入等方面面临严峻挑战，现有辅助技术（如长距离GPS导航、中距离电子旅行辅助ETA、短距离屏幕阅读器）虽有一定帮助，但均存在局限性：长距离工具无法检测瞬时危险，中距离工具（如声纳、红外）受环境反射干扰，短距离工具缺乏环境上下文信息。计算机视觉与深度学习系统虽能同时实现障碍物回避和交互物体识别，但面临检测精度低、距离估计差、反馈延迟等问题。因此，亟需一种实时、低成本、高精度的智能导航系统，以提升视障人士的独立性和安全性。

**研究内容与结论**
研究人员提出了一种结合视觉、距离和语音三个模块的智能辅助导航系统，并部署于NVIDIA Jetson Nano嵌入式平台进行实时验证。视觉模块采用YOLOv5n模型，通过超参数调优和迁移学习将mAP@50从0.457提升至0.845，mAP@50-95从0.28提升至0.593；距离模块利用Intel RealSense D455深度摄像头，在1.5米阈值内距离测量偏差接近0%；语音模块基于Pyttsx3库提供简洁的听觉反馈。通过TensorRT优化，系统帧率从5 FPS提升至19 FPS，满足实时需求。实时实验表明，系统可准确检测门、椅子、人、火、灭火器五类交互物体及障碍物，并在预设距离阈值内提供语音告警，整体目标检测准确率达88.64%，公告完成率（ACR）达93.06%。与已有设备相比，该系统在交互物体检测、深度估计、听觉反馈、可穿戴性和实时实现方面具有综合优势。论文发表在《Automation》上。

**主要关键技术方法**
1. **YOLOv5n目标检测模型**：选择轻量化模型YOLOv5n（参数1.9M）以兼容Jetson Nano，通过超参数调优（学习率、批量大小、锚框、余弦退火衰减、SGD优化器）和迁移学习提升检测精度。
2. **TensorRT优化**：将训练好的模型权重转换为TensorRT引擎，减少推理延迟，将Jetson Nano上的帧率从5 FPS提升至19 FPS。
3. **深度估计与距离模块**：利用Intel RealSense D455深度摄像头，将深度帧转换为NumPy数组，与RGB图像像素坐标对齐，计算物体距离，并在预设阈值（1.4–1.6米）内触发语音反馈。
4. **语音模块集成**：使用Pyttsx3库实现文本转语音，根据检测结果和距离阈值生成简洁的听觉反馈（如“椅子”“障碍物”），避免过载。

**研究结果**
**4.1 优化**
- 超参数调优：通过逐步增加类别数（从2类到5类）并调整超参数组合，最终在验证集上实现mAP@50=0.885；SGD优化器优于Adam，余弦学习率衰减和大批量有助于性能提升。
- 用户视角优化：确定最佳阈值距离为1.4–1.6米（以1.5米为默认，可调），并缩短语音公告长度（如“椅子在1.5米”简化为“椅子”），火警类不受阈值限制。

**4.2 目标检测训练与性能评估**
- 训练损失曲线显示，框损失和类别损失在50个epoch内快速下降，最终收敛至约0.02和0.003；mAP@50稳定在0.845，mAP@50-95稳定在0.593。
- 在测试集上，五类交互物体的平均精度（AP@50）均较高（如门0.886、火0.917、灭火器0.931、椅子0.958、人0.874），证明模型检测效果良好。

**4.3 实时FPS与距离模块性能评估**
- 集成三个模块后，原始帧率仅5 FPS；经TensorRT优化后，帧率提升至19 FPS，满足实时导航需求。
- 距离模块在0.5–10米范围内偏差极小，1.5米阈值内偏差接近0%。

**4.4 目标检测模型比较评估**
- 在1000图像数据集上，YOLOv5n的mAP@50（0.845）和mAP@50-95（0.593）均优于YOLOv7tiny（0.584/0.325）和SSD（0.6219/0.4792），参数仅1.17M，推理延迟2.9 ms，FPS 75。
- 在3000图像数据集上，YOLOv5n保持优势（mAP@50=0.907，mAP@50-95=0.674），且推理效率不变；类别级分析显示YOLOv5n在所有类别上精度最高。
- 在Jetson Nano上，YOLOv5n推理时间52.6 ms，FPS 19（含系统延迟后12 FPS），优于YOLOv7tiny的76.9 ms和13 FPS（含延迟后5 FPS）。

**5. 实时实现与比较分析**
- 实时实验显示，系统在不同时间帧内成功检测并语音提示障碍物、椅子、门、人等，公告内容简洁。
- 定量分析表明，系统整体延迟主要来自语音公告时间（如“门”耗时965 ms，“灭火器”耗时2065 ms），视觉检测阶段仅占约65 ms。
- 七次实验的平均目标检测准确率为88.64%，公告完成率（ACR）为93.06%。
- 与现有设备（如Smart Cane、GPS Cane等）相比，所提系统在交互物体检测、深度估计、听觉反馈、可穿戴性和实时实现方面具有综合优势。

**讨论与结论**
总结讨论部分：系统在室内环境验证有效，但当前仅包含五类交互物体；未来工作将扩展类别（如楼梯、人行道、车辆），并增强推理能力（如检测桌面物体），集成GPS以支持室外导航，以及扩展货币识别功能。
研究结论部分翻译：在本研究中，提出了一种结合语音和听觉反馈的系统，用于辅助视障人士在室内环境中导航。该系统由视觉、距离计算和语音三个模块组成，并嵌入Jetson Nano进行实时测试。视觉模块采用YOLOv5n模型，通过超参数微调显著提升了性能，mAP@50达到88.5%。在集成所有三个模块并通过TensorRT优化后，初始帧率从5 FPS提升至19 FPS。距离模块在1.5米阈值内偏差接近0%，对室内辅助至关重要。语音模块成功向用户传达交互物体和障碍物的存在及其距离。所开发的系统可有效用于全天活动，帮助视障人士在日常生活中获得更大的独立性。