《Engineering Applications of Artificial Intelligence》:On real-time semantic segmentation with comprehensive off-road datasets for enhanced terrain classification
编辑推荐:
本研究针对越野环境下实时地形分类精度与效率难以兼顾的问题,提出了一种基于多模型动态切换的实时语义分割方法。通过构建包含13个类别的综合数据集CranfieldTerra,系统评估了18种神经网络架构的性能,并引入环境密度自适应的实时切换模型(FRRN-B/DenseASPP/ERFNet)。实验表明,该方法在Husky-A200平台上实现了高精度地形分类(最高90.7%准确率)与毫秒级响应(最快0.25s),为自动驾驶与机器人导航提供了创新解决方案。
在自动驾驶和野外机器人领域,准确识别复杂地形是实现安全导航的核心挑战。传统的语义分割模型往往在精度和速度之间难以平衡——高精度模型计算耗时长,无法满足实时需求;快速模型又可能漏判关键障碍物。更棘手的是,现有公开数据集普遍存在类别不全(如缺乏泥地、房屋等关键类别)、标注粗糙、传感器模态单一等问题,导致模型在真实越野场景中的泛化能力受限。
为突破这些瓶颈,伊斯坦布尔理工大学的研究团队在《Engineering Applications of Artificial Intelligence》上发表了一项创新研究。他们构建了目前最全面的越野地形数据集CranfieldTerra,涵盖13类地形标签,并整合了6个现有数据集进行统一精细化标注。通过系统对比18种神经网络架构,团队首次提出“环境密度自适应”的实时切换模型:在稠密环境启用高精度FRRN-B模型,普通场景采用DenseASPP与ERFNet组合,稀疏环境则单独使用高速DenseASPP模型。这种动态策略在Husky-A200机器人实测试验中,既保持了90.7%的分类精度,又将响应时间压缩至0.25秒,真正实现了精度与效率的协同优化。
关键技术方法包括:1)采用双网格像素级标注策略(密集网格处理类别过渡区,稀疏网格处理均质区域);2)使用ResNet-152作为特征提取主干网络;3)基于环境密度率(关键类别像素占比)的动态模型选择算法;4)在搭载Nvidia GTX1060的嵌入式系统上实现多模型实时推理。
研究结果方面:
模型性能对比:在整合数据集上,FRRN-B以90.1%准确率领先,DenseASPP训练时间最短(7.9小时);
类别特异性分析:沥青路面、平整道路类别准确率达95%,但泥地(67.9%)和人物(85.6%)识别仍有提升空间;
实时验证:通过Husky-A200在克兰菲尔德校园的越野测试,证实系统在光照变化、植被遮挡等复杂条件下仍保持稳定输出。
这项研究的突破性在于将“动态模型选择”理念引入实时语义分割领域,开创了根据环境复杂度自适应调配计算资源的新范式。其构建的CranfieldTerra数据集不仅填补了越野地形数据的空白,更通过严格统一标注标准提升了跨数据集可比性。该成果为无人系统在农业勘探、灾害救援等复杂场景的落地提供了关键技术支撑,尤其对需要在有限算力下实现可靠感知的边缘计算设备具有重要参考价值。