基于Mamba类线性注意力机制的相机-激光雷达在线外参标定网络及其在非结构化越野环境中的应用

《Engineering Applications of Artificial Intelligence》：A camera-light detection and ranging sensor online extrinsic calibration network based on mamba-like linear attention mechanism for unstructured off-road environments

本文针对非结构化越野环境中相机与激光雷达(LiDAR)外参标定精度下降的难题，提出了一种基于Mamba类线性注意力机制(MLLANet)的在线标定网络。通过构建多层次特征提取模块与多尺度特征融合匹配模块，并结合混合损失函数(Huber深度图损失)，在城市场景与两个越野场景数据集上实现了优于现有方法的标定精度（平均平移误差分别为0.289 cm、2.161 cm、1.333 cm，平均角度误差分别为0.012°、0.057°、0.192°），为无人系统在复杂地形下的多模态感知提供了可靠技术支撑。

　　

在机器人技术和自动驾驶领域，如何让不同类型的传感器"默契配合"一直是核心挑战。相机能捕捉丰富的色彩纹理信息，却受光照影响且缺乏深度感知；激光雷达(Light Detection and Ranging, LiDAR)能精确测量距离，在弱光下表现稳定，但无法获取表面细节。将两者的优势融合，就像同时赋予机器"火眼金睛"和"精准尺规"，对提升无人系统的环境感知能力至关重要。然而，实现这种融合的前提是需要精确标定相机与激光雷达之间的相对位置关系（即外参标定），确保图像中的每个像素点都能与三维点云中的对应位置准确对齐。

传统标定方法往往依赖特制标定板，需要人工干预且过程繁琐。在平坦的城市道路上，这类方法尚可胜任，但一旦进入地形复杂的越野环境，问题就接踵而至：剧烈震动会导致传感器位置偏移，植被遮挡、地形起伏等特征退化现象使得传统算法难以提取稳定特征。更棘手的是，现有基于深度学习的标定方法多针对结构化场景设计，在越野环境下往往"水土不服"，其网络结构对复杂地形特征的表达能力有限。

针对这一难题，重庆大学的研究团队在《Engineering Applications of Artificial Intelligence》上发表了一项创新研究，提出名为MLLANet的在线标定网络。该网络借鉴了近期备受关注的Mamba模型思想，通过线性注意力机制突破传统卷积神经网络的局限，显著提升了模型对越野环境特征的捕捉能力。

关键技术方法主要包括：1）以Mamba类线性注意力为骨架构建多层次特征提取模块，同步获取局部几何细节和全局结构信息；2）设计多尺度特征金字塔架构实现跨层级特征融合，增强对尺度变化的鲁棒性；3）引入包含Huber深度图损失的混合损失函数，有效抑制LiDAR点云异常值的干扰。实验数据涵盖KITTI城市数据集和两个真实越野场景数据集。

特征提取模块设计

研究团队发现，传统卷积操作在处理长序列数据时效率较低，而越野环境中的特征往往具有更强的全局依赖性。受Mamba模型状态空间序列建模的启发，他们设计了一种线性注意力机制，能够在不显著增加计算量的前提下扩大感受野。该模块采用分层架构，底层网络保留精细的几何细节，高层网络编码全局地形特征，形成互补的特征表示。

特征融合与匹配策略

为解决二维图像与三维点云之间的模态差异，研究人员构建了多分辨率特征金字塔。通过跨层连接将不同尺度的特征图进行融合，使网络能够同时感知细微纹理差异和宏观结构对应关系。特别值得关注的是，该模块引入了可学习的特征对齐机制，自动调整图像特征与重投影深度图之间的空间对应关系。

损失函数优化

越野环境中LiDAR点云往往存在大量噪声和异常值。研究团队创新性地将Huber损失函数应用于深度图差异计算，该函数在误差较小时采用平方损失保证精度，误差较大时切换为线性损失抑制异常值影响。结合平滑L1损失对外参变换矩阵进行约束，加速了模型在复杂场景下的收敛速度。

实验验证与分析

在KITTI城市数据集上的测试结果显示，MLLANet的平均平移误差仅为0.289厘米，角度误差0.012°，优于多数对比方法。在两个越野数据集上，该方法同样表现出色（平均平移误差分别为2.161厘米和1.333厘米），证明其强大的环境适应性。消融实验进一步验证了各模块的贡献：单独移除线性注意力机制会使误差上升约23%，而去除Huber损失则导致在点云质量较差场景下的性能明显下降。

结论与展望

该研究成功地将Mamba类线性注意力机制引入多传感器标定领域，为解决非结构化环境下的外参标定问题提供了新思路。MLLANet网络不仅在城市场景中表现优异，更在特征退化的越野环境中展现出强大鲁棒性，为无人系统在野外勘探、农业自动化等场景的实际应用奠定了技术基础。研究团队指出，未来将进一步探索动态场景下的在线标定能力，并尝试将框架扩展至其他传感器组合的标定任务中。

这项工作的意义不仅在于提出了一个高效的标定网络，更开创性地证明了结构化序列模型在跨模态感知任务中的潜力，为后续研究指明了新的技术方向。通过巧妙结合现代深度学习技术与实际工程需求，研究团队为无人系统在复杂环境下的可靠运行提供了重要技术保障。