基于焦点密度感知的融合技术：一种鲁棒的激光雷达-相机3D物体检测框架，用于恶劣天气条件下的智能环境 sanitation（环境清洁）

《Digital Signal Processing》：Focal Density-Aware Fusion: A Robust LiDAR-Camera 3D Object Detection Framework for Intelligent Environmental Sanitation in Adverse Weather Conditions

　　徐degang | 李俊松 | 白雪音 | 方世宇
中南大学自动化学院，长沙，410083，湖南，中国

摘要
3D对象检测是自主系统中的一个关键感知任务，特别是在智能环境卫生场景中，恶劣的天气条件会带来重大挑战。尽管LiDAR和摄像机的融合方法通过结合互补的传感器模态显示出有希望的结果，但在强雨、雾或雪等具有挑战性的条件下，其性能会显著下降，因为信号衰减和噪声导致传感器测量变得不可靠。传统的融合方法往往无法应对这些挑战，导致检测精度降低，并在现实世界应用中带来潜在的安全风险。为了解决这些问题，我们提出了一个专门为恶劣天气条件设计的鲁棒3D对象检测框架。我们的方法引入了两项关键创新：（1）一个焦点融合模块，根据点云特征的几何可靠性动态评估和加权，有效抑制噪声测量；（2）一个密度感知的聚合模块，智能利用高密度区域的信息来增强特征表示。焦点融合模块由一种新颖的高斯焦点损失函数监督，该函数具有自适应的半径变化，引导网络专注于可靠点的同时保持检测精度。在智能环境卫生数据集和KITTI-C基准测试上的广泛实验证明了我们方法的有效性。在包括雨、雾和雪在内的各种恶劣条件下，我们的方法在平均精度（mAP）方面显著优于基线方法。随后进行的消融研究进一步验证了所提出的模块的有效性。

引言
公路隧道和隔音屏障是城市地区的关键交通基础设施，表面的清洁度直接影响环境卫生和公共安全。车辆尾气排放物、灰尘和其他污染物在隧道墙壁和隔音屏障上的积累不仅会恶化外观，还会通过降低能见度和空气质量带来显著的安全风险，因此需要定期和高效的清洁维护。为了解决这些挑战，智能环境卫生机械，特别是自动墙壁清洁车辆，已成为一种有前景的解决方案。这些车辆采用高压水枪和旋转刷头来清洁表面。然而，当前的解决方案仍然大多是半自动的，需要不断的人为监督和远程控制，这限制了效率和安全性。完全自动化是一个关键的进步，可以显著提高清洁效果，同时减少人力负担和操作风险。在环境卫生场景中向完全自主操作的转变带来了独特的技术挑战。墙壁清洁车辆在极端恶劣的环境中运行，高压清洁剂会产生密集的水雾，严重影响传感器检测能力并引入噪声。隧道墙壁上障碍物的多样性（大小、形状和材料属性不同）进一步增加了复杂性。隔音屏障通常由透明或反射材料制成，由于光的折射和反射效应，传统的感知系统经常无法进行可靠的检测。此外，考虑到清洁车辆的较大体积和惯性，以及它们在受限空间中的操作，准确的障碍物检测对于安全至关重要，因为检测错误可能导致设备损坏或对周边基础设施和人员造成危险。值得注意的是，在这种情况中的核心感知挑战——由于密集的空气颗粒（水雾）导致传感器信号严重退化——与恶劣天气条件下的自动驾驶（例如雨、雾）有一个根本性的共同点。在这两种情况下，LiDAR信号都会散射和衰减，摄像机图像也会出现可见度模糊和对比度损失。这种“颗粒干扰下传感器测量退化”的共同特征验证了使用已建立的恶劣天气基准（如KITTI-C数据集）来评估我们提出的感知框架的鲁棒性的合理性。虽然现有的3D对象检测方法在标准条件下显示出有希望的结果，但在有浓厚水雾或复杂反射表面的具有挑战性的环境中，它们的性能会显著下降。这种性能差距清楚地表明，需要为环境卫生场景专门设计更鲁棒的感知解决方案。

LiDAR和摄像机是现代自动化系统中的基本传感器，从自动驾驶车辆到智能环境卫生机械都有应用。每种传感器类型都有其独特的优势，但在具有挑战性的操作条件下也面临特定的限制。LiDAR传感器在提供关于周围环境的精确3D位置和几何信息方面表现出色，使距离测量和形状估计更加准确。然而，在清洁操作过程中产生的密集水雾存在时，它们的性能会显著下降，因为水粒子会散射和吸收激光信号。摄像机通过提供高分辨率的RGB图像和丰富的语义信息以及卓越的长距离检测能力来补充LiDAR，但它们难以适应变化的光照条件，且无法直接提供深度信息。这些传感器的互补性表明，它们的融合有可能克服各自的局限性。然而，实现有效的LiDAR-摄像机融合面临几个基本挑战。第一个挑战在于固有的模态差异——LiDAR产生稀疏、不规则的3D点云，而摄像机生成密集、规则结构的2D图像。这种差异在融合过程中经常导致大量信息丢失，特别是在点云数据较少的区域。第二个挑战涉及特征提取和表示。虽然卷积神经网络（CNN）在处理摄像机图像方面被证明非常有效，但在3D对象检测任务中，仅仅使用CNN提取图像特征并与LiDAR特征融合通常在一般条件下表现不如仅使用LiDAR的检测器，最近的几项研究[1]、[2]、[3]、[4]已经证明了这一点，更不用说在恶劣条件下了。

3D检测的主要目标是在三维空间中准确定位对象，确定它们的位置、方向、大小和类别。尽管现有的多模态融合方法[5]、[6]、[7]、[8]、[9]、[10]在点云处理方面取得了显著进展，但从摄像机中有效整合RGB语义信息仍然是实现鲁棒检测性能的关键挑战。当前的LiDAR-摄像机融合策略大致可以分为两类。第一类采用两阶段检测范式[11]、[12]、[13]，其中2D检测器首先从摄像机图像中识别感兴趣的区域（ROI），然后将它们反投影到3D空间中作为边界框的预测。虽然这种方法利用图像数据的语义丰富性来指导点云特征搜索，但它继承了2D检测阶段的基本缺陷。当水雾或变化的光照等恶劣条件降低2D检测器的性能时，这种级联效应会显著影响最终的3D检测精度。第二类[14]、[15]、[16]尝试通过校准矩阵建立模态之间的直接特征对应关系，从而实现语义和几何信息的同时融合。这些方法通常采用多尺度融合策略来解决稀疏点云和密集图像之间的分辨率不匹配问题。然而，它们在实现精确的特征对齐方面始终面临挑战，特别是在点云密度变化或恶劣环境条件下，传感器测量变得不可靠时。这种不对齐问题往往导致特征融合效果不佳，特别是在环境卫生任务中常见的具有挑战性的场景中。

为了解决恶劣条件下的LiDAR-摄像机融合问题，特别是在环境卫生场景中，我们提出了一个包含两个关键组件的新框架：焦点融合模块和密度感知特征聚合模块。我们的方法专门设计用于在传感器测量受到水雾、变化的光照或复杂反射表面影响时保持鲁棒的检测性能。焦点融合模块引入了一种自适应的特征融合策略，根据每个点的可靠性动态加权其贡献。首先，2D主干网络处理摄像机图像以提取多尺度语义特征图。同时，我们使用校准矩阵将点云投影到该特征图上。为了有效处理点云的固有稀疏性和潜在的 misalignments，我们采用了一种可变形的注意力机制，动态确定特征融合的采样位置。这种机制使模型能够：
•专注于可靠区域，同时抑制噪声或不确定的测量结果
•补偿潜在的校准误差和几何畸变
•根据局部点云密度和特征质量调整感受野

融合过程在多个尺度上操作，以捕获细粒度细节和全局上下文，这对于处理不同大小和距离的对象至关重要。这种多尺度方法有助于在某些传感器模态部分受到恶劣环境条件影响时保持检测精度。为了解决将噪声点云与图像特征融合引起的混淆，我们提出了一种基于几何约束的新重要性加权机制。这种方法为可靠的前景点分配更高的权重，同时抑制背景噪声的影响。考虑到现实场景中前景点和背景点之间的显著不平衡，我们在训练期间引入了一个自适应的高斯圆来优化前景点的影响范围。这种动态加权策略使模型能够专注于最相关的信息，同时有效过滤掉噪声，从而在恶劣条件下增强检测的鲁棒性。密度感知特征聚合模块通过智能利用点云的密度分布进一步改善特征表示。对于每个感兴趣的区域（ROI），该模块分析局部点密度模式并自适应调整特征采样位置。通过交叉注意力操作从原始位置和密度引导的位置聚合特征，模块实现了对场景结构的更全面理解。这种自适应聚合策略特别有利于在点云分布不规则或稀疏的具有挑战性的环境中的检测。

我们研究的主要贡献可以总结如下：
1) 我们提出了一个专为恶劣环境条件下的鲁棒3D对象检测设计的新型LiDAR-摄像机融合框架，特别关注智能环卫场景。该框架有效处理了水雾干扰、变化的光照和复杂反射表面等常见影响传感器可靠性的挑战。
2) 我们开发了一个自适应的焦点融合模块，根据点云的几何可靠性动态加权点云特征。通过结合三维高斯分类损失，该模块有效抑制噪声测量，同时保持检测精度。我们的方法增强了对抗细小颗粒或强光照干扰引起的信号退化的鲁棒性。
3) 我们引入了一个密度感知特征聚合模块，智能适应不同的点云分布。通过自适应的网格点移动和交叉注意力机制，该模块在不同的点云密度模式下优化特征提取。这一创新在具有部分遮挡或不规则对象分布的具有挑战性的场景中显著提高了检测性能。

部分摘录
雾的非均匀分布和不规则形状
墙壁清洁车辆的运行对感知系统提出了独特的挑战，因为清洁操作和传感器性能之间存在复杂的相互作用。在典型的操作过程中，车辆的机械臂伸向墙壁，配备了一个高速旋转的滚刷，喷射雾化清洁剂进行表面清洁。虽然这种机制有效去除了污染物，但它为基于传感器的障碍物检测创造了挑战条件。

方法论概述
我们的框架通过一种新颖的两阶段架构解决了恶劣环境条件下的鲁棒3D对象检测挑战。在深入技术细节之前，我们首先提供了我们方法的高层次概述，如图4所示。从原始传感器输入开始，我们的框架通过并行主干网络处理点云和图像数据以提取初始特征。这些特征随后流经两个关键的创新组件：焦点融合模块

我们进行了广泛的实验，使用公共基准和真实世界场景评估了我们提出的方法。我们的主要评估平台是KITTI-C数据集[49]，它通过引入系统性的损坏来扩展原始的KITTI数据集[50]，提供了一个标准化的检测鲁棒性基准。该数据集包含3,712个训练帧和3,769个验证帧，涵盖了27种不同的损坏类型，包括天气条件、传感器效应等。

结论
本文介绍了一种专为恶劣感知环境设计的鲁棒LiDAR-摄像机融合3D对象检测器。通过在智能环境卫生数据集和KITTI-C数据集上的广泛实验，我们证明了我们的方法成功解决了现实世界自主感知系统中的几个关键挑战。我们的关键技术贡献显著提高了检测的鲁棒性：

未引用的参考文献
缺少图1、图7和图9

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系，这些利益或关系可能会影响本文报告的工作。这段文字会正确换行，并在标签之后的第一行开始对齐，即使它跨越多行也是如此。

致谢及作者贡献声明：
徐德刚：概念构思、方法论、软件开发、形式分析、资金获取、利益冲突声明

作者声明他们没有已知的、可能影响本文所述工作的财务利益或个人关系。