PatchFusion：面向自动驾驶点云语义分割的鲁棒激光雷达-相机融合方法

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：PatchFusion: Resilient LiDAR-camera fusion for point cloud semantic segmentation in autonomous driving

　　

摘要
激光雷达 - 相机融合对于点云语义分割至关重要，是实现自动驾驶系统准确可靠三维感知的关键。当代激光雷达 - 相机融合方法主要通过集成由投影点定位的像素级相机特征来增强对应的三维点，这可以抽象定义为点 - 像素融合策略。尽管这种点 - 像素融合模式已被证明有效且在实际中广泛应用，但该策略存在两个不可忽视的缺陷：(1) 依赖于精确的点 - 像素投影对应关系；(2) 受到仅使用极少图像信息的限制。此外，离线融合中的仅激光雷达推理未能利用同步获取的图像来实现三维感知的动态融合，而在线融合中的激光雷达 - 相机融合推理仍面临传感器之间视场（FoV）差异的挑战。 moreover，激光雷达 - 相机融合方法用于三维语义分割时的损坏鲁棒性，作为感知系统实际可靠性的关键因素，一直未得到足够的关注。因此，针对上述挑战，我们开发了点 - 块融合模式，并构建了 PatchFusion 框架，作为增强真实复杂驾驶场景中激光雷达 - 相机融合感知性能和韧性的系统化且富有前景的解决方案。具体而言，在 PatchFusion 中，我们提出利用交叉注意力机制来实现高质量的点 - 块融合，通过自动搜索图像局部图块中应被突出或抑制的信息，从而减轻投影误差的不利影响，最大化利用高密度图像信息，并对潜在的图像损坏更加鲁棒。此外，我们整合了离线和在线融合模式的优势，提出了一种双向跨模态知识蒸馏策略，旨在进一步增强相机视场内外预测的性能和鲁棒性。最后，为了弥合激光雷达 - 相机融合方法损坏鲁棒性方面的研究差距，我们为公开的多模态数据集设计了一套专门的数据集损坏套件，通过合成投影噪声和图像损坏来模拟复杂的评估条件。在自动驾驶领域知名数据集（SemanticKITTI 和 nuScenes）上的大量实验表明，PatchFusion 能够有效提高干净和损坏数据集上激光雷达 - 相机融合用于三维语义分割的性能和韧性。相关代码将在 https://github.com/sssssyf/PatchFusion 提供。

引言
准确且鲁棒的三维感知对于自动驾驶车辆的安全可靠运行至关重要（Liu et al., 2026）。作为基础任务，激光雷达点云语义分割是理解户外场景的关键研究领域，并已广泛应用于许多重要领域，包括自动驾驶、机器人和数字孪生（Guo et al., 2021, Sun et al., 2025, Han et al., 2024, Luo et al., 2025, Chen et al., 2026）。近年来，得益于深度学习强大的自适应特征提取和表征能力，用于自动驾驶激光雷达点云语义分割的端到端网络取得了显著发展，主要可分为仅激光雷达方法和激光雷达 - 相机融合方法。

仅激光雷达方法专注于如何通过改进编码模式来有效提取三维点的判别性特征，主要包括基于投影的方法（Wu et al., 2019, Milioto et al., 2019, Xu et al., 2020, Cortinhal et al., 2020, Kong et al., 2023a, Zhang et al., 2020, Li et al., 2022, Puy et al., 2023, Li et al., 2024）、基于点的方法（Qi et al., 2017a, Qi et al., 2017b, Hu et al., 2020, Qian et al., 2022, Thomas et al., 2019, Zhao et al., 2021, Wu et al., 2022, Lai et al., 2023, Wu et al., 2024b）和基于体素的方法（Choy et al., 2019, Zhu et al., 2021）。尽管激光雷达点云提供了有助于识别每个点的精确深度和三维几何信息，但其稀疏性和无纹理缺陷仍然给准确的三维语义分割带来了巨大挑战。此外，单模态传感器通常难以在复杂条件下实现准确和鲁棒的感知。相比之下，相机图像可以提供丰富的颜色和密集纹理信息，可以有效补充激光雷达模态。因此，用于点云语义分割的激光雷达 - 相机融合逐渐成为一种主流解决方案，用于解决仅激光雷达方法带来的挑战，并在实际应用中显示出其有效性和潜力（Madawi et al., 2019, Zhuang et al., 2021, Xu et al., 2022, Li et al., 2023, Liu et al., 2023, Tan et al., 2024, Sun et al., 2024, Wu et al., 2024a, Cao et al., 2025）。

然而，当代用于三维语义分割的激光雷达 - 相机融合方法主要采用点 - 像素融合策略，即利用投影点在图像平面上的像素坐标来定位像素级图像特征，以融合和增强点特征，如图 1(a) 所示。尽管广泛使用的点 - 像素融合策略已被证明在实践中有效，但它存在两个不可忽视的缺陷。首先，定位像素级图像特征严重依赖于精确的点 - 像素投影对应关系。因此，当前的点 - 像素融合方法理想地假设在任何条件下点 - 像素投影对应关系都是绝对精确的。在实践中，尽管多模态传感器在部署前必须经过严格校准，但点 - 像素对应关系的误差仍然是不可避免的，这在之前的研究中被忽略了，如图 2 所示。其次，由于激光雷达点云的稀疏性，大约 95% 的像素特征没有对应的点特征（Sun et al., 2024），这意味着当前的点 - 像素融合方法在融合过程中仅利用了整个图像中约 5% 的图像特征。融合性能将受到仅使用如此极少图像信息的限制。

此外，当前的激光雷达 - 相机融合方法可以根据推理过程中是否涉及相机图像大致分为两类。我们可以简要地将这两类定义为离线融合方法（Xu et al., 2022, Sun et al., 2026）和在线融合方法（Zhuang et al., 2021, Tan et al., 2024, Li et al., 2023, Sun et al., 2024）。通过部署跨模态知识蒸馏，离线融合方法专注于利用图像特征在训练期间引导和增强三维模型，从而提高三维模型的推理性能。离线融合中的仅激光雷达推理模式避免了传感器之间视场（FoV）差异引起的融合挑战，并提供了有利的计算成本（Xu et al., 2022）。然而，这种模式未能利用同步获取的图像来实现三维感知的动态融合（Sun et al., 2026）。相比之下，通过使用激光雷达 - 相机融合进行推理，在线融合对于动态和复杂环境中准确和鲁棒的三维感知具有重要意义。然而，这种模式仍然面临传感器之间视场差异的挑战，这限制了其实际性能。

进一步而言，目前公开可用的用于自动驾驶点云语义分割的多模态数据集尚未正式考虑图像损坏（Behley et al., 2019, Caesar et al., 2020, Sun et al., 2020），导致当前的激光雷达 - 相机融合模型仅在干净数据上训练和评估。因此，这些工作乐观地假设相机模态始终是干净的，忽略了存在潜在图像损坏的真实融合条件。事实上，在真实驾驶场景中，较差的图像条件是不可避免的。例如，相机很容易受到周围环境的影响，例如被通用物体暂时覆盖或镜头被污垢遮挡（Yu et al., 2023），以及由车辆运动或相机意外故障引起的其他类型噪声。因此，尽管激光雷达 - 相机融合方法的峰值性能不断提高，但面对图像损坏时的鲁棒性和韧性尚未得到充分探索。

上述问题给自动驾驶中用于点云语义分割的激光雷达 - 相机融合的性能和韧性造成了重大挑战。因此，我们重新思考这一艰巨任务，以全面解决现有挑战。具体而言，鉴于传统点 - 像素融合模式的固有缺陷，我们考虑在激光雷达 - 相机融合中利用更多图像信息，从而开发了点 - 块融合模式，如图 1(b) 所示。基于点 - 块融合的概念，我们构建了 PatchFusion 框架，作为增强真实复杂驾驶场景中激光雷达 - 相机融合感知性能和韧性的系统化且富有前景的解决方案。PatchFusion 框架主要由独立模态分支、点 - 块融合分支和知识蒸馏分支组成。独立模态分支确保模态特异性并充分利用各模态的优势。在点 - 块融合分支中，我们提出利用交叉注意力机制来实现高质量的点 - 块融合，通过自动搜索图像局部图块中应被突出或抑制的信息，从而减轻投影误差的不利影响，最大化利用高密度图像信息，并对潜在的图像损坏更加鲁棒。在知识蒸馏分支中，我们整合了离线和在线融合模式的优势，提出了一种双向跨模态知识蒸馏策略，旨在进一步增强相机视场内外预测的性能和鲁棒性。在推理过程中，为了弥合激光雷达 - 相机融合方法损坏鲁棒性方面的研究差距，我们为公开的多模态数据集设计了一套专门的数据集损坏套件，通过合成投影噪声和图像损坏来模拟复杂的评估条件。大量实验表明，PatchFusion 能够有效提高干净和损坏数据集上激光雷达 - 相机融合的性能和韧性。

我们希望我们的研究能启发社区进一步探索真实复杂驾驶场景中激光雷达 - 相机融合方法的鲁棒性和韧性。总之，我们的贡献可以简要归纳如下：
1. 我们全面分析了当前激光雷达 - 相机融合方法中主要采用的点 - 像素融合、离线融合和在线融合模式的特点和挑战。此外，我们注意到激光雷达 - 相机融合方法用于三维语义分割时损坏鲁棒性方面的研究差距。
2. 我们重新思考了用于三维语义分割的激光雷达 - 相机融合任务，以解决现有挑战。我们开发了点 - 块融合模式，并基于此概念提出了 PatchFusion 框架，作为系统解决当前融合方法所提出挑战的富有前景的解决方案，旨在增强真实复杂驾驶场景中激光雷达 - 相机融合感知的性能和韧性。
3. 为了模拟复杂的评估条件，我们设计了一套专门用于基于激光雷达 - 相机融合的三维语义分割的多模态数据集损坏套件。在知名多模态数据集上的大量实验表明，PatchFusion 能够有效提高干净和损坏数据集上激光雷达 - 相机融合的性能和韧性。

章节片段 3D 语义分割
在本节中，我们回顾自动驾驶中现有的点云语义分割工作。根据是否利用相机模态，我们可以大致将其分为仅激光雷达方法和激光雷达 - 相机融合方法。
仅激光雷达方法。根据点云的处理方法，仅激光雷达方法可以大致分为三种类型，如下所示：
(1) 基于投影的方法。这些方法通常将三维点云投影到二维图像平面，随后

工作流程
如图 3 所示，PatchFusion 主要由独立模态分支（包括 2D 分支和 3D 分支）、点 - 块融合分支和知识蒸馏分支组成。首先，为了确保模态特异性并充分利用模态优势，我们坚持主流策略，构建了一个包含两个独立模态分支的双分支架构，一个用于 2D，另一个用于 3D 模态。其次，不同于点 - 像素融合模式，我们

数据集
SemanticKITTI。它是一个用于自动驾驶大规模点云语义分割的大规模户外数据集（Behley et al., 2019）。SemanticKITTI 包含采集长度为 39.2 公里的数据，捕捉了德国卡尔斯鲁厄及其周边城市环境的驾驶场景。它包含多达 43,000 次扫描和 18 亿个标注点。点云由具有 64 束线的 Velodyne HDL-64E 激光雷达采集。作为评估多模态

结论
激光雷达 - 相机融合对于自动驾驶中准确可靠的三维感知至关重要。通过仔细回顾当前工作，我们全面分析了当前激光雷达 - 相机融合方法中主要采用的点 - 像素融合、离线融合和在线融合模式的特点和挑战。此外，我们注意到激光雷达 - 相机融合方法用于三维语义分割时损坏鲁棒性方面的研究差距。因此，

CRediT 作者贡献声明
Yifan Sun：写作 - 审稿与编辑，写作 - 原始草稿，方法论，资金获取，构思。Chenguang Dai：资源，项目管理。Yongsheng Zhang：资源，项目管理。Xuchu Yu：验证，调查研究。Song Ji：验证，调查研究。Xuanguang Liu：可视化，数据整理。Wenke Li：软件，形式分析。

王瀚云：写作——审阅与编辑，监督，项目管理，资金获取。
利益冲突声明
我们声明，我们与其他人员或组织不存在任何财务或个人关系，这些关系可能会不当影响我们的工作；我们在任何产品、服务和/或公司中没有任何专业或其他个人利益，这些利益可能会被构建为影响本文所呈现的观点或对该手稿的评审。
致谢
本研究得到了河南省自然科学基金（批准号：252300423929）和国家自然科学基金委员会（批准号：42271457）的支持。衷心感谢匿名审稿人和编辑部成员提供的宝贵意见和贡献。
孙一帆 | 代晨光 | 张永生 | 于储旭 | 纪松 | 刘宣光 | 李文科 | 王瀚云