WAMEFusion：一种面向鲁棒三维场景理解的天气感知多模态专家融合方法

《Knowledge-Based Systems》：WAMEFusion: A Weather-aware Multi-modal Expert Fusion for robust 3D scene understanding

　　

## 摘要

在不同（正常及恶劣）天气条件下实现3D场景理解对于安全的自动驾驶至关重要。近期方法主要依赖多模态大语言模型（MLLMs）结合图像或LiDAR，却忽视了恶劣天气下传感器可靠性的变化。引入更多抗天气的4D雷达提供了一种有前景的解决方案。本文提出了一种天气感知的多模态专家融合框架，称为WAMEFusion，该框架通过混合专家机制实现天气鲁棒性。具体而言，WAMEFusion包含两个关键组件：多专家融合（MEF）和天气引导的特征流路由器（WFR）。MEF采用四个并行专家融合模型，分别专门处理相机-LiDAR、LiDAR-4D雷达、相机-4D雷达以及全模态组合的特征交互。同时，WFR根据天气先验为每个样本动态激活最合适的专家。我们还推出了WAMEFusion数据集，用于多种环境条件下的多模态3D场景理解，该数据集包含8435帧的27.1万个问答对。大量实验表明，WAMEFusion在对比的基于MLLM的方法中取得了最佳的整体性能，并且在各种恶劣天气条件下仍保持竞争力。

## 引言

多模态大语言模型（MLLMs）的最新进展推动了它们在自动驾驶中的应用，使其能够进行场景理解、决策解释和人机交互[1],[2],[3],[4],[5]。自然语言为3D场景理解提供了丰富的语义信息和灵活的任务接口。大语言模型（LLMs）的知识与推理能力增强了对物体属性、空间关系和场景上下文的理解，而文本查询和描述可以表示多样化的任务需求，支持3D视觉问答、场景描述和视觉定位等高级任务。因此，联合建模自然语言和3D场景信息将传统的3D感知扩展到更高层次的语义理解和推理，同时桥接了人类意图与机器感知。在自动驾驶中，现有MLLMs主要关注图像和LiDAR点云[6],[7],[8],[9]。图像通常包含丰富的颜色、纹理和上下文信息，而LiDAR点云提供深度和几何结构信息。因此，结合它们的互补信息可以提供对3D环境更全面的感知。

然而，这些方法通常在理想场景下进行评估并取得满意性能。它们忽视了实际驾驶中多样化天气条件的挑战，这要求模型具备更强的鲁棒性。在恶劣条件下，相机和LiDAR均会出现性能下降。相比之下，4D雷达凭借其卓越的全天候穿透能力提供了一种有前景的解决方案。然而，仅凭4D雷达所提供的外观信息有限且3D结构细节不足，使其自身不足以完成复杂场景理解[10],[11]。因此，将MLLMs扩展为联合建模图像、LiDAR和4D雷达可以提高恶劣天气条件下的3D场景理解。更重要的是，不同模态的可靠性在不同天气条件下有所变化，这使得固定的融合策略难以有效利用其互补优势。

如图1(a)所示，文献[9]的方法将点云映射为鸟瞰图（BEV）表示，并通过两个可学习投影将图像和BEV特征对齐到LLM嵌入空间。此类方法通常将不同模态的特征拼接作为LLM的输入，并依赖其全局注意力进行跨模态交互。然而，随着输入模态的增加，序列长度也增加，导致更高的计算成本以及更多的冗余视觉token。此外，冗余信息使得识别任务相关信息变得更为困难。如图1(b)所示，文献[8]的方法在统一的BEV表示中融合图像和点云以支持MLLMs的场景理解。然而，这些方法通常采用固定的传感器融合策略，以相同方式处理输入，假设不同模态在不同天气条件下贡献相似。这一假设忽视了传感器可靠性随环境动态变化的事实。因此，固定融合策略倾向于使模型偏向常规场景，难以应对恶劣天气场景，而这些场景既具挑战性又是安全关键的。因此，解决这一限制需要架构创新，以实现天气感知的动态传感器选择。

鉴于高级语义理解和鲁棒多模态感知的需求，我们将自动驾驶中基于语言的3D场景理解任务形式化。该任务以图像、LiDAR和4D雷达数据为输入，输出对物体和全局环境的语义、空间和关系理解。为应对上述挑战，我们提出了WAMEFusion，一种针对不同天气条件下鲁棒3D场景理解的天气感知多模态专家融合框架。如图1(c)所示，WAMEFusion首先使用模态专用编码器将原始传感器数据转换为特征表示。然后，受混合专家（MoE）框架启发，我们引入多专家融合（MEF）。MEF包含四个并行融合网络，即专家融合模型，分别独立融合相机和LiDAR、LiDAR和4D雷达、相机和4D雷达，以及相机、LiDAR和4D雷达的特征。该设计扩展了传感器组合，提高了模型鲁棒性。WAMEFusion进一步引入天气引导的特征流路由器（WFR），其根据天气先验动态确定最合适的专家。最后，融合特征被送入LLM以生成任务特定响应。通过纳入天气先验驱动的动态专家选择，WAMEFusion确保了高效的资源利用和强大的环境适应能力。借助适配器[12]，WAMEFusion避免了LLM的全量微调，同时高效利用预训练基础模型中嵌入的常识知识。

除了设计鲁棒融合模型的挑战外，自动驾驶中的3D场景理解还面临数据稀缺问题[13]，特别是缺乏覆盖恶劣天气条件的对齐相机-LiDAR-雷达-文本数据集。为便于未来研究，我们基于S2Rbench[14]构建了WAMEFusion数据集，为对齐的图像、LiDAR和4D雷达数据提供3D场景理解问答（QA）对。该数据集总计包含8435帧的27.1万个QA对。据我们所知，WAMEFusion数据集是首个专为恶劣天气条件下自动驾驶3D场景理解定制的多模态QA数据集。我们的主要贡献总结如下：

1. 我们提出了自动驾驶中基于语言的3D场景理解任务，该任务要求从图像、LiDAR和4D雷达点云中联合理解物体属性、空间关系和场景上下文。为便于该任务的研究，我们构建了WAMEFusion数据集，该数据集包含覆盖多样化环境条件的27.1万个QA对。

2. 我们提出了WAMEFusion，一种新颖的天气感知多模态专家融合框架，用于鲁棒的3D场景理解。该框架引入了具有四个并行专家融合模型的MEF，分别处理相机-LiDAR、LiDAR-雷达、相机-雷达以及全模态特征交互，并结合根据天气先验动态选择最合适专家的WFR，从而实现恶劣天气条件下的自适应多模态融合。

3. 在WAMEFusion基准上的大量实验表明，所提方法在对比的基线中取得了最佳的整体性能，并且在不同恶劣天气条件下仍保持竞争力。

本文其余部分组织如下：第2节回顾相关工作；第3节展示所提数据集；第4节详述所提方法；第5节呈现实验设置与结果；第6节总结全文。

## 章节摘录

### 多模态大语言模型

近年来，LLMs[15],[16]在NLP领域取得了显著进展。通过在大规模文本语料上进行预训练，它们展现出强大的零样本和少样本学习、上下文理解和推理能力。为将LLMs扩展到文本之外，研究人员引入了视觉，推动了MLLMs的发展。早期工作如BLIP-2[1]和OpenFlamingo[2]通过Q-Former和门控交叉注意力模块将预训练视觉编码器与LLMs连接起来，实现了……

### WAMEFusion数据集

现有的自动驾驶场景理解数据集主要关注正常条件，对恶劣天气场景的覆盖有限，这限制了模型在退化条件下鲁棒性的评估与改进。为解决这一限制，我们引入了WAMEFusion，一个覆盖多种恶劣天气条件的语言增强3D场景理解数据集。数据构建流程和数据集统计分别在第3.1节数据构建和方法中介绍。

### 复杂驾驶环境中的3D场景理解

复杂驾驶环境中的3D场景理解需要全面理解和有效整合相机、LiDAR和4D雷达数据。然而，许多现有MLLMs以视觉为中心，难以理解LiDAR和4D雷达数据。为克服这一限制，我们提出了WAMEFusion，一种新颖的MLLM，它自适应地整合相机的语义信息、LiDAR的空间信息以及4D雷达的全天候能力，同时利用指令……

### 实现细节

对于视觉编码器，我们采用了EVA-CLIP[48]中预训练的ViT-g/14视觉Transformer模型。我们采用PointPillars[49]作为3D主干网络，使用S2Rbench的预训练权重进行初始化。对于LLM，我们使用LLaMA[15]及其官方预训练权重。

训练策略包含两个阶段：预训练和微调。在预训练阶段，我们首先训练基于图像的 weather 分类网络100个epoch。训练后的网络达到93%的准确率。

## 结论

本文介绍了WAMEFusion，一种用于恶劣天气条件下鲁棒3D场景理解的MLLM。我们的方法采用MoE框架，通过两个关键模块MEF和WFR自适应地融合相机、LiDAR和4D雷达特征。MEF包含四个并行融合专家，处理三种模态的不同组合特征。WFR根据天气先验为每个样本动态选择合适的专家，从而实现天气感知的多模态融合。

## CRediT作者贡献声明

Ying Jing：写作–审阅与编辑，写作–初稿撰写，可视化，方法论，调查研究，数据整理，概念构思。Mo Zhou：写作–审阅与编辑，验证，方法论，调查研究，数据整理。Xinyu Zhang：写作–审阅与编辑，监督，资金获取。Fang Lu：写作–审阅与编辑，验证，监督。Huikai Liu：写作–审阅与编辑，验证，监督。Wen Ji：写作–审阅与编辑，验证，监督。

## 利益冲突声明

作者声明他们不存在任何已知的竞争性经济利益或个人关系，这些关系可能影响本论文所述工作。

## 致谢

本研究得到了国家自然科学基金（项目编号：52221005，62273198）、北京市自然科学基金（项目编号：L241017）以及智能交通系统国家重点实验室（项目编号：2025-B006）的支持。

Ying Jing | Mo Zhou | Xinyu Zhang | Fang Lu | Huikai Liu | Wen Ji | Jun Li