MAAFOcc：基于多模态自适应非对称融合的占用预测技术

《Knowledge-Based Systems》：MAAFOcc: Multimodal adaptive asymmetric fusion based occupancy prediction

自适应非对称融合与检测监督的多模态BEV occupancy预测模型，提出双流交互机制和通道级跨模态注意力，动态调整几何与语义特征融合权重，结合不平衡多任务学习提升长尾检测能力，在Occ3D和SurroundOcc数据集上达到最优性能。

　　

Jiuyu Chen|Miao Chen|Donglin Zhu|Yuyan Mao|Wei Xie|Zhongli Wang

北京交通大学自动化与智能学院，中国北京市海淀区，100044

摘要

在无人系统中，多模态输入的自适应融合对于3D场景理解至关重要，尤其是在预测任意类型物体的占用情况时。最近的多模态占用预测方法取得了显著进展，但往往依赖于隐式的、对称的融合方式和复杂的架构，这可能会限制空间一致性和准确性。此外，尽管基于检测的方法取得了令人印象深刻的性能，但它们仍然缺乏足够的特征对齐机制来充分利用语义和几何信息。本文提出了MAAFOcc，这是一种新的网络，用于有效的占用预测，它引入了一种双流交互机制。该网络首先直接从2D鸟瞰图（BEV）特征进行学习，然后再回归到3D占用情况。MAAFOcc的核心贡献是一种自适应非对称融合（AAF）机制。与对称方法不同，AAF根据任务的具体要求动态调整来自不同模态的几何和语义特征的贡献。这通过通道级交叉注意力模块来补充，以实现多模态特征的对齐，并通过不平衡的多任务学习来增强检测监督策略。在多个公共数据集上的广泛实验表明，所提出的方法在3D占用预测方面达到了最先进的性能水平，优于其他基线模型。AAF机制的集成显著提升了多模态融合的性能。代码将在https://github.com/iRobotVision/MAAFOcc处提供。

引言

多模态融合显著提高了3D感知的准确性和鲁棒性，对于无人系统中的场景理解至关重要。在自动驾驶领域，多模态融合被广泛应用于各种3D感知任务中，如物体检测[1]、[2]、地图分割[3]、车道检测[4]以及占用预测[5]、[6]、[7]、[8]。设计基于融合的3D感知框架的关键是从不同模态中提取有效信息，并有效地进行特征对齐，以支持任务头的输出。另一方面，特征对齐模块不应过于复杂，平衡这些方面非常重要。值得注意的是，由于其在检测不规则障碍物方面的优势以及特征对齐和多模态融合所带来的挑战，3D语义占用预测任务近年来引起了广泛的研究兴趣。受现有工作的启发，本文重点关注这一任务，并详细探讨了特征监督策略和信息融合技术。

占用预测是自动驾驶领域中的一个关键任务，它通过预测3D空间中每个体素的语义类别来解决检测长尾和不规则障碍物的挑战。此外，它还能够识别不符合预定义类别的物体，将其标记为通用物体。一般来说，一个有效的占用预测框架必须充分利用来自各种传感器模态的数据，例如以几何特征为主的LiDAR点云特征和以语义特征为主的相机特征。传统的占用预测方法采用体素化技术，将3D空间划分为体素，并为每个体素分配一个向量来表示其占用状态[5]、[9]、[10]。尽管这些方法在准确性方面表现良好，但3D操作和传统的注意力层会带来相当大的计算开销。为了解决这个问题，最近的研究[11]、[12]、[13]将占用预测任务统一到了鸟瞰图（BEV）特征空间中，用2D卷积替换了网络中的3D卷积，并直观地利用通道到高度（Channel-to-Height）变换将扁平化的BEV特征重塑为3D体素级别的占用概率值。这些模型不仅在准确性和计算效率之间取得了平衡，而且还具有良好的部署兼容性。

由于采用了BEV表示法，许多来自基于BEV的建模的见解可以应用于占用预测任务，例如通过基于纯相机和BEV框架的方法实现轻量级预测。然而，尽管基于相机的方法[1]、[11]、[14]在之前的研究中取得了显著进展，但场景中的表面语义信息和纹理细节常常会导致空间感知错误。因此，有效地利用来自LiDAR或雷达的点云信息来构建基于融合的框架是占用预测模型充分学习场景的语义和几何特征的有效策略。传统的基于融合的方法[7]、[8]、[12]通常专注于探索用于占用预测单任务的有效多模态特征融合策略，从而缓解了空间不一致性问题并增强了特征。然而，对于融合特征的监督机制关注较少。DAOcc[13]提供了一个新的研究视角，通过利用3D物体检测任务来监督融合特征的学习，从而实现了检测辅助的占用预测。它迫使模型通过物体检测损失关注物体的空间结构，从而实现更准确的占用预测。然而，这种方法只是简单地对多模态特征进行了对称连接，而没有适当的空间特征对齐，这导致了误差传播，并在联合训练过程中阻碍了相对于稀疏预测任务而言不平衡的密集预测任务的学习。

在这项工作中，我们提出了一种新的基于BEV的占用预测模型MAAFOcc，它通过自适应非对称融合（AAF）方法从多模态输入中完全学习几何和语义特征。对于占用预测任务，MAAFOcc增强了辅助检测流的点云几何特征学习能力和占用预测流的相机语义特征学习能力，并通过自适应重要性学习机制，实现了检测任务对占用预测任务的单向增强。具体来说，我们采用了一种“检测监督占用”策略，通过引入模态随机掩码来增强模型对多模态输入的鲁棒性，并使用轻量级的交叉注意力模块进行特征对齐。在这个设计中，LiDAR特征被用作检测任务的主要查询，而相机特征被用作占用预测任务的主要查询。随后，引入了一个联合任务门控机制，其中输入一个二进制任务向量，并通过MLP自适应地映射到一个四维权重向量，以加权不同流的注意力模块的输出。最后，将两个特征流的输出连接起来，并通过Conv2d-BatchNorm-ReLU（CBR）模块生成一个融合特征图，然后将其输入到占用预测头和辅助头中进行损失计算。

简而言之，本工作的贡献如下：

• （1）
  提出了一种用于多模态占用预测建模的自适应非对称融合（AAF）方法；
• （2）
  结合了通道级交叉注意力，以有效改进跨模态特征对齐；
• （3）
  引入了检测监督策略，以增强模型学习几何特征的能力；
• （4）
  在多个公共数据集上的实验结果表明，所提出的MAAFOcc达到了最先进的性能水平，并产生了准确的占用预测结果。

相关工作

相关工作

在这项工作中，受到BEV空间中通道到高度（Channel-to-Height）策略[11]的启发，我们引入了两种关键技术：（1）基于BEV的多模态特征对齐。由于所提出方法的流程将来自不同输入模态的特征映射到统一的BEV空间中，因此可以利用许多为多模态特征对齐开发过的感知方法。此外，通过整合3D物体检测的信息融合见解，我们对这一领域进行了全面的讨论。

方法

本文提出了一种新的多模态框架MAAFOcc，它通过非对称交叉注意力机制实现特征融合，通过随机模态丢弃增强了整体鲁棒性，并结合辅助检测头训练出更准确的占用预测网络。

数据集和指标

对于占用预测任务，我们采用了两个广泛使用的公开可用数据集基准Occ3D[5]和SurroundOcc[25]，并使用每个基准对应的标准性能指标，以便与其他现有方法进行公平和并行比较。

Occ3D-nuScenes。Occ3D-nuScenes[5]、[45]是一个领先的3D占用预测基准数据集，包含700个训练场景和150个验证场景。该数据集的感知范围定义为[?40米，40米]

结论

在这项工作中，我们研究了基于BEV的3D感知框架中的多模态融合挑战，重点关注在检测监督下的占用预测模型中增强空间一致性。提出了一种自适应非对称融合（AAF）方法，并在几个公开可用的数据集上实现了最先进的性能。实验结果表明，将跨模态注意力机制和非对称信息融合应用于BEV

CRediT作者贡献声明

Jiuyu Chen：撰写——原始草稿、可视化、验证、软件、方法论、形式分析、数据整理、概念化。Miao Chen：软件、数据整理、概念化。Donglin Zhu：监督、项目管理、概念化。Yuyan Mao：监督、概念化。Wei Xie：监督、调查。Zhongli Wang：撰写——审阅与编辑、监督、资源管理、项目管理、调查、资金获取、形式分析、数据

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。

致谢

本研究部分得到了脑科学与类脑智能技术——国家科技重大专项（2022ZD0205005）和国家自然科学基金（项目编号61573057）的支持。