V2X-MAE：基于多视角蒸馏的无解码器掩码自编码技术，用于协同感知

《ADVANCED ENGINEERING INFORMATICS》：V2X-MAE: Decoder-free masked autoencoding with multi-view distillation for cooperative perception

　　

Hui Wu|Yisheng Chen|Yu Xiao|Ruihai Dong|Ding Lin

摘要

车联网（V2X）协同感知作为一种变革性技术，通过让车辆与基础设施共享感知信息，从而扩展感知范围并减少遮挡，为自动驾驶带来了新可能。然而，构建有效的协同感知模型面临着两大挑战：一方面是对大规模标注过的3D点云数据的依赖，另一方面则是几何捷径问题，即模型过度依赖表面空间特征，而非学习强大的语义表示。为解决这些问题，我们提出了一种专为V2X协同感知设计的自监督预训练框架。该方法利用大规模未标注的多智能体点云数据，通过一种新颖的多视图生成策略，创建具有不同空间完整度的全局协同视图、局部单智能体视图以及遮蔽协同视图。该框架采用无解码器架构，并通过教师-学生自我蒸馏机制，有效解决了多智能体场景中的几何捷径问题，同时提升了智能体间的语义一致性。预训练后的编码器可轻松集成到现有的协同感知系统中，仅需一个轻量级的特征适配层即可与下游检测模块相连。在三个代表性数据集（V2X-Real、V2V4Real和OPV2V）上的大量实验表明，与基线方法相比，我们的方法在大多数场景下都能取得显著提升，尤其是在传感器多样性高且遮挡严重的情况下优势更为明显；而在以基础设施为中心的配置中，即便基线方法已接近性能极限，我们的方法仍能保持竞争力。该方法的检测精度提升幅度可达$+3.8$ 的mAP@0.5值，在传感器多样性高的场景以及数据效率方面也具有明显优势。值得注意的是，我们的方法仅使用50%的训练数据就能超越基线性能，且在存在遮挡的复杂场景中仍能保持较强的稳定性。