基于Mamba的异构毫米波雷达感知自回归预训练方法

《Expert Systems with Applications》：Autoregressive Pre-training for Heterogeneous mmWave Radar Perception using Mamba

　　摘要：公共毫米波雷达数据集是在不同的采集配置和处理协议下收集的，这导致了不同数据集之间存在系统性的几何和信号统计差异。即便底层硬件相同，网格分辨率、视场角、可测量的距离/速度以及是否具备校准的多普勒/速度轴等方面的差异，也会使得简单的多数据集聚合方法不可靠，并可能使模型出现特定于数据集的偏差。我们提出了MetaARM，这是一种基于元数据的自监督预训练框架，用于处理异构毫米波雷达感知任务。MetaARM将3D雷达张量划分为互不重叠的3D块，并按照结构化的序列化顺序进行因果式下一块预测训练：首先沿序列轴对token进行排序，然后在每个距离-方位平面上进行逐行扫描。为了解决配置差异问题，MetaARM通过两种耦合机制注入采集元数据：一是绝对坐标编码（ACE），它利用分辨率和视场角元数据将离散的块索引转换为标准化的物理坐标，从而减少几何不一致性；二是Mamba模块中的FiLM基条件机制，它在选择性扫描之前根据可观测的采集/配置元数据对token特征进行校准。这两种机制共同利用相同的元数据，在自回归预测之前将物理雷达-token几何结构与考虑配置的序列建模相联系。在五个公共雷达数据集的聚合语料上预训练后，MetaARM在三个评估指标上的迁移性能均有所提升，在RADDet上的mAP@0.3值为64.5，在CARRADA (RA)上的mIoU值为49.5，在CRUW上的AP值为85.0，这些成绩均优于在相同条件下从零开始训练、MAE预训练、联合监督学习以及轻量级归一化和元数据仿射校准等基准方法。总体而言，这些结果表明，基于元数据的自回归预训练是一种有效的学习方法，能够让雷达表示在跨数据集采集/配置变化的情况下仍保持较好的迁移能力。

引言：自监督预训练已成为从大规模无标签语料中学习可迁移表示的核心方法（He, Chen, Xie, Li, Dollár, Girshick, 2022; He, Fan, Wu, Xie, Girshick, 2020）。在毫米波雷达感知领域，这种方法尤为适用，因为标注成本高昂，雷达测量在恶劣天气和光照条件下依然稳定，而且公共数据集涵盖了多种感知场景。在本研究中，我们探讨了针对异构毫米波雷达感知的领域特定预训练方法，旨在从不同采集配置和处理协议下收集的公共数据集中学习可迁移的雷达表示。一个主要的实际障碍是公共毫米波雷达数据集的异质性。这些数据集是在不同的采集配置和处理流程下收集的，而且雷达硬件具有高度的可配置性，这直接影响了数据分辨率和感知范围（Lim, Markowitz, Do, 2021; Nowruzi, Kolhatkar, Kapoor, Al Hassanat, Heravi, Laganiere, Rebut, Malik, 2020; Ouaknine, Newson, Pérez, Tupin, Rebut, 2021; Wang, Wang, Hsu, Liu, Hwang, 2021b; Zhang, Nowruzi, Laganiere, 2021）。即便底层雷达芯片组相同，不同数据集在视场角、可测量的距离和径向速度，以及用于构建雷达张量的离散化/网格分辨率等方面也可能存在差异。此外，并非所有数据集都提供明确且经过校准的多普勒/速度轴；有些数据集仅提供有序的序列轴，比如随时间变化的RA帧，或每帧少量的粗略多普勒切片，在射频图像风格的表示中，位置和速度可能是隐含的，而非以清晰的速度网格形式呈现（Zhou et al., 2022）。这些配置层面的差异会导致不同数据集在几何结构和信号统计特性上出现系统性偏差。这类偏差使得简单的语料聚合方法不可靠。即使将数据重采样到统一的张量网格中，相同的离散索引在不同数据集中仍可能对应不同的物理尺度，从而导致几何模式的一致性被打破。同时，不同的采集设置、张量构建方式和处理流程也会改变同一类型目标回波的特征，进而造成特定于数据集的特征偏差。因此，直接在聚合语料上训练的模型可能无法区分所观察到的变化是源于真实的场景变化，还是由配置差异带来的伪影。为了解决这个问题，我们提出了MetaARM，这是一种基于元数据的自回归预训练框架，旨在改善在异构采集协议下的多数据集雷达预训练的物理一致性。MetaARM通过将采集/配置元数据作为token几何结构和特征传播的共同条件信号，来解决雷达预训练的异质性问题。具体而言，我们构建了一个元数据向量M，用于总结可测量的配置参数（如网格分辨率、视场角、可测量距离以及是否存在多普勒/速度信息），并通过两种耦合路径将M注入模型。首先，绝对坐标编码（ACE）将离散的网格索引对应的块位置转换为标准化的物理坐标，从而减少因不同网格分辨率造成的几何不一致性。其次，基于FiLM的（Perez, Strub, de Vries, Dumoulin, & Courville, 2018）条件机制利用M中包含的可用采集/表示元数据来调节Mamba状态空间架构（见表1），无需依赖详细的波形或处理层面参数。在这种架构中，相同的采集/配置元数据既用于定义具有物理意义的雷达-token坐标，又用于在校准序列建模过程中使用的特征路径，从而以耦合的方式解决几何不一致性和与配置相关的信号偏差问题。为了从聚合语料中学习，我们采用了ARM（Tian, Jiang, Yuan, Peng, & Wang, 2024）的自回归预训练范式，并以自回归（AR）建模（Chen et al., 2020）作为自监督目标。雷达张量沿序列轴具有天然的有序结构。对于RAD表示而言，该轴对应于经过校准的多普勒/速度指数（记为δv=1）；否则则被视为未经校准的有序指数（δv=0）。我们对3D块token进行序列化处理，首先是沿序列轴遍历，然后在每个距离-方位平面内进行逐行扫描。MetaARM通过对该序列中的token进行因果式下一token预测来进行训练，从而促使模型既能捕捉平面内的空间结构，又能理解由序列轴引发的跨平面相关性。为了高效地处理长序列，我们采用了Mamba作为因果架构的实现方式（Gu & Dao, 2023），利用其线性时间的扫描能力进行自回归预测。基于这一架构，我们在聚合的异构雷达语料上对MetaARM进行了预训练，并评估了所学到的编码器在下游检测、分割和定位任务中的迁移效果。实验表明，基于元数据的自回归预训练相比从零开始训练、在聚合语料上进行联合监督训练以及常见的自监督和归一化基准方法，具有更好的迁移性能。

贡献：我们的主要贡献如下：
• 我们指出采集/配置的异质性是实现可扩展的多数据集毫米波雷达预训练的关键障碍，并将异构雷达感知问题转化为基于元数据的自监督预训练问题。
• 我们提出了MetaARM，这是一种基于元数据的自回归预训练框架，它将基于ACE的物理坐标编码与基于FiLM条件的Mamba序列建模相结合。相同的采集/配置元数据既用于定义具有物理意义的雷达-token坐标，也用于在Mamba选择性扫描之前校准token特征。
• 我们通过多个雷达评估任务提供了实证证据，证明基于元数据的预训练能够提升模型的迁移能力，同时我们还采用了基于Mamba的高效自回归架构，以便处理较长的雷达token序列。

章节摘录：
雷达感知的深度学习：深度学习已成为处理毫米波雷达数据的关键技术，在物体检测（Zhang et al., 2021）、语义分割（Jin, Hoffmann, Deligiannis, Fuentes-Michel, & Vossiek, 2023）以及人类活动识别（Yao et al., 2024）等多种感知任务中取得了显著进展。这些研究探索了不同的雷达表示方法，包括稀疏的4D雷达点云表示（Gao et al., 2025）以及更密集的、类似图像的热图表示。

方法：本节介绍了MetaARM（Metadata-AR-Mamba），这是一种用于毫米波雷达的自回归自监督预训练框架，如图1所示。该方法由四个部分组成：具有结构化排序的雷达张量分词、绝对坐标编码（ACE）、基于元数据的Mamba编码器，以及因果式下一token预测目标。采集/配置元数据被用来为坐标和特征条件路径提供参数设定。

实验：本节通过实验证明了所提出的MetaARM框架的有效性。首先，我们在三个下游感知任务上将该微调后的模型与现有的先进基准方法进行对比，并分析了典型的定性案例（第4.2节）。接着，我们进行了匹配的训练范式比较、各组件的消融实验、元数据鲁棒性研究以及目标/序列化分析（第4.3节）。最后，我们分析了该方法的 scalability、数据效率以及实际应用成本（第4.4节）。

结论：本研究解决了由于不同的采集配置、雷达表示方式和张量构建协议所导致的毫米波雷达感知中的数据异质性问题。我们提出了MetaARM，这是一种基于元数据的异构雷达感知自回归预训练框架。MetaARM将采集/配置元数据作为雷达-token几何结构和特征传播的共同条件信号：ACE负责将token位置转换为标准化的物理雷达坐标，而CRediT

作者声明：
Hongliang Chen：概念设计、方法论、软件实现、验证、形式分析、研究、数据整理、初稿撰写、可视化。Xiaotian Jiang：方法论、验证、研究、审稿与编辑。Kaitai Guo：资源协调、数据整理、审稿与编辑。Yang Zheng：资源协调、监督、审稿与编辑。Siqi Pang：验证、研究、审稿与编辑。Shenghan Ren：资源协调、研究、审稿与编辑。

利益冲突声明：作者声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：Jimin Liang表示获得了中国国家自然科学基金的资助；Kaitai Guo表示获得了中国国家自然科学基金的资助；Siqi Pang表示获得了中央高校基本科研业务费的资助；Kaitai Guo还表示获得了其他资助。Hongliang Chen|Xiaotian Jiang|Kaitai Guo|Yang Zheng|Siqi Pang|Shenghan Ren|Jimin Liang