《Pattern Recognition Letters》：O3DAA: A Method for Offline 3D Point Cloud Automatic Annotation
编辑推荐：
•提出了一种基于多帧跟踪的离线3D点云自动标注方法。•设计了一个基于注意力机制的模块，用于实现形状和轨迹的动态优化。•在降低人工标注成本的同时提升了标注的质量与效率。•在公共数据集上取得了先进的结果，尤其是在处理稀疏场景时表现优异。引言近年来，自动驾驶技术在学术界和工业界都取得了
- •
提出了一种基于多帧跟踪的离线3D点云自动标注方法。
- •
设计了一个基于注意力机制的模块，用于实现形状和轨迹的动态优化。
- •
在降低人工标注成本的同时提升了标注的质量与效率。
- •
在公共数据集上取得了先进的结果，尤其是在处理稀疏场景时表现优异。
引言
近年来，自动驾驶技术在学术界和工业界都取得了稳步发展，已成为人工智能和智能交通系统研究的重要方向。其中，3D物体检测起着至关重要的作用，它能够精准定位并识别道路上的各类重要目标，包括车辆、行人和骑行者。为了训练出既强大又具有泛化能力的3D检测模型，高质量标注的大规模自动驾驶数据集[1]、[2]、[3]显得尤为重要。这些数据集提供了丰富的训练样本，也为算法评估和比较提供了标准化的基准。
尽管自动驾驶研究已取得显著进展，但目前主流的3D数据标注方式，尤其是针对点云数据的标注，仍主要依赖人工操作。这种劳动密集型的工作方式不仅耗时，效率低下，而且成本高昂。为了解决这些问题，近期研究逐渐聚焦于开发自动化的点云数据标注技术，旨在减少人工干预的同时保持高精度标注，从而提升数据准备流程的效率和实用性。
目前，已有大量研究[4]、[5]、[6]致力于开发更复杂的架构，以便更好地利用长序列点云中的时间信息。然而，由于现有离线3D物体检测器的设计和处理方式存在固有局限，它们在有效建模序列点云表示方面的能力仍然不足。基于此，我们分析了现有的最先进的离线3D检测框架，并总结了三个主要缺陷：（1）大多数检测器会将稀疏的点云特征转换为密集的特征图，这会导致远处物体的信息丢失，进而降低检测精度；（2）在某些帧中，物体对应的点非常少，从而导致检测性能下降以及轨迹出现断裂；（3）在以物体为中心的优化阶段，现有方法尚未充分利用跨帧的时间信息，限制了整体性能的提升。
本文通过引入一个专用模块，解决了稀疏点云中远处物体检测的问题。该模块将多帧稀疏点云检测与离线跟踪相结合，提升了检测的稳定性，并保持了轨迹的时间连续性。与传统难以维持跨帧特征一致性的滑动窗口时间建模方法不同，所提出的方法引入了基于注意力机制的优化模块，能够充分挖掘物体的内在特征。此外，还对点云进行了增强处理，以提升形状估计的准确性，同时设置了时间连续的运动约束，从而得到更为平滑且全局一致的轨迹预测结果。
本研究的主要贡献如下：
- •
本文提出了一种全新的离线3D自动标注框架，该框架充分利用时间信息，提升了自动标注的精度。
- •
本文介绍了一种带有离线跟踪器的多帧物体检测器，该跟踪器通过置信度衰减、漏检惩罚以及状态估计方差等方式来验证轨迹的真实性。这种方法能有效减少误报，提升系统对遮挡、远距离目标以及短期3D信息丢失的应对能力。
- •
进一步引入了基于注意力机制的优化模块，用以利用跨帧的时间上下文，从而实现更准确的物体预测和更精确的定位。
- •
在Waymo开放数据集的验证集上进行的大量实验表明，所提出的方法具有很高的有效性，在多项评估指标上都取得了优异的性能。
章节节选
3D物体检测
目前主流的3D物体检测方法大致可分为基于体素的方法和基于点的方法两类。基于体素的方法[7]、[8]会将稀疏的点云转换为规则的3D体素网格，使其能够与卷积神经网络（CNN）相兼容。VoxelNet[7]首次引入了体素特征编码（VFE）模块以及稀疏体素表示方式，实现了高效的体素级特征提取。在此基础之上，SECOND[8]进一步优化了稀疏卷积算法
稀疏检测器
为提升在远距离和稀疏点云场景下的检测稳定性，本研究采用了Zakharov等人提出的全稀疏检测（FSD）框架[21]作为基础检测器。原有的FSD仅能处理单帧点云，这限制了其对时间信息的利用。为更好地将FSD整合到所提出的O3DAA自动标注框架中，我们做了以下几项关键改进：
- (1)
通过引入多帧输入来强化时间建模功能：通过对FSD进行扩展
实验设置
数据集：Waymo开放数据集[1]是当前规模最大、种类最丰富的自动驾驶公共数据集之一，包含798个训练用点云序列、202个验证序列以及150个测试序列。每个序列大约包含200帧图像，能够在360度的全视野范围内为四种物体类别提供3D标注信息。我们使用官方规定的评估指标来衡量模型性能，其中包括平均精度（AP）以及基于某种权重计算的平均精度
结论
本研究提出了一种基于点云数据的新型自动标注方法——O3DAA，该方法显著提升了3D物体检测的整体性能。通过将稀疏检测器与离线跟踪器相结合，该算法能够生成更加准确且完整的物体轨迹。此外，通过引入形状优化模块和轨迹优化模块，进一步提升了物体形状和空间位置建模的精度。在相关数据集上的实验结果也证实了
CRediT作者贡献说明
丁勇：项目管理、资金筹措。 何悦：初稿撰写。 王洪宇：验证工作、软件开发。 王一芳：数据整理工作。 唐军：初稿撰写、项目指导。 徐震：正式分析工作。 余青：相关调研工作。
利益冲突声明
作者声明，他们不存在任何可能影响本文研究成果的已知财务利益关系或个人关联关系。
致谢
本研究得到了浙江省重点研发计划（项目编号2024C01010）、浙江省高端制造发展协同创新计划（项目编号2024C01030）以及浙江省重点研发计划（项目编号2025C01193）的支持。
丁勇|何悦|王洪宇|王一芳|唐军|徐震|余青
