CFTrack: 利用几何增强 Transformer 解决 3D 点云跟踪中的中心与特征模糊性

《Neurocomputing》：CFTrack: Addressing center and feature ambiguity in 3D point cloud tracking with a geometry-augmented transformer

　　

摘要：基于点云的 3D 单目标跟踪 (3D SOT) 是自动驾驶和机器人感知中的基本任务。然而，由于严重的稀疏性、不规则的点分布和频繁的遮挡，在激光雷达点云中进行可靠跟踪仍然具有挑战性。这些因素通常导致特征表示模糊和模板中心定位不准确。为了解决这些挑战，我们提出了 CFTrack，一个用于鲁棒 3D 点云跟踪的几何感知 Transformer 框架。该框架联合建模跨帧特征交互和空间几何结构，从而实现更可靠的目标关联和定位。具体来说，我们设计了一种几何保持的双分支特征提取器 (PointTrackNet) 以维持层次化的点云表示。我们进一步引入了一种余弦 - 注意力相似度增强网络 (CASA-Net)，将交叉注意力集成到余弦相似度计算中，以增强跨帧特征匹配的鲁棒性。为了提高定位精度，提出了一种中心位置增强 Transformer (CET)，通过方向一致性建模将几何先验纳入注意力机制。这种设计增强了模型对空间结构的感知，并提高了模板中心定位精度。在 KITTI 和 NuScenes 基准上的大量实验证明了 CFTrack 具有竞争力的跟踪性能。

引言：随着自动驾驶、机器人导航等相关领域的快速发展，基于激光雷达点云的 3D 单目标跟踪 (3D SOT) [29] 的重要性日益凸显。该任务涉及在给定第一帧目标模板的情况下，检测、定位并预测动态对象（如车辆和行人）的运动轨迹，并在后续帧中持续估计目标的位置和方向。与 2D 图像相比，点云可以为单目标跟踪提供精确的深度和几何结构信息。然而，稀疏性、无序性和缺乏纹理特征等固有特性也给跟踪任务带来了重大挑战。

开创性的基于形状补全的孪生跟踪方法 (SC3D) [12] 在目标最后已知位置周围生成候选建议，并在潜在空间中选择最佳匹配进行预测。然而，这种方法缺乏端到端的可训练性，并且由于依赖大量的候选建议，推理速度较慢。为了解决这种依赖，Qi 等人 [26] 引入了一种受 2D 孪生跟踪启发的逐点相关性模块，提出了一种端到端的 Point-to-Box 网络 (P2B)，引入了逐点余弦相似度 [1] 以建立模板和搜索区域之间的特征关联。在 P2B 基础上，SA-P2B [49] 结合了辅助网络来预测目标结构信息。在类似的框架中，3D-SiamRPN [9] 使用交叉相关性模块进行特征匹配，并使用 RPN 头进行最终预测。虽然有效，但这些方法严重依赖全局相似度度量，在严重遮挡或稀疏观察下往往难以建模复杂的空间关系。

最近，由于 Transformer 架构在建模长程依赖方面的强大能力，已被引入 3D 跟踪中。例如，为了探索点云间的关系，LTTR [6] 构建了点云内的局部信息和全局相关性，采用基于体素的处理管道和 Transformer 架构进行特征增强。SMAT [7] 提出了一种具有 Transformer 架构的稀疏到密集转换框架，用于 3D 单目标跟踪，通过模板和搜索分支之间的全局相似度计算来缓解稀疏性影响。CAT [10] 引入了一种创新的跨帧聚合 (CFA) 模块，通过整合历史参考帧的特征来增强模板表示，以解决极端点云稀疏性下的挑战。然而，大多数现有的基于 Transformer 的跟踪器主要关注语义特征相似度，而忽视了对几何先验的显式建模，例如模板中心与其周围点之间的空间关系。因此，当点云变得稀疏或部分遮挡时，这些方法可能会出现定位漂移。

点云跟踪根本依赖于在模板和搜索区域之间建立可靠的对应关系。然而，由于激光雷达点的稀疏性和不规则分布，仅靠特征相似度通常不足以保证稳定跟踪。我们观察到，3D 空间中的对象围绕对象质心表现出相对稳定的几何结构。因此，鲁棒跟踪不仅应依赖特征相似度，还应结合几何结构一致性。基于这一观察，我们将点云跟踪构建为一个几何感知跨帧关联问题，联合建模：(1) 跨帧特征相似度，确保模板和搜索点之间的可靠对应。(2) 几何结构一致性，约束模板中心周围点的空间排列。遵循这一原则，我们提出了 CFTrack，一个几何感知 Transformer 跟踪框架，将特征交互和几何推理集成到一个统一架构中。首先，我们设计了一个名为 PointTrackNet 的点云特征提取网络，建立在 PointNet++ [25] 架构之上。它通过层次化下采样高效地从点云中提取多尺度特征，同时保留多尺度特性。其次，我们将交叉注意力机制 [43] 引入余弦相似度计算，并提出余弦 - 注意力相似度增强网络 (CASA-Net)。交叉注意力机制使搜索区域中的特征能够动态聚合模板特征，从而增强模板信息在搜索区域内的嵌入。与仅使用余弦相似度相比，交叉注意力捕获更复杂的特征交互，表现出更强的表示能力。此外，设计了一个中心位置增强 Transformer (CET)。基于标准 Transformer [33]，CET 集成了几何位置信息和局部邻域关系。它使用 MLP 将 3D 坐标差转换为高维位置编码，并通过 K-最近邻 (KNN) [32] 限制注意力范围。值得注意的是，虽然最近一些跟踪器 [22] 也强调几何或位置先验，但它们通常通过在特征空间内级联的全局 - 局部自注意力隐式建模这些先验来辅助投票网络。相比之下，我们的 CFTrack 引入了显式的几何方向调制。通过中心位置增强 Transformer (CET)，我们直接将中心 - 邻域方向一致性注入到注意力公式中。注意力权重通过结合空间关系和特征相似度计算。根据中心点与其邻居之间的方向关系调整注意力权重，强调朝向模板中心的点，从而增强几何感知。这种设计显式惩罚非结构变化，并鼓励模型关注与对象质心结构对齐的点，提供更直接的几何约束，并在严重遮挡和点稀疏情况下提高鲁棒性。每个模块都保留残差连接以防止梯度消失并保留原始信息，从而减轻边界模糊和遮挡造成的干扰，提高模型的容错能力。CFTrack 的主要贡献是一个几何感知跟踪框架，联合利用特征交互和空间结构信息进行鲁棒的点云跟踪。与现有方法相比，CFTrack 针对跟踪场景设计了专用的特征提取、匹配和定位模块，针对点云稀疏性和遮挡的独特问题，实现了 3D 单目标跟踪 (SOT) 流程关键阶段中心位置信息的深度集成和增强。如图 1 所示，CFTrack 在 KITTI 数据集上展示了具有竞争力的跟踪性能，并在挑战性场景下表现出强大的鲁棒性。

总之，我们的贡献如下：
•我们提出了 CFTrack，一个基于 Transformer 的 3D 点云跟踪框架，联合增强语义对应和几何定位，以减轻特征模糊和中心漂移。
•我们引入了 CASA-Net，将交叉注意力机制集成到余弦相似度计算中，以增强跨帧特征交互。这种设计使每个搜索点能够聚合多个模板点的信息，提高部分可见和点云稀疏情况下的特征匹配鲁棒性。
•我们提出了一种称为 CET 的几何感知注意力机制，将中心 - 邻域方向一致性纳入 Transformer 注意力权重。这种设计增强了空间感知，减少了跟踪过程中的中心定位漂移。
•在 KITTI 和 NuScenes 基准上的实验表明，CFTrack 在代表性基线之上取得了具有竞争力的性能。全面的消融研究进一步验证了每个提出模块的有效性，并突出了结合几何推理与特征交互的好处。

章节片段

相关工作
本节简要讨论了 3D 点云对象跟踪和 Vision Transformer。

方法论
在 3D 场景中，一个对象边界框可以表示为 (x,y,z,w,l,h,θ)，其中 (x,y,z) 表示中心坐标，(w,l,h) 代表维度参数，θ是边界框的方位角。对于对象跟踪问题，本研究的目的是通过逐帧处理 3D 点云序列来实现目标对象的连续定位。基于 P2B [26] 中的常见假设，即第一帧中目标对象的尺寸是已知的

实验设置
数据集。我们在 KITTI [11] 和 NuScenes [4] 数据集上评估了所提出的方法。公开可用的 KITTI 数据集包含 21 个户外场景和 8 类目标对象。遵循 [26] 中描述的协议，我们为视频中的所有目标实例生成轨迹片段，并将 20 个序列划分为三个子集：训练集 (00–16)、验证集 (17–18) 和测试集 (19–20)。值得注意的是，KITTI 测试集的注释数据不公开

结论
在本文中，我们提出了 CFTrack，一个用于鲁棒 3D 点云跟踪的几何增强 Transformer 框架。所提出的方法解决了点云跟踪中的两个关键挑战：特征模糊和中心定位漂移。具体来说，我们引入了 PointTrackNet 用于几何保持的特征提取，CASA-Net 用于增强的跨帧特征交互，以及一个将几何先验纳入注意力机制的中心位置增强 Transformer。大量

CRediT 作者贡献声明
Sen Li：写作 – 审阅与编辑，写作 – 原始草稿，软件，方法论，概念化。Guixi Liu：写作 – 审阅与编辑，监督，方法论，资金获取，概念化。Ruke Xiong：调查。Qian Lu：验证。Yinghao Li：数据整理。Yisong Xiao：监督。

利益冲突声明
作者声明他们没有任何已知的竞争经济利益或个人关系可能影响本文中报告的工作。

致谢
本工作由国家自然科学基金 [项目编号 61972307] 支持。

Sen Li 于 2023 年获得大连大学硕士学位。她目前正在中国西安电子科技大学攻读控制科学与工程博士学位。她的当前研究方向是基于深度学习的目标检测和跟踪算法研究。

Sen Li|Guixi Liu|Ruke Xiong|Qian Lu|Yinghao Li|Yisong Xiao
中国陕西省西安市太白南路 2 号西安电子科技大学，邮编 710071