无监督领域适应与多模态融合技术在单目3D物体检测中的应用 姜进（Jin Jiang）、 戴吉东（Jidong Dai）、 李伟（Wei Li）、 周玉泉（Yuquan Zhou）、 叶茂章（Maozhang Ye）、 张建国（Jianhuan Zhang） 以及 张晨涛（Chentao Zhang）

《Vehicles》：Unsupervised Domain Adaptation with Multimodal Fusion for Monocular 3D Object Detection Jin Jiang, Jidong Dai, Wei Li, Yuquan Zhou, Maozhang Ye, Jianhuan Zhang and Chentao Zhang

　　摘要 本文介绍了UM3D，这是一个端到端的无监督域适应框架，用于单目3D对象检测。单目3D对象检测因其低成本而具有吸引力，但由于深度线索有限且在标记数据稀缺时跨域泛化能力差而受到限制。现有的伪LiDAR方法需要监督训练，并将深度估计误差传播到下游检测中，而当前的无监督域适应（UDA）方法仅利用单一模态，并且缺乏有效的伪标签质量控制。UM3D通过两个关键设计解决了这些限制：（1）一种基于质量的伪标签生成策略，该策略包含对象级别的随机缩放和记忆库细化机制；（2）一个端到端的可微分流程，该流程整合了图像和伪LiDAR特征的多模态融合，并通过反向传播共同优化深度估计和3D检测。值得注意的是，整个流程在推理时只需要一个单目相机；伪LiDAR表示是从同一图像内部生成的，因此多模态融合不需要额外的传感器。在KITTI、nuScenes、Waymo和Lyft上的广泛实验表明，UM3D通常优于现有的UDA方法。特别是在简单条件下，通过端到端联合训练相比独立深度估计实现了19.30%的相对改进，在WOD → KITTI基准测试中封闭了高达76.81%的域差距。

1. 引言
在自动驾驶系统中，准确的3D对象检测对于车辆安全、智能决策和路径规划至关重要[1,2]。尽管LiDAR[3]提供了精确的深度信息，但其高成本和稀疏的点云限制了其在大规模场景中的应用。类似地，立体或多视图视觉系统[4,5,6]利用多视图几何关系恢复深度，但涉及更高的系统复杂性和计算成本。相比之下，单目3D对象检测仅依赖于一个相机，在成本效益和部署便利性方面具有显著优势[7]，使其成为一个有前景的研究方向。然而，从单个2D图像中恢复密集和准确的3D信息本质上是一个病态问题，因为深度信息丢失了。在没有直接深度测量的情况下实现鲁棒和可靠的3D感知仍然是该领域面临的中心挑战。深度学习的最新进展为单目3D对象检测创造了新的机会。卷积神经网络（CNNs）的出现使得从图像中直接学习特征成为可能，显著推动了该领域的发展。一些方法尝试利用成熟的2D对象检测器在图像中获取2D边界框，然后基于这些2D信息估计3D对象属性[7,8,9]。然而，这种两阶段方法严重依赖于2D检测的准确性，并且难以实现端到端优化。更近期的方法通过将学习到的深度表示集成到检测流程中来增强单目3D检测[10,11,12]。为了解决单目图像中固有的几何信息不足问题，并利用为基于LiDAR的3D对象检测开发的成熟算法，伪LiDAR方法[13,14,15,16]应运而生。这些方法将单目深度估计网络的深度图转换为伪LiDAR点云，然后直接使用现有的点云检测器。这种方法为单目3D对象检测提供了新的范式，使得可以使用现有的点云处理算法。在此基础上，Qian等人[17]提出了一个端到端的伪LiDAR框架（E2E-PL），将深度估计和点云检测整合到一个兼容反向传播的统一系统中。此外，Zhou等人[18]引入了RSANet，这是一个自监督的单目绝对深度估计网络，消除了对真实深度监督的需求。然而，这种深度到伪LiDAR的转换引入了挑战：估计深度的错误不可避免地会传播到伪点云中，而依赖于大规模注释数据的现实世界适用性受到限制。有效解决这些挑战，特别是减少对注释数据的依赖，已成为该领域的研究重点。

为了克服数据注释瓶颈并在现实世界场景中增强模型泛化能力，无监督域适应（UDA）[19,20]在3D对象检测中引起了越来越多的兴趣。一些UDA方法通过对抗对齐[21,22,23]来减少源域和目标域之间的特征分布差异。其他方法采用自训练策略，在目标域生成伪标签以进行模型微调[24,25,26,27]。然而，许多现有方法要么只关注单一模态（如伪LiDAR点云或图像），要么缺乏有效的伪标签质量控制，导致信息利用不足或引入噪声，从而影响最终检测性能。特别是，在没有目标域3D注释或LiDAR硬件的情况下适应单目3D检测器，同时保留伪LiDAR表示的3D几何优势，仍然是一个未解决的问题。

我们的主要贡献如下：
我们提出了一种基于质量的伪标签生成策略，该策略结合了对象级别的随机缩放策略来减轻跨域对象大小偏差，并使用基于IoU的评分在三区间记忆库中迭代细化目标域的伪标签。
我们构建了UM3D，这是一个端到端的无监督域适应框架，它将自监督深度估计、基于密度的伪LiDAR生成、基于质量的伪标签生成和基于多模态融合的3D检测整合到一个可微分流程中，通过多网络一致性损失共同进行优化。整个流程在推理时只需要一个单目相机，因为伪LiDAR表示是从同一输入图像中得出的，而不是来自额外的传感器。

2. 相关工作
2.1. 基于监督学习的单目3D对象检测
由于缺乏直接的深度信息，早期的基于深度学习的单目3D对象检测方法主要依赖于监督学习。一些方法利用2D对象检测器的结果来辅助3D对象检测[7,8,9]。虽然这些方法受益于成熟的2D对象检测技术，但它们的性能受到2D检测准确性的严重限制，并且难以实现端到端优化。与基于2D检测的方法不同，伪LiDAR方法[13]将单目深度估计网络的深度图转换为伪LiDAR点云，然后使用基于LiDAR的3D对象检测器。后续研究[12,28,29]通过多种深度感知特征表示策略继续推进单目3D检测。Qian等人[17]提出了一个端到端的伪LiDAR框架（E2E-PL），将深度估计和点云检测整合到一个兼容反向传播的流程中，减少了深度估计和点云检测之间的差异。Li等人[30]引入了LoGoNet，通过LiDAR和相机特征的局部到全局跨模态融合实现了准确的3D对象检测。此外，一些研究人员尝试通过直接从图像中提取3D特征来避免中间步骤，以实现3D对象检测[31,32]。这些方法消除了中间步骤的错误，但对网络结构设计提出了更高的要求。尽管基于监督学习的方法取得了显著的性能改进，但其有效性仍然受到伪LiDAR点云质量的限制，大多数方法仍然依赖于大规模的注释数据集。

2.2. 基于无监督学习的单目3D对象检测
为了减少对注释数据的依赖，基于无监督学习的单目3D对象检测方法，特别是无监督域适应方法，近年来受到了越来越多的关注。无监督域适应旨在将训练有素的模型从标记的源域（如合成数据集或易于注释的场景）转移到未标记的目标域[19,20]。在单目3D对象检测中，这通常意味着将一个数据集上的模型转移到另一个数据集，或从模拟环境转移到真实世界环境。一些方法尝试通过对抗学习来减少源域和目标域之间的特征分布差异。这些方法引入了一个域鉴别器来区分源域和目标域的特征，并训练特征提取器来欺骗域鉴别器，从而减少域之间的特征分布差异。例如，Zhang等人[21]提出了一个基于对抗学习的域适应框架用于3D对象检测。相比之下，我们的UM3D不采用对抗组件；相反，它属于接下来描述的自训练范式，重点在于伪标签质量控制。另一类方法侧重于使用自训练策略，在目标域生成伪标签来微调模型。ST3D[25]提出了一种使用未标记的源域数据学习特征表示的自训练方法，并将这种表示应用于目标域的标签转移。Li等人[26]提出使用实例感知的代理生成进行跨域3D检测。DALI[27]利用分布和实例级别的伪标签去噪来实现无监督域适应。Wozniak等人[23]提出使用对抗特征对齐进行域适应。Tsai等人[24]通过专家集成框架进一步扩展了对抗/自训练范式，用于多源域适应，通过核密度估计盒融合聚合多个源域检测器的预测。然而，这些方法生成的伪标签的质量差异很大，不可靠的伪标签可能会损害模型训练。为了解决这个问题，其他基于伪标签的方法[33,34,35]通过迭代生成和优化伪标签来提高目标域中的模型性能，例如[35]提出了一个伪标签细化框架，通过移除或替换不可靠的伪3D框来提高伪标签的可靠性。尽管取得了这些进展，现有的单目3D检测UDA方法要么需要真实的LiDAR输入，要么放弃了伪LiDAR表示的几何优势，并且通常在域变换下缺乏可靠的伪标签质量控制。表1总结了代表性的单目3D检测方法，包括基于监督和UDA的方法，对比了它们的主要优势和局限性。

3. 方法
我们详细介绍了UM3D的主要结构，其框架如图1所示。图1. UM3D的整体流程。单目深度图被转换为伪LiDAR点云，然后进行基于质量的伪标签生成，并由一个端到端框架中的多模态融合检测器处理，该检测器结合了图像和点云特征。

3.1. 伪LiDAR点云生成
高质量的伪LiDAR点云能够实现准确的单目3D对象检测。我们详细介绍了UM3D中的伪LiDAR生成过程，包括深度图到伪LiDAR的转换和基于密度的点云采样。

3.1.1. 深度图到伪LiDAR转换
伪LiDAR点云的构建始于来自深度估计网络的绝对尺度深度图输出。在这项工作中，我们采用了自监督深度估计网络RSANet[18]来完成此任务。与相对深度图相比，绝对深度图不需要归一化，从而减少了信息损失。给定一张图像及其对应的深度图D，使用针孔相机模型的投影原理，图像平面上的每个点及其深度值对应于伪LiDAR点云坐标：
（1）
其中 和 是相机的水平焦距和垂直焦距， 和 是主点坐标。随后，通过坐标轴变换，将相机坐标系转换为车载LiDAR坐标系：
（2）
为了匹配现有的LiDAR点云检测器，我们通过计算每个点的垂直角度 和范围 来模拟64线LiDAR采集：
（3）
点按垂直角度分配到扫描线上，并按范围在每条线内排序；每条线内的点进一步按方位角划分为角度区间，每个（线，方位角）单元格中保留最接近传感器的点，模拟64束LiDAR的单次回波测距。距离传感器原点超过1米的点被移除，所有反射强度设置为1。

3.1.2. 基于密度的区间采样
标准的均匀采样会破坏从高密度单目深度图生成的伪LiDAR点云中的几何结构。由于伪LiDAR缺乏传统LiDAR采样中使用的反射强度线索，我们引入了基于密度的区间采样，该采样为空间区域分配逆密度权重，优先考虑稀疏区域以确保均匀覆盖。三维空间被划分为n个立方区间：
（4）
计算每个区间中的点数，并分配逆密度采样权重：
（5）
其中 是一个小正数，以防止除以零。然后根据 在每个区间内均匀采样点，得到每个区间采样的集合：
（6）
其中j由权重 决定，以便较稀疏的区间贡献更多的点。最终的采样点云是所有区间集合的并集：
（7）
这种方法确保了采样点的均匀空间分布，避免了过度稀疏或过度密集，这对于伪LiDAR点云算法至关重要，并直接影响单目3D对象检测性能。如图2所示，上述转换和基于密度的采样生成的伪LiDAR点云在近距离与实际LiDAR数据非常相似。图2. 深度到点云转换和基于密度的区间采样后伪LiDAR和实际LiDAR点云的比较。蓝点代表实际LiDAR测量值，绿点代表生成的伪LiDAR点云。**质量感知的伪标签生成**

当在源域上训练的3D检测器直接应用于目标域时，会产生系统性偏差：两个域中的对象在物理大小和点云密度上往往存在差异，导致检测器生成不准确的边界框。在传统的自训练流程中，这些不准确的检测结果被作为伪标签采用并反馈给检测器，从而在连续的迭代过程中放大初始错误。打破这一恶性循环需要在两个阶段进行干预。在源域预训练期间，与忽略对象大小差异的先前方法不同，我们引入了一种对象级别的随机缩放策略，使检测器暴露于不同大小的对象，从而在目标域生成更高质量的初始伪标签，如3.2.1节所述。基于这一改进的起点，我们进一步用一个质量感知的三区间记忆库替换了传统的基于置信度的过滤方法，该记忆库使用IoU回归头在自训练过程中对伪标签进行评分和迭代细化，详细内容见3.2.2节。

### 3.2.1 源域预训练的对象级别随机缩放策略

为了减轻源域偏差（如对象大小和目标位置）对伪标签生成的影响，我们在源域的点云数据上使用真实标签对3D检测器进行预训练。预训练模型学习了在源域中进行对象检测的基本判别方法，其权重用于初始化目标域中的未标记数据。然而，即使有精确的源域注释，预训练模型也可能产生偏差，例如目标大小和点云密度不一致。目标大小偏差直接影响3D检测的准确性，导致目标域伪标签中的边界框大小不正确。为了解决这个问题，我们引入了一种对象级别的随机缩放策略来模拟不同大小的对象。

具体来说，对于一个带有大小、中心坐标和方向角的标注3D边界框，我们首先将点从全局坐标系转换为边界框的局部坐标系：
(8)
其中表示边界框内第i个点的坐标。然后，通过随机缩放因子，边界框内的点的坐标被缩放，得到新的坐标。最后，缩放后的点坐标被转换回全局点云坐标系：
(9)
通过对象级别的随机缩放，有效地模拟了不同大小的对象，解决了预训练中的大小偏差问题，并有助于生成更稳健、更准确的对象大小伪标签。

### 3.2.2 伪标签生成模块

受ST3D [25]的启发，我们引入了一个质量感知的三区间记忆库来指导目标域的伪标签生成。该模块从对象检测器生成的预测边界框中提取信息，主要包括三个部分：基于IoU（交并比）的质量评分标准、三区间边界框分割和记忆库更新及伪标签生成。

#### 基于IoU的质量评分标准

我们通过添加一个IoU回归头来扩展原始的3D对象检测模型。给定感兴趣区域（RoI）池化特征，使用两个全连接层来预测3D边界框与真实边界框/伪标签之间的IoU。此外，引入了一个二元交叉熵损失函数来衡量IoU差异：
(10)
其中s是预测边界框的IoU，是真实边界框/伪标签与预测边界框之间的IoU。

#### 三区间边界框分割

为了避免将标签分配给不确定的预测，我们引入了一种边界框分割方案。给定第i个预测框的IoU质量得分，创建一个阈值区间。如果，该框及其标签类别被缓存到记忆库中作为正样本；如果，该框被忽略但被缓存到记忆库中，以指导训练过程中应忽略的区域；如果，该框被丢弃。

#### 记忆库更新和伪标签生成

为了生成一致且高质量的伪标签，我们设计了一种依赖于当前伪标签与历史伪标签融合的伪标签自更新校正策略。这个过程分为标签融合和标签投票。标签融合旨在将当前伪标签与历史伪标签整合，以产生更一致的伪标签。对于当前伪标签集和历史伪标签集中的所有检测框，计算它们的3D交并矩阵，匹配位置、大小和方向相似的检测框，然后融合以生成新的伪标签框：
(11)
其中H代表历史伪标签，C代表当前伪标签。对于每个历史伪标签边界框，我们迭代找到与当前伪目标边界框的最佳匹配（最高IoU）：
(12)
我们融合匹配的边界框，更新置信度和边界框属性。对于未成功匹配的伪标签边界框，我们采用标签投票方法。未匹配的框可能包含正确检测的目标或错误检测到的非目标对象。标签投票利用历史信息来确定未匹配框的最终状态——缓存、丢弃或忽略。对于每个未匹配的框，更新其未匹配计数器。如果在历史伪标签H和当前伪标签C之间没有找到最佳匹配，则。框的最终状态根据预定义的阈值决定，其中表示忽略阈值，表示移除阈值：
(13)
如果，历史伪标签框H被缓存；如果，它被忽略；如果，它被丢弃。通过标签投票，获得了更稳定和一致的伪标签，并将个别未匹配的框缓存到记忆库中以进行长期积累和学习。

### 3.3 3D对象检测的多模态融合

如图3所示，我们的多模态融合检测器基于LoGoNet [30]架构构建。输入的点云被体素化，并通过3D主干网络和区域提议网络处理以生成候选区域，而预训练的2D检测器从单目图像中提取特征。LoGoNet在两个阶段融合两种模态：外部候选区域融合通过将体素质心投影到图像平面上来捕获全局几何布局，内部候选区域融合通过交叉注意力细化每个提议内的局部细节。我们保留了两个融合阶段，但用基于自注意力的特征加权聚合模块替换了后续的基于连接的特征聚合，具体描述如下。

#### 3.4 端到端网络实现

为了充分利用深度估计和多模态融合的潜力，并实现最佳的3D对象检测性能，我们采用端到端训练策略。特别是，深度估计网络和3D检测器首先使用预训练的权重进行初始化；然后通过可微分的CoR模块连接起来，并在单一的总损失下共同优化，使得检测梯度在同一次前向-后向传递中传播回深度网络。本节介绍了实现端到端训练的可微分表示变换模块和多网络一致性损失函数。

#### 3.4.1 可微分表示变换

为了实现端到端训练并将深度估计网络与点云检测网络连接起来，我们引入了来自E2E-PL [17]的可微分表示变换（CoR）模块。CoR模块使两个网络之间的信息传递成为可能，允许整个模型通过反向传播共同优化。CoR模块的核心包括采样和软量化。我们改进了CoR模块，并用3.1.2节提出的基于密度的区间采样替换了原始的下采样。

软量化使得梯度可以通过体素化步骤流动。传统的点云量化分配二进制的0/1占用值，产生阻止反向传播的不连续性。给定一个点云，目标是生成一个3D占用张量，其中每个单元u与一个固定的中心位置相关联。传统的量化规则是：如果点p落在单元u之外，则；如果点p落在单元u之内，则。我们引入软量化使量化过程可微分。软量化使用径向基函数（RBF）加权：如果点p落在单元u之外，则；如果点p落在单元u之内：
(16)
(17)
其中是径向基函数权重，是一个非常小的正值，表示单元u附近的邻接单元。当远大于0且为空集时，软量化恢复到原始的二进制定义。通过这种表示变换方法，点云占用张量可以被微分，从而通过反向传播共同优化深度估计网络和点云检测网络。

#### 3.4.2 损失函数：多网络一致性损失

为了实现多个网络之间的协作训练，我们采用了多网络一致性损失。该方法的目标是在单独优化的情况下保持多个网络结果之间的一致性。这种一致性通过可微分的CoR模块实现端到端的梯度流动：检测梯度传播回深度网络，使深度估计朝着有利于下游检测的值优化，而不是孤立地优化深度。总损失函数如下：
(18)

#### 深度估计损失

在第3节中介绍的自监督深度估计网络RSANet [18]使用Monodepth2 [36]的损失进行训练：
(19)
其中是光度一致性损失，是深度平滑损失，是一个权重系数。是光度重建误差，是自适应掩蔽损失。和分别表示规范化的逆深度和表示水平和垂直方向的梯度。

#### 检测损失

点云检测网络的损失函数主要包括多模态融合点云检测器：
(22)
其中是RPN损失，是置信度预测损失，是边界框回归损失，是一个平衡不同损失的超参数。

通过结合上述所有损失函数，我们得出了端到端点云模型的总损失函数。通过最小化总损失函数L，可以实现深度估计和3D对象检测的联合优化，从而提高整体性能。完整的训练过程总结在算法1中，包括三个阶段：使用ORSS的源域预训练、使用质量感知记忆库的目标域自训练，以及深度估计和多模态3D检测的端到端联合优化。

**算法1：UM3D训练流程**

### 4. 实验结果**

为了全面评估所提出的UM3D方法的有效性，我们设计了多个比较实验。在标准基准测试中，UM3D的表现优于几种已知的先前方法。

#### 4.1 实施细节**

比较方法：我们将UM3D与当前主流的无监督域适应模型SN [37]和ST3D [25]进行了比较。具体来说，我们将SN、ST3D和UM3D的伪标签生成模块与改进的SECOND [38]和LoGoNet [30]点云检测器相结合。对于SECOND，我们在实验中添加了一个IoU评分模块。随后，我们选择了单目3D对象检测网络FCOS3D [29]作为基线模型；Source Only和Oracle结果均由FCOS3D生成。我们将性能与STMono3D [34]进行了比较。选择STMono3D是因为它与UM3D类似，它也是一种端到端的无监督域适应单目3D对象检测方法，以FCOS3D作为主干网络，使其更适合展示UM3D的检测效果。

#### 预训练

在比较实验之前，我们使用对象级别的随机缩放策略在源域上预训练了伪标签生成模型。在目标域自训练阶段，我们使用Adam [39]优化器进行训练，学习率为0.0015，训练40个周期，每个周期更新一次记忆库中的伪标签。

#### 端到端训练

网络输入和输出分辨率设置为1024 × 320。所有实验均基于PyTorch 1.10.0实现。本文提出了一种端到端无监督域适应框架UM3D，用于单目3D对象检测，该框架将自监督深度估计、质量感知的伪标签生成和多模态融合整合到一个可微分的流程中。通过深度估计与3D检测的联合优化，并结合反向传播算法，跨域泛化能力得到了显著提升：在WOD到KITTI的基准测试中，高达76.81%的领域差异得到了消除；在多种端到端单目适应场景中，该方法甚至超越了完全监督下的目标域基准模型。这些改进主要得益于端到端反向传播机制——它使深度估计结果与检测目标保持一致（而不仅仅是依赖于光度重建），以及多模态融合模块的运用——该模块重新整合了互补的图像特征，减少了探测器对伪激光雷达（Pseudo-LiDAR）的依赖。对于在电动车平台上的实际应用而言，UM3D提供了一个极具吸引力的解决方案：仅凭一台低成本的单目相机就能实现稳健的3D感知功能，无需额外的激光雷达硬件或目标域3D标注数据——这一特性尤为宝贵，因为在新的驾驶环境中，获取3D边界框标签通常成本高昂且难度较大。

检测精度受自监督深度估计质量的限制，尤其是在远距离场景下。目前的评估主要集中在汽车类别上。在后续研究中，将引入更强大的深度先验模型，评估范围也会扩展到更多对象类别，并探索模型压缩与推理加速技术，以降低检测阶段的延迟，实现实时应用的目标。