基于多尺度一致性匹配用于对比域自适应目标检测的伪标签精炼方法

《Neurocomputing》：Refining pseudo labeling with multi-scale consistency matching for contrastive domain adaptive object detection

　　

领域自适应目标检测（DAOD）通过缓解目标检测任务中的跨域偏移问题。自训练框架通过伪标签监督取得了有前景的性能，但伪标签噪声问题一直困扰着其发展。虽然对比学习已被应用于领域自适应，但将其直接应用于噪声伪标签会引入采样偏差，放大错误的监督信号，损害跨域特征对齐。为了解决这一问题，我们提出了一种基于教师-学生自训练范式的新型伪标签精炼对比学习训练（PCT）框架，该框架通过多尺度一致性匹配相互精炼伪标签，并引导对象级对比学习。PCT由两个协同模块组成：多尺度一致性匹配训练（MCM）模块和精炼对象对比学习（ROC）模块。MCM模块将高置信度的教师输出与学生提案融合，以保留互补的目标区域提案，并对来自教师最终伪标签的学生预测施加一致性约束，以优先保证可靠的监督信号。它还进一步采用渐进式多尺度增强与目标图像及其伪标签的尺度匹配策略，以增强跨尺度伪标签质量并提升小目标适应能力。ROC模块利用精炼后的伪标签构建对象对比对，并借助对象级对比损失来加强类内紧凑性和类间可分性，从而实现细粒度的跨域特征对齐。两个模块在统一框架内相互增强。在Cityscapes、Foggy Cityscapes和KITTI等多个DAOD基准上的大量实验结果证明了PCT具有竞争力的自适应性能和有效性。代码地址：https://github.com/y893192/PCT

**引言**

现代深度学习方法在图像分类、对象检测和语义分割等各种基本计算机视觉任务上取得了显著的性能，并在各种精心设计的基准数据集上表现优异[1]。然而，当模型被应用于训练分布之外的真实场景时，其性能通常会显著下降。领域自适应[2]通过将训练在标注源域上的模型性能迁移到另一个无标注或稀疏标注的目标域[3]，从而最大限度地减少人工标注来缩小这一差距。在本工作中，我们关注无监督领域自适应目标检测（DAOD）[4]问题。

早期的领域自适应方法通过对抗训练[4]、[5]、[6]、[7]、距离度量[8]、[9]、[10]或风格迁移[11]、[12]显式地最小化源域-目标域差异，促进整体分布对齐。目前，一种主流且有效的策略[13]、[14]、[15]、[16]是将教师-学生自训练[17]、[18]、[19]与特征对抗对齐相结合，利用对抗损失来缩小边缘分布差距，从而缓解源域偏差。然而，这些方法存在固有的局限性；真实世界中的目标域通常在风格、尺度、光照和背景等方面表现出细粒度的差异[20]、[21]、[22]、[23]、[24]、[25]、[26]，仅对齐全局分布并不能保证类条件或实例级的一致性[14]、[27]。因此，相同语义类别的样本在特征空间中存在较大的类内方差，这削弱了检测器的辨别能力，降低了伪标签的准确性，促进了错误传播，最终限制了迁移性能。

对比学习[28]通过将正样本拉近、负样本推开来强制实例辨别，这可以在细粒度水平上提高类内紧凑性和类间可分性。与自训练结合时，可以产生强大的互补增益[29]。因此，近期方法已将对比目标整合到教师-学生框架中。例如，SePiCo [21]应用像素级对比来改进特征对齐；CMT [14]使用伪标签进行提案级对比以加强实例表示。这些细粒度的对比约束优于早期的图像级对齐技术[1]，表明细粒度对比约束是减轻类内分散并提升跨域检测性能的有效方式。然而，现有方法往往忽视了一个关键漏洞，即目标域中广泛存在的伪标签噪声会导致采样偏差——将不同真实类别的对象视为正对，或将同一类别的对象拆分为负对，即使类别分配正确，伪标签仍可能存在定位不准确的问题，从而削弱对比学习的辨别信号。这些错误通过迭代的教师-学生更新进一步被放大，污染了学习到的表示，最终降低了检测性能。图1说明了这个问题，并启发我们在用于对比对构建之前先精炼伪标签。

这一观察表明伪标签噪声不仅影响检测器监督，更重要的是，它可能破坏对比学习中正负对象对的构建。

基于这一观察，我们提出了伪标签精炼对比学习训练（PCT）框架，以缓解伪标签引起的采样偏差。PCT的设计原则是首先精炼伪标签，然后从精炼后的伪标签中构建可靠的实例对用于对象级对比学习，从而减少错误伪标签在对比损失中的破坏性影响。PCT将多尺度一致性匹配训练（MCM）模块作为伪标签精炼的核心。该模块包括融合一致性训练方法和渐进式多尺度增强匹配策略。前者将高置信度的教师输出与低置信度的学生提案融合，以保留与高置信度区域互补的区域并捕获漏检目标，同时根据教师伪标签对学生预测施加一致性约束以优先保证可靠的监督。后者进一步设计了多尺度增强匹配优化策略，我们将在下文介绍。

在领域偏移下，目标域伪标签质量可能因目标尺度而异，特别是对于小目标，在固定尺度训练下可能会削弱伪标签监督。为此，我们在早期训练阶段缩小目标域图像及其伪标签，使学生的网络关注小目标特征，然后逐步恢复尺度至原始分辨率，以提高跨尺度的伪标签可靠性并避免尺度引起的误差，同时自然地增强对小目标的适应。在生成最终教师伪标签后，该模块同时从这些精炼后的伪标签中提取原始尺度和缩小尺度的边界框，用于提取不同尺度的特征。该设计解决了原始尺度教师特征与缩小尺度学生特征之间的尺度不匹配问题，确保了特征-标签的准确对齐，并为后续对比学习奠定了坚实基础。

在扩展和尺度增强伪标签后，精炼对象对比学习（ROC）模块利用精炼后的双尺度伪标签构建对象级对比对。它应用对象对比损失来加强类内紧凑性并扩大类间分离，从而实现细粒度的源域-目标域特征对齐。两个模块被设计为相互增强；伪标签精炼产生更可靠的对比样本，进而产生更可靠的伪标签，形成自我增强的机制。实验结果表明，我们的方法有效地将伪标签精炼与自监督领域对齐相结合，在各种领域自适应目标检测场景中实现了突出的特征自适应。我们将本文的主要贡献总结如下：

- 我们提出了PCT，一种基于对比学习的DAOD框架，解决了对象级对比学习中的伪标签引起的采样偏差问题。其核心原则是在对比对构建之前先精炼伪标签，从而缓解噪声伪标签引起的采样偏差和错误传播。
- 我们为"先精炼后对比"的流水线设计了两个耦合模块：多尺度一致性匹配训练（MCM）模块和精炼对象对比学习（ROC）模块。MCM通过融合一致性训练和渐进式多尺度增强匹配来精炼目标伪标签，而ROC从精炼后的双尺度伪标签中构建对象级对比对，用于对象级跨域特征对齐。
- 我们在多个DAOD基准上验证了我们方法的有效性，证明了其在无监督DAOD中的实际应用优势。

**无监督DAOD**

无监督领域自适应（UDA）旨在学习可迁移的特征以减少标注源域和无标注目标域之间的领域差异。相关研究采用了度量学习[30]、[31]、[32]、对抗特征学习[33]、[34]、[35]、[36]和中间域构建[6]、[37]、[38]、[39]来实现特征对齐。在本工作中，我们关注对象检测，其中无监督DAOD旨在解决对象检测中的领域偏移问题。

**问题定义与概述**

我们的伪标签精炼对比学习训练（PCT）框架的架构如图2所示。该框架主要由两个模块组成：MCM模块和ROC模块。我们在以下步骤中介绍PCT框架。在第3.2节中，我们首先介绍融合一致性训练方法，这是MCM模块的一个组成部分，通过扩展高置信度伪标签框进行一致性训练。随后，第3.3节介绍了渐进式多尺度增强策略。

**数据集与评估指标**

我们提出的伪标签精炼对比学习训练（PCT）框架在三个典型的领域自适应任务上进行了评估：跨天气场景自适应（Cityscapes → Foggy Cityscapes）、跨相机场景自适应（KITTI → Cityscapes）和合成到真实场景自适应（Sim10k → Cityscapes）。这些DAOD任务包括四个代表性数据集：Cityscapes、FoggyCityscapes、KITTI和Sim10k。这些驾驶场景感知任务与智能车辆领域密切相关。

**结论**

在本研究中，我们提出了一种面向领域自适应目标检测（DAOD）的伪标签精炼对比学习训练（PCT）框架。PCT利用多尺度一致性匹配训练（MCM）模块来精炼伪标签，并进一步采用精炼对象对比学习（ROC）模块来加强细粒度的跨域特征对齐。在多个DAOD基准上的大量实验证明，伪标签精炼可以有效地与……相结合。

**CRediT作者贡献声明**

严元：初稿撰写、软件、方法论、概念化。王晓东：方法论、调查。黄磊：审稿与编辑、监督、项目管理、方法论、资金获取、概念化。

**利益冲突声明**

作者声明不存在可能影响本文工作的已知竞争性经济利益或个人关系。

**致谢**

本研究得到国家自然科学基金（编号：62472390）、山东省自然科学基金（编号：ZR2023MF033）和中国山东省重点研发计划（编号：2023CXPT020）的支持。

严元目前是中国海洋大学（青岛）的一名硕士研究生。她于2022年毕业于江西理工大学，获得学士学位。她的研究方向包括计算机视觉和领域自适应目标检测。

严元 | 王晓东 | 黄磊
中国海洋大学信息科学与工程学院，山东青岛266003，Sansha Road