利用历史知识通过类别原型对齐实现无源对象检测

《Neurocomputing》：Exploiting historical knowledge for source-free object detection via class prototype alignment

　　摘要：无源对象检测（SFOD）旨在在不获取源领域任何训练数据的情况下，将预训练的检测器应用到未标记的目标领域。现有的大多数SFOD方法都采用均值教师框架，该框架中学生模型和教师模型交替更新。具体而言，首先利用教师模型的过滤后预测结果作为伪标签来优化学生模型，然后再用学生模型的参数更新教师模型。然而，这种交替更新方式由于错误监督信号带来的无约束正反馈，可能导致训练过程崩溃。为了解决这一问题，我们提出了类原型对齐（CPA）这一新方法，该方法利用类原型来利用历史知识，从而减轻错误监督信号的影响。所提出的CPA框架由提案过滤器（PF）和类原型学习（CPL）组成。PF模块负责筛选出定位精准的提案，以便为原型构建提供高质量实例表示；而CPL则通过整合教师模型和学生模型积累的历史知识，迭代更新类原型。基于这些类原型，我们进一步提出了原型对比损失和知识蒸馏损失，以提高模型的训练稳定性。在多种数据集上的广泛实验表明，我们的方法在不同SFOD场景下均取得了最优或接近最优的性能。

引言：近年来，得益于大量带标签数据集的可用性，对象检测技术取得了显著进展[1]。为了减少手动数据标注的需求[2]、[3]，对象检测的无监督领域自适应（UDA）方法应运而生并受到了广泛关注[4]。UDA通常假设能够同时获取源领域和目标领域的数据才能实现有效自适应[5]、[6]。但在现实场景中，由于数据隐私、数据传输不稳定或数据安全等问题，源数据可能无法获取。例如，用于训练大型语言模型（LLM）的数据往往量巨大且价值高昂，不适合公开共享[7]。这种无法获取源数据的情况给领域自适应带来了新的挑战，即无源领域自适应[8]，在这种方法中，仅依靠经过充分训练的源模型权重和未标记的目标数据，就能实现从源领域到目标领域的自适应[9]、[10]。为此，无源对象检测（SFOD）[9]引起了极大兴趣。由于对象外观和背景条件存在领域差异，基于源领域训练的检测器在目标领域的性能往往会出现显著下降[11]。现有的SFOD方法大多采用均值教师框架[12]、[13]。教师模型和学生模型都初始为在源领域训练得到的检测器。学生模型通过教师模型生成的伪标签进行优化，而教师模型则通过指数移动平均法根据学生模型的参数进行更新。在该框架中，教师模型的预测结果会被过滤后用作伪标签来训练学生模型，之后再利用学生模型的参数来更新教师模型[14]、[15]。近期基于均值教师框架的SFOD研究主要聚焦于三个方向：低置信度伪标签的利用[12]、[16]、[17]，目标领域的表征能力[14]、[15]，以及训练过程中的振荡问题[18]、[19]。尽管这些先前的研究为SFOD带来了显著改进，但关于伪标签带来的错误监督信号的问题却鲜有讨论。实际上，在典型的均值教师框架中，伪标签的选择依赖于教师模型预测的提案得分，因此伪标签中不可避免地会存在一定程度的噪声。例如，现有方法会通过对提案对应用对比损失[14]来缓解源领域和目标领域之间的特征分布偏差。但这些提案对可能存在配对错误，从而干扰训练过程。这类错误的监督信号会在教师模型和学生模型之间不断传递，并通过正反馈被无限制放大，最终可能导致模型训练过程崩溃[18]、[19]。在本文中，我们提出了一种利用类原型来借助历史知识[20]并解决错误监督信号问题的新方法。此处所说的历史知识并非指源数据，而是指通过教师模型和学生模型从过去的目标领域样本中提取出的累积语义信息。与每次迭代都仅依赖基于置信度的伪标签不同，我们的方法通过维护类原型，逐步聚合特征，从而为每个类别生成稳定且无噪声的表示。与直接优化伪标签的方法相比，这种设计将学习过程重构为基于度量的范式[21]。通过这种方式，我们的框架有效地抑制了错误监督信号的放大，大幅降低了训练崩溃的风险。基于上述考虑，本文提出了一种名为类原型对齐（CPA）的新的SFOD方法，通过将历史知识纳入训练过程来解决错误监督信号的问题。CPA由两个主要模块组成，即提案过滤器（PF）和类原型学习（CPL）。PF模块负责优化教师模型生成的提案，得到高质量的位置定位提案，这些提案随后会被CPL模块使用。在CPL模块中，我们引入了类原型，用以捕捉来自学生模型和教师模型的累积历史知识。CPL模块包含原型对比损失和知识蒸馏损失，通过使教师模型和学生模型的表示及预测保持一致，从而增强从源领域到目标领域的知识传递。本文的主要贡献如下：•从类原型的全新视角出发，针对SFOD中因错误监督信号导致的模型训练崩溃问题进行了深入研究。•提出了一种新的SFOD方法——CPA，该方法通过可学习的类原型来利用教师模型和学生模型的历史知识。•在多种不同的实验环境中进行了大量实验，并与现有的最优方法进行了比较。实验结果充分证明了我们所提出的CPA方法的有效性和稳健性。

章节节选：领域自适应对象检测：单阶段检测器，如YOLO[22]、FCOS[23]、SSD[24]，在统一的预测阶段同时完成分类和边界框回归任务。这种集成方法使得推理速度更快[25]。相比之下，两阶段方法将检测过程分为两个独立的步骤：第一阶段负责生成区域提案，第二阶段则对这些提案进行优化并完成分类。两阶段方法通常能获得更高的准确率。

问题定义：领域自适应对象检测（DAOD）[4]、[27]、[37]旨在通过在自适应过程中同时利用源领域和目标领域的样本，将基于带标签的源领域数据训练得到的检测器适配到未标记的目标领域。设源领域带标签的数据为，其中表示源领域样本的数量，和分别表示第个源图像及其对应的真实标签。目标领域未标记的数据为，其中为目标领域样本的数量，表示第个目标图像。

概述：如前文所述，本文致力于解决模型训练崩溃问题，并提出了类原型对齐（CPA）方法。CPA方法的提出是为了应对SFOD任务中由于伪标签噪声导致的模型训练崩溃问题[12]、[14]。如图2所示，CPA由PF模块和CPL模块组成。具体而言，我们将经过强增强处理（如RandAugment[55]）和弱增强处理（如翻转和随机裁剪）的目标领域数据输入到学生模型中。

实验：为验证CPA方法的有效性，我们在四种标准的SFOD自适应场景下进行了实验，并将我们的方法与现有的最优方法进行了比较。此外，我们还进行了全面的消融实验、效率评估、参数敏感性分析、稳定性测试以及定性分析[58]。

检测结果可视化：为更直观地展示我们所提方法的优势，我们在一个特殊的场景下进行了实验：从Cityscapes[59]数据集过渡到Foggy Cityscapes[60]数据集。我们分别展示了IRG[14]方法和CPA方法的预测结果，并将其与样本的真实标签进行对比，以便清晰地看出差异。在Foggy Cityscapes[60]场景中，图像的雾密度为0.02，这种情况下的检测难度显著增加。不过，我们的方法依然能够有效应对此类挑战。

结论：我们提出了一种名为CPA的新SFOD方法，该方法可解决模型训练过程中由于错误监督信号导致的模型崩溃问题。该方法由PF模块和CPL模块两部分组成。PF模块通过过滤那些定位不可靠的提案，提升伪标签定位的质量。CPL模块则首先从获得的提案中构建可学习的类原型，从而实现从教师模型和学生模型中积累历史知识。之后……

作者贡献声明：王华杰：撰写——审阅与编辑、撰写——初稿、结果可视化、实验验证、软件开发、方法设计、数据整理。李志：撰写——审阅与编辑、项目指导、资源协调、项目管理、资金筹集、概念构思。李少辉：撰写——审阅与编辑、项目指导、资源协调、项目管理。潘宇文：撰写——初稿、方法设计。刘宇：实验验证、项目指导、项目管理、资金筹集、概念构思。何友：无。

利益冲突声明：作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢：本研究部分得到了国家自然科学基金委员会（项目编号：62293544、62425117、62206155、62301299）以及深圳市科技计划（项目编号：RCBS20231211090700004）的资助。王华杰于2022年在中国大连理工大学获得学士学位，目前在中国深圳的清华大学深圳国际研究生院攻读博士学位。他的研究兴趣包括半监督学习、迁移学习以及多模态大型语言模型。

王华杰|李志|李少辉|潘宇文|刘宇|何友
中国广东省深圳市518055，清华大学深圳国际研究生院