用于无监督领域适应的判别性迁移特征学习

《Neural Networks》：Discriminative Transfer Feature Learning for Unsupervised Domain Adaptation

　　李梦瑶|李正明|江景华

摘要：基于特征提取的方法已被广泛应用于无监督领域自适应任务中。近期的研究重点在于提取既具有领域差异性又具备类别区分能力的可迁移特征。然而，在构建具有区分能力的特征时，数据的序数局部结构却鲜有被探讨。本文提出了一种名为“区分性迁移特征学习”（DTFL）的新颖无监督领域自适应方法，用于模式分类。具体而言，DTFL首先构建一种具有类别感知能力的序数局部结构保持项（COLP）。COLP有助于保留每个训练样本的固有邻域关系，并继承训练样本的几何结构信息，从而提升所学习到的可迁移特征的类别区分能力。随后，利用领域内的标签一致性来优化目标伪标签。此外，区分性迁移特征学习与优化后的目标标签可以相互迭代地提升彼此的性能。在三个跨领域视觉数据集和两个传统入侵检测数据集上的实验表明，所提出的方法在分类性能上优于现有方法。

引言：通常，分类问题涉及独立同分布的训练数据和测试数据，此时可在训练集上训练分类器，然后直接将其应用于测试集。然而，在许多实际应用中，训练数据和测试数据的分布往往存在差异，这种分布差异往往会降低分类性能。为了解决这一问题，人们提出了领域自适应技术，旨在为目标领域训练分类器。这些方法利用目标领域的数据，以及来自相关但分布不同的大量带标签的源数据（Pan和Yang，2009）。根据目标领域中带标签信息的可用性，领域自适应方法可分为半监督方法和无监督方法。本研究聚焦于无监督领域自适应（UDA），假设目标领域缺乏标签，而源领域则拥有大量带标签的样本。

近年来，如何提升UDA方法的区分能力越来越受到关注（Luo，2024）。大多数UDA方法主要致力于提取领域不变特征，以减少源领域和目标领域之间的分布差异。这些方法通常分别利用统计特性（Chen, Zhu, Guo, Sun, Zhang, Deng, 2022；Wang, Shen, Zhang, Duan, Mei, 2020）或几何结构（Gu, Lu, Yang, Wang, Li, Yang, Sun, 2025；Long, Wang, Ding, Sun, Yu, 2013；Long, Wang, Ding, Sun, Yu, 2014）。尽管这些方法在分类性能上表现良好，但仅仅通过最小化距离度量来减少领域差异可能会导致特征失真，例如最大均值差异（MMD）（Gretton等人，2006）。特征失真会破坏从源领域传递到目标领域的固有类别结构，进而降低目标领域的识别性能（Li等人，2018）。为提升所学习到的领域不变特征的区分能力，（Zhang等人，2019）提出了一种引导子空间学习方法。该方法结合了子空间引导、数据引导和标签引导，以学习出在各个领域都具有不变性、区分性和通用性的目标子空间。（Zhao等人，2021）通过为带标签的源数据构建监督分类模型，为无标签的目标数据构建区分性聚类模型，从而提出了可迁移区分特征挖掘算法。此外，（Lu等人，2021）提出了区分性不变对齐模型。该模型结合了源领域的类别区分知识以及目标领域的局部结构信息。

在UDA中，利用训练样本的局部信息是提升模型区分能力的一种有效方法。（Meng等人，2020）提出了一种耦合知识传递模型，整合了特征学习、结构保持和样本重加权技术。近期，目标领域的局部几何结构也被用来增强所学习到的领域不变特征的区分能力。例如，（Li等人，2020）利用最具挑战性的数据对之间的距离以及两个领域的几何信息，提出了区分性迁移特征与标签一致性（DTLC）算法。然而，这些算法忽视了训练样本的局部拓扑结构，而这种结构对于提升具有相同分布的模型中所学习特征的区分能力至关重要（Baktashmotlagh等人，2013）。为此，我们提出了一种具有类别感知能力的序数局部结构保持（COLP）区分约束项。COLP不仅保持了训练样本中每个数据的领域关系，还继承了其局部结构信息，从而提升了所学习到的领域不变特征的区分能力。

此外，带标签数据在分类任务中至关重要，而UDA模型本质上缺乏此类数据。为了解决这个问题，UDA中采用了目标伪标签来缓解源领域和目标领域之间的类别分布差异。这些模型通常使用由源领域分类器预测的伪标签（Long等人，2013）。虽然伪标签可以提高识别性能，但它们可能导致模型过度拟合源数据。因此，优化目标伪标签对于提升领域自适应性能非常重要。（Hou等人，2016）在完成特征学习过程后，使用传统的标签传播方法（Zhou等人，2003）来优化目标伪标签。（Zhu等人，2022）则采用自适应阈值和双重决策策略来剔除质量较低的目标伪标签。与之不同，我们通过从领域间和领域内两个角度利用源数据和目标数据的标签一致性，来迭代优化目标伪标签。具体而言，我们首先使用类别级别的领域分类器衡量目标样本与源领域之间的距离，从而识别出与源领域标签更为一致的目标数据。随后，我们根据这些距离重新调整目标伪标签的权重。最后，我们利用COLP来保持目标领域内的结构一致性，并逐步更新目标伪标签。所提出的方法不仅提高了预测目标伪标签的准确性，还为特征学习过程提供了有益的反馈，从而使领域自适应效果更加显著。

如前所述，我们提出了一种用于模式分类的UDA方法，即区分性迁移特征学习（DTFL）。首先，我们使用MMD来衡量两个分布之间的距离，以此学习出能够在不同领域之间有效传递的领域不变特征。接着，我们构建COLP项，以保持训练样本之间的接近程度以及它们相邻样本的排序，从而提升所学习表示的区分能力。此外，我们还利用标签一致性来优化目标伪标签。最后，DTFL将区分性迁移特征学习与伪标签学习整合到一个框架中。大量实验表明，所提出的DTFL算法在五个数据集上的分类性能优于现有方法。本研究的主要贡献如下：

（1）我们提出了COLP项，用于保持类内几何结构和类间邻居的排序关系。通过将COLP整合到区分性迁移特征学习和伪标签学习中，确保了领域不变特征能够保持其固有的序数关系，从而有效避免了传统基于MMD的对齐方法所带来的特征失真问题。

（2）我们采用了双重一致性反馈机制来优化伪标签。为实现源领域和目标领域之间的标签一致性，我们根据目标样本与源领域的接近程度来重新调整它们的权重。同时，还加入了COLP正则化处理，以确保目标领域内的标签一致性。

（3）为了协同提升区分性迁移特征学习和伪标签优化的效果，我们提出了一种双向优化框架。具体而言，优化后的目标标签会反馈到下一轮的迁移特征学习中，而区分性迁移特征学习与目标标签优化则相互配合，以迭代的方式不断提升彼此的性能。

（4）通过在三个流行的跨领域视觉数据集和两个传统入侵检测数据集上的大量实验，证明了所提出的DTFL算法优于多种现有的先进方法，这进一步验证了该方法在解决UDA问题方面的有效性。

本文的其余部分结构如下：第2节回顾了相关的UDA方法；第3节详细介绍了所提出的DTFL方法；第4节阐述了优化策略；第5节进行了广泛的基准测试和理论分析；第6节给出了本文的结论。