基于联合约束分类器与特征学习的无监督域自适应方法增强研究

《Engineering Applications of Artificial Intelligence》：Enhanced unsupervised domain adaptation through joint constrained classifier and feature learning

本文针对无监督域自适应（DA）中特征直接分类导致性能下降及伪目标标签价值未被充分利用的问题，提出了一种联合约束分类器与特征学习（JCCFL）框架。该研究通过将特征变换矩阵作为分类器，引入伪目标标签作为标签指导，并优化特征提取与选择，在潜在共享子空间中实现跨域分布对齐。实验表明，JCCFL在多种跨域图像分类任务中性能优于现有先进DA技术，为域自适应提供了更高效、可解释的解决方案。

　　

在人工智能和计算机视觉飞速发展的今天，分类任务面临着一个严峻挑战：标注数据不足。获取高质量标签往往需要耗费大量成本和时间。因此，如何利用已知训练数据集的信息，来有效分类未知标签的测试数据集，成为了一个关键问题。传统分类问题通常假设训练数据和测试数据来自相同的分布或共享子空间。然而，在复杂的实际应用中，这一理想假设往往难以成立。当源域（训练数据）和目标域（测试数据）之间存在分布差异时，直接应用源域上训练的模型到目标域，会导致性能显著下降，这一现象被称为“域偏移”。为了克服这一挑战，迁移学习（Transfer Learning）应运而生，其核心思想是将已有数据集上的知识迁移到新的、但相关的问题上。域自适应（Domain Adaptation, DA）作为迁移学习的重要分支，旨在利用已学习的源域信息，来对分布不同的目标域数据进行分类，从而弥合域间差异。

现有的域自适应方法主要可分为监督、半监督和无监督三类。其中，无监督域自适应（Unsupervised DA）最具挑战性，因为它假设目标域中没有任何标签可用，仅依赖源域的标签数据。无监督DA方法又可进一步分为浅层DA和深层DA。深度DA方法（如基于深度神经网络的方法）虽然性能出色，但存在训练过程复杂、调试困难、易过拟合以及计算资源消耗大等问题。相比之下，浅层DA方法基于传统机器学习技术，模型结构相对简单、更具可解释性、计算成本更低，因而吸引了研究人员的持续关注。本文的研究重点正是基于特征的浅层无监督域自适应方法，该方法致力于寻找最优的特征空间，以减少域间分布差异。

然而，当前基于特征的DA方法仍面临两大挑战。首先，在分类器层面，许多方法（如Xu等人2016年的工作）直接将学习到的特征用作分类器。这样做会导致投影矩阵的维度受限于类别数量，自由度较低，限制了模型的表达能力。尽管有研究（如Liu等人2023a,b）尝试使用双投影矩阵来增加特征自由度，但却忽略了伪标签（Pseudo-label）信息在提升分类性能方面的价值。其次，在特征学习层面，在实际应用中，通常只有一小部分提取的特征对识别任务最有效。如何自动选择出这些最具代表性的特征，实现有效的知识迁移，并增强模型的可解释性，是另一个关键挑战。

为了解决上述问题，重庆大学数学与统计学院的谭作勋和杨虎研究人员在《Engineering Applications of Artificial Intelligence》上发表了一项研究，提出了一种新颖的联合约束分类器与特征学习（Joint Constrained Classifier and Feature Learning, JCCFL）框架，以增强无监督域自适应的性能。

为开展研究，作者主要应用了几个关键技术方法：首先，构建了一个联合优化框架，将特征子空间学习和分类器设计分离并用不同矩阵表示，增加了模型自由度；其次，引入了伪目标标签作为标签指导，结合已知源域标签共同增强判别性能；第三，在特征学习部分，通过稀疏正则化（Sparse Regularization）同时实现特征提取和特征选择，筛选跨域共享的最相关特征；第四，采用最大均值差异（Maximum Mean Discrepancy, MMD）来度量并对齐跨域分布，减少负迁移（Negative Transfer）影响；第五，引入图正则化（Graph Regularization）以保持数据样本间的固有局部几何结构。该模型采用基于交替方向乘子法（Alternating Direction Method of Multipliers, ADMM）的算法求解，并理论证明了其收敛性。研究在5个DA数据集上构建了48个跨域分类任务进行验证。

Section snippets

Related works

该部分概述了与本研究相关的基于特征的浅层DA方法，将其分为以数据为中心的DA和以结构为中心的DA。

Motivations

研究动机部分阐述了本文旨在通过优化分类器和求解不变子空间来减少域间分布差异。受现有研究（如Xu等人2016年，Meng等人2020年）启发，作者发现直接利用特征进行分类会削弱判别性能。因此，本文提出利用不同矩阵分别进行分类和投影的新方法。此外，作者注意到现有方法常常忽略伪标签信息的价值，以及特征选择的重要性。

Algorithm for solving JCCFL

本节详细阐述了基于ADMM框架求解JCCFL模型的算法设计。通过将复杂的优化问题分解为多个易于求解的子问题，并交替更新变量，最终求得模型的解。作者进一步在较宽松的条件下理论证明了所设计算法能够收敛到局部最优解，为方法的实际应用提供了理论保障。

Experiments

实验部分在五个标准数据集（Office-Home、Office-31、COIL20、MNIST-USPS、ImageNet-Caltech）上构建了共计48个跨域分类任务，以全面评估JCCFL的有效性。实验结果表明，JCCFL在绝大多数任务上的分类准确率均优于对比的一系列先进DA方法（包括TCA、SCA、DAN等），证明了其优越性。此外，研究还进行了算法收敛性分析、参数敏感性讨论、特征可视化、消融实验（Ablation Study）以及统计显著性检验，从多角度验证了JCCFL框架中各组件（如约束分类器、特征选择、MMD、图正则化）的必要性和有效性。特征可视化结果直观展示了JCCFL能够将不同域、不同类别的数据在子空间中更好地分离开来。

Conclusion

本研究提出了一种用于无监督域自适应的新框架JCCFL，该框架在分类器优化和特征学习方面对现有方法进行了改进。JCCFL通过联合优化特征子空间和分类器，实现了特征提取与选择的统一。同时，利用MMD和图正则化来减少分布偏移并保护数据的局部结构。基于ADMM的求解算法被证明是有效的。在多个跨域分类任务上的实验充分验证了JCCFL的优越性能。

CRediT authorship contribution statement

明确了各位作者的贡献：谭作勋负责软件、形式分析、可视化、方法论、概念化、初稿撰写、资源、数据整理、验证和调查；杨虎负责项目管理、概念化、监督、资金获取、审稿、方法论、资源和形式分析。

Declaration of competing interest

作者声明不存在可能影响本工作的已知竞争性财务利益或个人关系。

Acknowledgments

本研究得到了国家自然科学基金（项目批准号：12371281）的资助。

综上所述，这项研究针对无监督域自适应中的关键挑战，提出了一个集成分类器优化与特征学习的统一框架。JCCFL模型不仅通过引入约束分类器和伪标签指导提升了判别性能，还通过稀疏特征学习增强了模型的可解释性和鲁棒性。理论上的收敛性保证和广泛的实验验证使其成为一种可靠、高效的解决方案。这项研究为处理现实世界中普遍存在的域偏移问题提供了新的思路和工具，特别是在标注数据稀缺的场景下，对于推动人工智能技术在医疗影像分析、自动驾驶等领域的实际应用具有积极意义。未来工作可探索将JCCFL的思想与深度网络结构相结合，以处理更复杂的跨域学习任务。