多标签图像分类的领域自适应：一种无需判别器的方法

《Expert Systems with Applications》：Domain Adaptation for Multi-label Image Classification: a Discriminator-free Approach

多标签图像分类的无监督域适应问题中提出了一种无判别器对抗方法DDA-MLIC，通过融合任务特定分类器与改进的高斯混合模型（GMM）实现域适应。该方法创新性地采用DeepEM模块替代传统EM算法，在保持全微分特性的同时降低计算成本，显著提升分类精度并减少参数量。

　　

Inder Pal Singh | Enjie Ghorbel | Anis Kacem | Djamila Aouada

卢森堡大学安全、可靠性和信任跨学科中心（SnT），卢森堡

摘要

本文介绍了一种无判别器的基于对抗的方法，称为DDA-MLIC，用于多标签图像分类（MLIC）中的无监督领域适应（UDA）。尽管最近的研究探索了基于对抗的UDA方法，但这些方法通常包含一个额外的判别器子网络。然而，将分类任务和判别任务分离可能会损害它们的任务特定判别能力。在这里，我们通过提出一种直接从任务特定分类器派生的新型对抗性批评器来解决这一挑战。具体来说，我们使用双组分高斯混合模型（GMM）来模拟源和目标预测，区分两个不同的簇。我们的方法没有使用传统的期望最大化（EM）算法，而是利用深度神经网络（DNN）来估计每个GMM组分的参数。随后，利用源和目标GMM参数通过Fréchet距离来构建对抗性损失。因此，所提出的框架不仅完全可微分，而且由于避免了标准EM方法通常引起的昂贵迭代过程，因此更具成本效益。该方法在涵盖三种不同类型领域偏移的多个多标签图像数据集上进行了评估。结果表明，DDA-MLIC在精度方面优于现有的最先进方法，同时所需的参数数量更少。代码可在github.com/cvi2snt/DDA-MLIC公开获取。

引言

多标签图像分类（MLIC）是计算机视觉领域的一个活跃研究课题，因为它在许多应用中都非常重要，例如对象识别（Bell, Zitnick, Bala, & Girshick (2016a)）、场景分类（Shao, Kang, Loy, & Wang (2015b) 和属性识别（Bell, Zitnick, Bala, & Girshick (2016b); Singh, Mejri, Nguyen, Ghorbel, & Aouada (2023b)）。其主要目标是预测给定图像中预定义对象集的存在与否。得益于深度学习的最新进展，几种MLIC方法（Chen, Wei, Wang, & Guo (2019b); Ridnik et al. (2021a); Singh, Ghorbel, Oyedotun, & Aouada (2022a); Singh, Oyedotun, Ghorbel, & Aouada (2022b)）在著名的基准测试中取得了显著的性能（Everingham, Gool, Williams, Winn, & Zisserman (2010); Lin et al. (2014)）。然而，由于深度学习的局限性，现有的MLIC方法也受到领域偏移现象的负面影响。换句话说，使用来自特定领域（通常称为源领域）的数据训练的MLIC方法在测试属于未见领域（称为目标领域）的样本时性能会下降。一个直接的解决方案是简单地为这些目标数据标注标签并将其作为额外的训练样本。然而，这样的过程既耗时又耗费资源。

为了解决这个问题，提出了无监督领域适应（UDA）方法（Ganin & Lempitsky (2015); Ganin et al. (2016); Long, Cao, Wang, & Jordan (2015); Saito, Watanabe, Ushiku, & Harada (2018)）作为替代方案。UDA技术不依赖于标注的源数据，而是利用未标记的目标样本来最小化源领域和目标领域之间的差异。

现有的UDA方法主要集中在单标签图像分类问题（Ganin et al. (2016); Long, Cao, Wang, Jordan, 2015, Long, Cao, Wang, Jordan, 2018; Pei, Cao, Long, & Wang (2018); Saito et al. (2018); Zhang, Liu, Long, & Jordan (2019）和语义分割（Chen, Li, & Gool (2018); Hoffman, Wang, Yu, & Darrell (2016); Li, Yuan, & Vasconcelos (2019); Zhang, Qiu, Yao, Liu, & Mei (2018）上，而对其他计算机视觉任务（包括多标签分类）的关注较少。实际上，只有少数UDA方法（Lin, Lin, Zhao, Wang, & Chen (2021); Pham, Koesnadi, Dovletov, & Pauli (2021c); Singh, Ghorbel, Oyedotun, & Aouada (2023a）是为多标签图像分类这一特定情况提出的。这些方法主要借鉴了单标签图像分类的对抗性UDA技术来隐式减少领域偏移。与Ganin et al. (2016)类似，这些对抗性方法结合了一个额外的领域判别器和一个最小-最大双人游戏。这种策略指导生成器提取能够欺骗判别器的领域不变特征。然而，正如Chen et al. (2022)所指出的，采用这种对抗性训练可能导致模式崩溃，从而降低任务特定的判别能力。

为了解决单标签分类中的这个问题，Chen et al. (2022) 提出重新使用分类器作为判别器。更准确地说，他们引入了一种基于分类器概率预测的类间和类内相关性差异的对抗性批评器。然而，与单标签分类不同，MLIC中的每个类别的预测概率并不是线性相关的，因此不能像图1所示那样加总为一。因此，将Chen et al. (2022)中提出的方法直接扩展到MLIC只能通过使用多个二元分类器来实现，例如每个类别一个。这样，Chen et al. (2022)中提出的批评器可以通过计算每个二元分类器的预测概率之间的相关性来使用。然而，这种方法仍然不是最优的，因为每个标签分类器的领域对齐是独立实现的，忽略了类间相关性。我们在第5节中的实验支持了这一假设。

在Singh, Ghorbel, Kacem, Rathinam, & Aouada (2024)中，我们提出了一种名为DDA-MLIC的新型无判别器基于对抗的UDA方法，专门针对MLIC进行了定制。受Chen et al. (2022)的启发，重新使用了任务特定分类器作为判别器以避免模式崩溃。为此，提出了一种适合MLIC任务的新型批评器。具体来说，这种批评器通过将概率预测聚类为两个集合（一个接近0，另一个接近1）来计算它们的分布，并量化源数据和目标数据估计分布之间的距离。这一想法主要受到以下观察的启发：源样本通常比目标样本更自信地被分类为正或负，如图2所示。同一图表还显示预测分布由两个峰值组成；这表明双峰分布模型的适用性。因此，我们认为概率预测的分布形状可以隐式地实现源数据和目标数据之间的区分。实际上，我们建议在源和目标预测上分别拟合一个具有两个组分的高斯混合模型（GMM）。最后，使用Dowson & Landau (1982)中的Fréchet距离来定义引入的差异度量。然而，使用标准的期望最大化（EM）算法估计GMM引入了两个主要限制：

(1)

不可微分性：EM步骤不可微分，因为它违反了链式法则。因此，EM不参与基于梯度的优化。

(2)

计算成本高

：EM算法基于迭代优化，因此资源消耗大。

本文提出了一种解决方案，扩展了DDA-MLIC方法以处理上述两个限制。所提出的方法不依赖于不可微分且迭代的传统EM算法，而是使用一个模拟EM优化过程的神经块DeepEM来计算GMM参数，同时确保相关梯度在整个网络中的反向传播。结果，只需要一次迭代。实验结果表明，所提出的方法在平均精度（mAP）方面优于现有最先进方法，同时显著减少了每批的平均训练时间和网络参数数量。

这项工作是Singh et al. (2024)的扩展版本。与Singh et al. (2024)相比，额外的贡献包括：

•

一种完全可微分的无判别器UDA，基于集成的DeepEM块。

•

额外的理论细节，解释了所提出的DeepEM相对于传统EM算法在GMM拟合方面的优势。

•

全面的扩展实验分析，证明了所提出方法在平均精度（mAP）和训练时间方面的优越性。

本文的其余部分组织如下。第2节讨论了标准MLIC和UDA在多类和多标签分类方面的现有工作。第3节阐述了MLIC中的UDA问题，并详细说明了我们重新使用分类器作为判别器的动机。第4节介绍了无判别器方法DDA-MLIC，并随后详细介绍了作为标准EM替代品的DeepEM块。第5节详细介绍了实验分析和讨论。第6节讨论了所提出方法的局限性。最后，第7节总结了这项工作并提出了一些有趣的见解。

相关工作

相关工作

在本节中，我们首先回顾了标准多标签图像分类（MLIC）的最新研究。然后，我们讨论了UDA领域的相关工作。最后，我们介绍了专门针对MLIC的UDA主题的有限文献。

问题表述和动机

在本节中，我们首先阐述了多标签图像分类（MLIC）的无监督领域适应（UDA）问题。随后，我们详细说明了重新使用多标签分类器作为判别器的动机。

提出的方法

在本节中，我们首先详细介绍了DDA-MLIC方法，包括使用标准EM算法从任务分类器派生的新型对抗性批评器。然后，我们介绍了克服传统EM限制的DeepEM块，即对整体架构的可微分性和高计算成本。最后，我们提供了包含端到端学习过程的多标签预测提出的架构概述。

实验

在本节中，我们报告了进行的实验并讨论了获得的结果。首先，我们介绍了用于实验研究的数据集。然后，我们详细介绍了实验设置和实现细节。最后，我们报告并分析了获得的结果。

局限性

尽管所提出的方法在几乎所有基准测试中都表现出优越的性能，但必须承认某些局限性。特别是在AID→UCM基准测试中（见表1），我们观察到，在跨传感器领域偏移的情况下，基于DeepEM的DDA-MLIC与基于传统EM的方法相比并没有显著的性能提升。我们将这种行为归因于AID和

结论

本文提出了一种用于MLIC的无判别器UDA方法。与使用额外对抗训练的现有方法不同，我们的方法利用任务特定分类器来隐式区分源领域和目标领域。这种策略旨在强制学习领域不变特征，同时避免模式崩溃。为此，我们使用Fréchet距离重新定义了对抗性损失

未引用的参考文献

缺失的引用：Cai et al. (2019); Chen, Lin, Hui, Chen, & Wu (2020); Chen, Xu, Hui, Wu, & Lin (2019a); Ge, Yang, & Yu (2018); He et al. (2019); Hu, Shen, & Sun (2018); Huang, Liu, Maaten, & Weinberger (2017); Jin et al. (2021); Kipf & Welling (2017); Krishna et al. (2017); Lanchantin, Wang, Ordonez, & Qi (2021); Li, Huang, Loy, & Tang (2016); Long, Zhu, Wang, & Jordan (2017); Mirza & Osindero (2014); Papadopoulos, Ghorbel, Aouada, & Ottersten (2021); Pennington, Socher, & Manning (2014);

CRediT作者贡献声明

Inder Pal SINGH：概念化、方法论、撰写-原始草稿准备 Enjie GHORBEL：概念化、监督、验证、撰写-审阅和编辑 Anis KACEM：调查、监督、撰写-审阅和编辑 Djamila AOUADA：监督、撰写-审阅和编辑

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。