面向无监督域自适应的生成式域内与域间连通性

《Knowledge-Based Systems》：Generative intra-domain and inter-domain connectivity for Unsupervised Domain Adaptation

　　

•一种架构灵活的域适应 (DA) 框架，基于标准 CNN 和大型基础模型 (FMs)，适用于实际应用。
•超越插值的生成式连接重塑了域内与域间的建模。
•GaC 创建鲁棒的邻居以加密类结构并平滑决策景观。
•GeC 演化无限的生成式桥梁，用于直接的类一致域迁移。
•在 193 个自然和医疗任务下验证，涵盖零/少/噪声标签设置。

引言

现实世界的视觉识别系统——特别是在自动驾驶和医疗诊断等安全关键领域——从根本上受到训练和部署环境之间分布偏移的制约。这种偏移在实践中普遍存在：自动驾驶汽车必须从合成模拟或晴朗天气图像泛化到现实世界和恶劣条件场景；基于一种设备的眼底 OCT 扫描训练的医学分类器通常因设备特定的光学参数和成像条件而在另一种设备上性能下降；部署在电子商务或机器人中的物体识别器会遇到以截然不同风格和获取条件渲染或捕获的产品。这些实际场景促使了本工作中考虑的数据集：Office-31 [1]、Office-Home [2] 和 DomainNet [3] 捕捉了渲染风格和获取条件的变化；VisDA-2017 [4] 解决了与基于模拟的训练相关的合成到真实迁移；我们新收集的 OCT-DA 数据集体现了临床视网膜成像中的跨设备异质性。无监督域适应 (UDA) 通过将知识从有标签源数据转移到无标签目标域来缓解这一差距，为鲁棒的跨域泛化提供了一条合理的路径。尽管已经做出了巨大努力开发强大的模型——如卷积神经网络 (CNNs)、Transformers 和视觉基础模型 (VFMs)——并在大型数据集上进行训练以实现跨域泛化，但这些模型在测试集遵循与训练集不同分布时往往表现不佳。由于训练数据不可能包含所有可能的现实世界分布，UDA 仍然是一个至关重要的探索领域。为此，本文探索了 UDA 方法，这些方法能有效地泛化到无标签、半标签或噪声目标域，同时利用 ResNet [5] 和 VisionFM [6] 等多样化的骨干网络，从而为现实世界系统中的智能视觉识别提供实用且鲁棒的解决方案。

开创性的理论研究 [8], [9], [10], [11], [12], [13], [14] 使用分类器诱导的源和目标分布之间的散度度量，建立了期望目标域分类误差的界限。技术研究通常基于这些理论来最小化域散度。早期工作依赖高成本的 GANs [15], [16] 产生合成图像作为潜在正则化 [17], [18] 或训练数据 [19], [20], [21]。后续策略通过减少散度指标 [22], [23], [24], [25], [26]、在域 [27], [28], [29] 或类级别 [30], [31], [32], [33] 的对抗训练、可迁移原型学习 [34], [35] 等学习域不变特征。最近的方法通过对无标签目标数据使用伪标签进行自训练，学习目标判别模型 [7], [25], [36], [37], [38], [39], [40], [41], [42], [43], [44], [45]。其中，最先进的方法，例如 CC-Loss [44]、DJSA [25]、BiPC [45] 和 DoT [7]，专注于为没有标签的观测目标样本完善伪标签。

然而，它们仍然受到有限且噪声目标样本的限制，忽略了观测数据之外至关重要的生成式连接，导致类别表示不完整和决策边界偏差。例如，DoT 采用交叉注意力机制变换源特征，将每个特征表示为相似无标签目标特征的加权组合。虽然这种方法提供了强大的性能，但它有一个关键限制：依赖于对少量可能噪声或误分类的目标样本子集进行插值。如图 1b 所示，这种依赖会扭曲结果特征，导致决策边界偏差和模型鲁棒性降低——证据是从 Office-31 [1] 过渡到更具挑战性的 Office-Home [2] 数据集时准确率下降了 24%。

为了解决这个问题，我们引入了生成式连接，这是一种超越观测样本插值的新范式。相反，我们的范式通过生成合成样本，在域内和跨域特征之间架桥，构建更密集和更连续的类别表示，如图 1c-d 所示。我们的核心思想是扩展每个类别的支持集和邻域，从而增强决策区域覆盖，通过正确分类的邻居去除误标签样本的噪声，并增加测试样本落在其正确决策区域内的可能性。为此，我们引入了生成式域内连接 (GaC)，它从根本上由对抗鲁棒性学习驱动。通过将域内连接建模为对抗优化过程，GaC 合成作为鲁棒邻居的辅助样本，明确锚定到真实实例。这一机制扩展了每个域（源或目标）内的局部邻域，从而加强类内凝聚力并促进观测样本和生成样本之间更强的局部一致性（参见 Fig. 1c）。此外，我们引入了生成式域间连接 (GeC)。它通过双重双向迁移——一个在图像空间，一个在特征空间——创建演变的桥梁，直接连接跨域的真实实例。通过为每个类别动态生成跨域对应物，GeC 在共享特征空间中扩展支持集，实现更忠实知识转移并自然缩小域差异（参见 Fig. 1d）。共同，GaC 和 GeC 构成了生成式域内和域间连接 (GIIC)，这是一个强大的生成框架，不仅加密域内结构，还无缝桥接域间关系，从而产生更鲁棒、可迁移和可泛化的表示。因此，GIIC 显著提高了目标域上的分类准确率（参见 Fig. 2）。主要贡献如下：

•我们提出了一种新颖的方法论框架，生成式域内和域间连接 (GIIC)，这是 UDA 的多功能、灵活解决方案。GIIC 与多样化的骨干网络兼容——包括 CNNs、Transformers 和 VFMs——并很好地适应没有、稀少或噪声标签的目标域，使其成为现实世界系统中智能视觉识别的实用且鲁棒的方法。
•我们的 GIIC 超越了观测样本和简单插值，重新定义了 UDA 中建立域内和域间关系的方式。在这个框架中，通过对抗鲁棒性学习，GaC 策略性地合成鲁棒邻居以显式加密类结构，从而平滑决策边界并正则化域特定鲁棒性；通过双重双向迁移，GeC 在跨域统计演化无限的生成式桥梁，促进直接的、类一致的连接，增强知识转移并减少域差异。
•我们提出了在无监督 (41 任务)、半监督 (38 任务) 和噪声半监督 (114 任务) 设置下的首次全面评估，包括用于视网膜疾病诊断的新内部 OCT-DA 数据集，其中 GIIC 结合大型眼科基础模型取得了显著收益，凸显了其强大性能和鲁棒泛化。

随后，第 2 节回顾了现有方法；第 3 节考察了我们的方法与泛化和 DA 理论的联系；第 4 节详细介绍了我们的 GIIC；第 5、6 和 7 节讨论了实验结果；第 8 节总结。

章节片段

相关工作

在本工作中，我们回顾了与我们研究高度相关的大量文献（参见 [46] 以获取更全面的概述）。

任务表述

在实际部署中，定义域需要识别导致系统性分布偏移的因素。从根本上说，域由其底层联合数据分布表征。如果特定因素——如物理环境、物体渲染风格或数据获取硬件——导致边际或条件数据分布的全局结构性发散，同时保留语义任务（即共享标签，则构成一个不同的域。

强大的 DA 基线

最近的 DA 方法，特别是那些利用输出适应的方法，被证明非常有效，通过直接在无标签目标数据上增强模式学习。它们借鉴了数据增强和半监督学习 [84], [90], [91] 中的技术。在本工作中，我们整合了来自 Xu et al., Tang 和 Jia, Zhang et al., Li et al., Gu et al., Prabhu et al., Jin et al., Ren et al., Ouyang et al., Hong et al. [18], [64], [12], [66], [28], [36], [44], [7], [35] 的常见有效策略。

UDA 实验

数据集。我们使用四个已识别的视觉 DA 数据集进行实验。Office-Home [2] 是一个困难的数据集，收集了来自办公和家庭场景的 65 个物体类别的约 15,500 张图像，形成了 4 个极不相同的域：艺术 (Ar)、剪贴画 (Cl)、产品 (Pr) 和现实世界 (Rw)；它们通过域配对定义了 12 个适应任务。DomainNet [3] 是一个大型图像分类 DA 数据集，包含 60 万张图像，属于跨越 345 个类别的 6 个域；由于

SSDA 实验

在本节中，我们在半监督设置下实验域适应图像分类，以验证我们的 GIIC 适用于更广泛的应用。

设置。我们遵循 Yu 和 Lin [38] 在 Office-Home 和 DomainNet 上进行评估。对于 DomainNet，我们使用纯化版本 [78]，包含 4 个域中的 126 个类别，评估 7 个特定场景。1-shot 和 3-shot 设置下的实验遵循既定的数据协议 [38], [80] 进行采样和验证。我们遵循 Yu 和 Lin 的训练协议。

NSSDA 实验

在本节中，我们在噪声半监督 DA 设置下评估 GIIC，以评估其在更具挑战性和实际场景中的有效性。

设置。我们在 Office-Home 和 DomainNet 上进行评估。我们将对称噪声 [83] 应用于目标标签集，以在 3 种噪声比率（10%、30% 和 50%）下污染随机选择的正确标签。数据设置和实现细节与 SSDA 配置一致（参见第 6 节）。

结论

在本文中，我们介绍了一种新颖的方法论框架，生成式域内和域间连接 (GIIC)，旨在有效解决通用 DA 中的域内和域间差异。我们的框架包含两个协同机制。通过双重双向迁移，GeC 生成向相反域分布扩展的图像和特征，保留语义并减少条件错位以缩小域散度。通过鲁棒

CRediT 作者贡献声明

Hui Tang: 撰写 – 初稿，验证，方法论，调查，形式分析，数据整理，概念化。Chuang Zhao: 撰写 – 审查 & 编辑，可视化，验证，形式分析，数据整理。Xiaomeng Li: 撰写 – 审查 & 编辑，监督，资源，项目管理，资金获取，形式分析。

生成式 AI 使用声明

在准备本手稿期间，作者使用 ChatGPT 协助语言编辑并提高整体的清晰度和可读性。使用该工具后，作者仔细审查、修订和编辑了内容，并对最终出版作品的准确性和完整性承担全部责任。

资金来源

本工作得到了国家自然科学基金 (Grant No. 62306254) 和国家自然科学基金及香港研究资助局联合研究计划 (Project No. N_HKUST654/24) 的支持。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系，这些可能影响本论文中报告的工作。

Hui Tang|Chuang Zhao|Xiaomeng Li