CAMDG：一种用于多模态领域泛化的互补多级对齐框架

《Neurocomputing》：CAMDG: A complementary multilevel alignment framework for multimodal domain generalization

　　

摘要

领域泛化旨在从已知的源领域中学习可迁移的知识，从而在具有不同分布的未知目标领域上保持强大的泛化能力。尽管在单模态领域泛化任务上已取得进展，但多模态领域泛化仍面临诸多挑战。领域分布差异与模态分布差异之间的相互作用使得难以学习一致的跨模态和跨领域特征表示，进而限制了泛化性能。在本文中，我们提出了一种用于多模态领域泛化的互补对齐框架——CAMDG。具体而言，我们采用多源领域对齐模块将多个源领域对齐到共享的特征空间中。此外，我们还引入了跨模态特征对齐模块来消除各模态间的分布差异，以及跨模态合理性对齐模块来确保各模态在决策层面的合理性一致性。在EPIC-Kitchens和Human–Animal–Cartoon（HAC）数据集上的大量实验表明，我们所提出的框架能够显著提升跨模态领域泛化能力，其平均准确率分别比现有最佳方法高出1.9%和2.02%。

引言

领域泛化旨在利用源领域数据训练模型，使其在之前未见过的目标领域上仍能保持良好的泛化能力，这在自动驾驶[17]、[37]、医学图像分析[16]、[40]、动作识别[20]、[31]以及人脸识别[19]、[35]等现实场景中至关重要。近年来，单模态领域的泛化技术取得了显著进展，由此产生了基于数据增强[11]、[28]、表征学习[24]、[29]以及学习策略[25]、[33]的各种方法。然而，将这些单模态方法直接应用于多模态领域泛化仍然具有挑战性。多模态环境通常涉及视频、流数据以及音频等异构模态，这些模态在语义表征上存在本质差异。再加上跨领域分布的变化，这些差异往往会导致模态内部的变化以及模态间的冲突[10]，最终降低模型在目标领域的鲁棒性。

在多模态领域泛化任务中，领域分布差异与模态分布差异的共存会导致特征空间中对齐目标的不一致，进而引发模态竞争、语义冲突以及训练不稳定问题。现有的多模态学习方法通常通过将不同模态映射到同一个子空间来实现跨模态融合，但这些方法往往忽视了领域差异与模态差异之间的相互影响。虽然不同模态包含对分类任务有用的共享语义信息，但它们同时也保留着各自特有的特征。如果不明确区分这些因素，直接在多种模态之间应用领域泛化技术可能会引入噪声，扭曲语义结构，并降低特征的区分度。

为了解决上述问题，本文提出了一种多模态领域泛化框架，该框架能够同时缓解领域间和模态间的差异。该框架将每种模态的特征分解为模态共享成分和模态特定成分，基于此设计了三个核心模块，以实现跨模态及多源领域的特征对齐。

本研究的主要贡献如下：

• •
  我们提出了CAMDG，这是一种用于多模态领域泛化的互补对齐框架。与仅应用单一对齐约束不同，CAMDG针对多模态领域泛化中的三种不一致性问题，即跨领域分布偏移、跨模态表征差异以及跨模态决策不一致性问题。
• •
  我们设计了三个在不同层面起作用的互补模块。具体而言，多源领域对齐模块能够在模态共享空间中提升模型的领域不变性；跨模态特征对齐模块通过自适应加权增强不同模态之间的语义一致性；而跨模态合理性对齐模块则进一步规范决策层面的合理性一致性。
• •
  在EPIC-Kitchens和Human–Animal–Cartoon（HAC）数据集上的大量实验表明，所提出的对齐策略能够显著提升多模态领域泛化性能，其效果优于现有的各种基准方法和最新最佳算法。

本文的其余部分结构如下：第2节回顾相关研究；第3节介绍所提出的CAMDG框架及其各个组成部分；第4节阐述实验设置以及在EPIC-Kitchens和HAC数据集上的实验结果，包括与现有最佳方法的对比以及进一步分析；第5节对全文进行总结。

章节节选

领域泛化

领域泛化旨在仅使用源领域数据来训练模型，使这些模型在未被见过的目标领域上仍能保持良好的泛化能力。现有的方法大致可分为三类：数据增强、表征学习以及学习策略。数据增强通过增加训练数据的多样性来提升模型的鲁棒性。例如，Mixup[36]、[43]会对样本及其标签进行线性插值处理

基础概念

在领域泛化任务中，领域通常指的是从特定联合分布中采样的数据集合，不同的领域对应着不同的数据分布。领域差异往往源于数据采集条件的变化，如相机视角、光照条件以及环境布局等。这些因素会导致输入样本的特征分布发生变化，进而影响模型在未知数据上的泛化性能

实验设置

我们在两个用于多模态领域泛化的基准数据集上评估了所提出的框架：EPIC-Kitchens[8]和Human–Animal–Cartoon（HAC）[9]，这两个数据集都包含三种模态——视频、音频和流数据。EPIC-Kitchens数据集涵盖了八种典型的厨房动作：放置、取用、打开、关闭、清洗、切割、混合以及倾倒。这些数据来自三种不同的厨房环境，它们在照明条件、相机视角、背景布局以及物体摆放方式上均存在差异

结论

本文提出了CAMDG，这是一种用于多模态领域泛化的互补对齐框架，它通过多源领域对齐、跨模态特征对齐以及合理性对齐来提升模型在跨领域任务中的鲁棒性。在EPIC-Kitchens和HAC数据集上的大量实验表明，该框架能够带来稳定且显著的性能提升，证明了其在缓解领域差异和模态差异方面的有效性。本研究中的实验主要在

CRediT作者贡献说明

姚中华：写作——审稿与编辑，写作——初稿撰写，方法论，资金获取，形式分析，概念构思。年永刚：写作——审稿与编辑，写作——初稿撰写，方法论，研究调查，形式分析。连俊成：可视化，验证，方法论。胡永强：可视化，验证，软件开发。鲜朝乐：可视化，验证，软件开发。刘华明：写作——审稿与编辑，写作——初稿撰写，方法论

利益冲突声明

作者声明不存在任何可能影响本文研究工作的已知财务利益或个人关系。

姚中华是一名硕士生导师。他拥有国防科技大学工学学士学位和硕士学位，2017年在中国南京的中国人民解放军航天工程大学获得博士学位。他的研究兴趣包括多媒体信息处理、模式识别等领域。

Zhonghua Yao|Yonggan Nian|Juncheng Lian|Yongqiang Hu|Chaole Xian|Huaming Liu

中国安徽省阜阳市，236037