编辑推荐：
摘要监督深度学习通常需要大量的标注数据，而这往往难以获得。领域自适应通过将知识从一个标注数据集迁移到另一个（未标注或部分标注）数据集来缓解这一问题，而异质领域自适应（HDA）尤为具有挑战性，因为领域存在于不同的空间中。这是一个新兴的研究领域，涵盖了使用各种传感器（遥感、机器人
摘要
监督深度学习通常需要大量的标注数据，而这往往难以获得。领域自适应通过将知识从一个标注数据集迁移到另一个（未标注或部分标注）数据集来缓解这一问题，而异质领域自适应（HDA）尤为具有挑战性，因为领域存在于不同的空间中。这是一个新兴的研究领域，涵盖了使用各种传感器（遥感、机器人等）的多样化背景领域，因此对 HDA 方法的综述是必要的，以提供全球视野并展示最新进展。因此，本综述提供了当前异质图像领域自适应方法的全面概述，检查了它们的能力和局限性，并阐明了未来的研究方向。它关注考虑不同维度图像模态的工作，因为这很少被提及。该综述提出了一种基于特征的 HDA 方法分类，基于进行 DA 的特征空间。本文还提供了 HDA 应用和基准数据集的概述，并就其正确使用提出建议。最后，文章的讨论为最终用户和研究人员提供了具体的指导和建议。
引言
收集监督机器学习和特别是深度学习（DL）所需的标注数据数量往往非常困难和/或昂贵。领域自适应（DA），迁移学习（TL）的一个子领域，通过从一个通常已标注的领域（源）学习并将知识应用于在另一个未标注或稀少标注的领域（目标）上解决相同任务来减少对标签的需求。这是通过克服源域和目标域概率分布之间的差异——称为领域偏移——来实现的。
领域自适应取得了显著成功，特别是在应用于图像数据时（下文将称为图像领域自适应或图像 DA）。这些方法通常是在假设两个领域都由 RGB 图像表示的情况下开发的；这种设置称为 同质领域自适应。相比之下，异质领域自适应（HDA）处理存在于可能不同维度的不同空间中的领域。例如，在遥感（RS）中，卫星使用许多不同类型的传感器来捕获图像，如多光谱（MS）、高光谱、合成孔径雷达（SAR）等，产生各种模态的图像。在机器人技术中，深度图像通常与 RGB 一起使用以推断关于物体距离的信息。异质图像的示例见图 1。同质 DA 和异质 DA 之间的核心区别是：（i）不同图像模态的数据表示可能具有不同的空间分辨率和/或通道数；（ii）潜在分布对齐必须在截然不同的特征空间之间运行。
DA 的最前沿不考虑不同维度的领域，HDA 研究较少且知名度不高，但对于遥感、机器人、医学成像等应用是必要的。因此，本综述的目的是建立图像 HDA（称为异质图像 DA）的当前状态，以引起研究界对这种需求的关注。
关于图像 DA 的综述有许多，但大多数关注同质 DA，只有少数简要提及异质 DA。Csurka [1] 讨论了非 DL（浅层）HDA 方法，并只提及了少数早期的 DL HDA 方法。Wang 等人 [2] 提供了更多关于 HDA 设置和分类的细节，包括基于 DL 的工作，但他们缺乏最新进展。存在少数关于异质迁移学习的综述，然而，HDA 不是他们的主要话题，且只被部分处理，没有深入讨论其在图像上的应用。例如，Day 等人 [3] 只描述了浅层方法。Friedjungová 等人 [4] 只涵盖非对称异质迁移学习方法，同样主要是浅层方法。Khan 等人 [5] 包含了一些医学成像的方法，但没有涵盖其他图像模态的应用。
这些现有的综述揭示了三个系统性差距：（i）数据差距：它们很少考虑不同维度（分辨率、通道数）的图像模态，通常依赖于从同质域获得的预提取特征。（ii）算法差距：讨论的大多数方法是浅层的；深度学习的方法很少被分析。（iii）应用差距：具体的以图像为中心的用例（例如，遥感、RGB-D、医学成像）只被边缘化地处理。
与此前提到的相反，本综述是第一个专门关注图像 HDA 方法的。提出了一个新的分类，遵循其他综述采用的标准基于特征的分类——根据进行 DA 的特征空间划分方法——但，更深入地，由图像特定问题引导。
本综述也是第一个详细讨论如何处理不同维度（分辨率和通道数）图像的。许多计算机视觉异质 DA 文章描述了处理从图像中提取的不同维度特征的方法——无论是通过冻结的预训练骨干网络（例如，DeCAF [6]）还是通过算法（例如，SURF [7]）。然而，这些特征通常是从同质图像域（即具有相同维度）提取的。相比之下，本综述特别强调能够处理不同模态原始图像数据及其相关挑战的 HDA 方法。还检查了用于评估它们的数据集。这使我们能够为该领域提出新的方向和基准。本综述展示了在遥感和 RGB-深度（RGB-D）数据中的应用。
本文组织如下：第 2 节提供了 HDA 领域的概述，第 3 节详尽描述了对图像数据的 HDA 方法，第 4 节突出了最重要的基准数据集和应用领域，并比较了 HDA 模型的性能，第 5 节提出了关于该领域当前状态、新趋势和未来方向的讨论，最后第 6 节给出了结语。
章节摘要
概述
本节包含两部分。第一部分提供了 HDA 领域的总体概述（2.1 节）。第二部分描述了本综述涵盖的 HDA 方法的分类（2.2 节）。
方法
本节呈现了根据 2.2 节描述的基于特征的方法分类的异质领域自适应方法。本节的内容组织如下：首先，介绍域不变特征提取方法（3.1 节），随后是域翻译方法（3.2 节）和混合方法概述（3.3 节）。
基准与应用
异质图像 DA 的实际应用非常广泛，随着新传感器的开发，此类应用将会扩展。存在许多公开可用的数据集，并在本节中呈现，总结于表 3。这些可以在开发期间使用和作为比较评估基准，属于向量或原始图像数据类型，本节随后遵循此组织。本节的内容组织如下：首先，异质向量
讨论
本节讨论了 HDA 的前景、机会、当前趋势和未来方向。讨论分为两部分——第一部分从应用角度为 HDA 的实践者和最终用户提供建议（5.1 节），第二部分为研究人员和未来 HDA 方法的开发者提供关于良好实践、开放问题和遵循方向的建议（5.2 节）。随后是关于 HDA 当前趋势的讨论（5.3 节）以及关于
结论
异质图像领域自适应提供了在不同图像模态之间转移知识的可能性。本综述通过基于特征的分类框架提供了 HDA 方法的全面概述。这些方法可以分为域不变特征提取、域翻译和混合方法。综述更关注操作于多模态原始图像的方法，因为原始图像方法直接解决了主要的 HDA 挑战：
CRediT 作者贡献声明
Mihailo Obrenovi?: 撰写 – 审查与编辑，撰写 – 初稿，可视化，方法论，调查，形式分析，概念化。 Thomas Lampert: 撰写 – 审查与编辑，撰写 – 初稿，可视化，验证，监督，方法论，调查，资金获取，形式分析，概念化。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系，这可能影响本论文报告的工作。
Mihailo Obrenovi? 博士 是法国斯特拉斯堡大学 ICube 实验室的研究工程师。他的研究兴趣围绕人工智能（AI）和深度学习中的多模态，特别是（但不限于）异质领域自适应、遥感和视觉语言模型。他在斯特拉斯堡大学完成了博士论文，期间他是法国政府奖学金的持有者，用于在法国和塞尔维亚的联合监督博士研究。他是
Mihailo Obrenovi?|Thomas Lampert
法国斯特拉斯堡，斯特拉斯堡大学 ICube 实验室
