综述：面向遥感中未知领域的泛化：一项综述

《Neurocomputing》：Toward generalizing to unseen domains in remote sensing: A survey

　　

Muxin Liao|Meiying Liao|Zhihong Lu|Yuting Sun|Yinglong Wang|Yingqiong Peng

江西农业大学计算机科学与工程学院，中国南昌，330045

摘要

[摘要] 在遥感领域中，计算机视觉任务如分类、检测和分割属于学术界和工业界都十分关注的前沿领域。现有方法通常依赖带标签的样本进行模型训练，这类方法假定训练样本与测试样本遵循独立共分布条件。然而，当训练样本与测试样本的分布不一致时，即出现分布偏移问题，模型的性能可能会显著下降。这种情况可能源于训练样本与测试样本在采集环境、场景、时间以及传感器等方面的差异，此时训练样本可视为源域，而测试样本则为目标域。域泛化是一种有效的解决该问题的方法，已有不少基于域泛化的遥感方法被提出，这些方法旨在从带标签的源域样本中学习与域无关的特征，从而提升模型在任意目标域上的泛化能力。本文首先梳理了遥感技术从监督学习向跨域学习的发展历程，重点回顾了近三年来在分类、检测和分割等不同计算机视觉任务中基于域泛化的遥感方法。接着，我们介绍了基于域泛化的遥感任务所使用的数据集和评估标准，并对现有方法的性能进行了全面比较。最后，本文探讨了未来的研究方向，并对本次综述进行了总结。

引言

图像分类、物体检测和图像分割等视觉任务在遥感图像分析中起着重要作用，能为地球观测提供重要信息[1]。随着深度学习的快速发展，许多基于深度学习的方法被应用于遥感图像分类[2][3]、遥感语义分割[4][5]、遥感变化检测[6][7]以及物体检测[8][9]等领域。其中一些方法基于监督学习范式，即模型在相同的分布上完成训练和测试[10]。

但在现实世界中，训练数据与测试数据之间的分布往往存在差异，这就是所谓的分布偏移问题[11]。以遥感领域为例，由于数据采集过程中传感器、空间位置、采集条件和时间等因素的不同，训练数据与测试数据之间的分布会存在差异，如图1所示。在这种情况下，训练数据被称为源域，测试数据则称为目标域。因此，当在源域上训练得到的模型面对目标域数据时，其性能会急剧下降。为提升模型在目标域上的性能，一种解决方案是收集大量高质量的手动标注数据对模型进行重新训练，但这种方法既耗时又费力，尤其是对于需要像素级标签的语义分割任务而言（见表1）。

为在避免额外数据标注成本的同时提升模型性能，无监督域适应技术应运而生，这是一种新的训练范式，它通过在带标签的源域和未标记的目标域上对模型进行训练，来提升模型在目标域上的性能[17][18][19][20]。利用无监督域适应技术解决遥感中的分布偏移问题受到了广泛关注。许多基于该技术的方法通过分布对齐或域不变表示学习来提升模型的泛化能力。例如，Yang等人[21]提出采用类别级特征分布对齐策略，对源域与目标域之间的分布进行对齐，从而提升遥感场景分类在目标域上的性能；Chen等人[22]则提出了一种通用-特定原型对比学习方法，用于学习跨域遥感场景分类的域不变特征。

尽管这些基于无监督域适应的技术在处理分布偏移问题时取得了优异的性能，但它们也存在一些局限性。具体而言，这类训练范式需要明确要适配的具体目标域，其核心目标是尽量缩小源域与目标域之间的特征分布差异。但在实际应用中，尤其是在动态的遥感监测场景中，目标域的分布可能会发生随机且未知的变化，比如季节性变化、大气变化或传感器噪声等。因此，一旦出现新的目标域数据，即新目标域的分布偏离了已适配的目标域分布，模型的性能就会严重下降，这就需要重新让模型适配新的目标域数据。换句话说，使用无监督域适应技术的前提是目标域数据是已知且可获取的，但这一前提在现实中并不总是成立。例如，要收集涵盖不同传感器、场景、条件和时间的遥感数据是不现实的。因此，如何仅利用源域就能提升模型在任意目标域上的泛化能力，是一个亟待解决的问题。

域泛化是一种有效的训练范式，可用于解决分布偏移问题以及目标数据缺失的问题[23][24]。在域泛化的训练阶段，无法获取目标域数据，因此该技术旨在仅通过源域数据来提升模型的泛化能力[25][26][27]。近年来，已有许多基于域泛化的方法被应用于遥感数据分析，尤其是在遥感图像分类任务中[28][29][30]。这些方法通常通过数据增强、域不变表示学习以及特定的训练策略，来提升模型在未知目标域上的泛化能力。本综述旨在及时、全面地梳理遥感领域的域泛化相关研究，主要从基于域泛化的算法和策略角度，总结近三年来的研究成果，并为未来的研究方向提供参考。

本综述的其余部分结构如下：第2节介绍相关背景，包括域泛化的定义以及与域泛化类似的研究领域；第3节回顾遥感视觉任务的发展历史，阐述从监督学习范式到域适应范式，最终发展到域泛化的过程及最新方法；第4节总结遥感领域域泛化相关的数据集和评估标准，介绍不同视觉任务的评估指标，最后对比各类基于域泛化方法的性能；第5.2节探讨未来的研究方向；第5.1节则对本综述进行总结。

章节要点

背景

在本节中，我们将介绍域适应和域泛化的定义，以此阐明这两种训练范式之间的差异。此外，还会总结并区分一些与域泛化类似的研究方向。

遥感视觉任务的发展简史

为了解释遥感视觉任务的发展历程以及域泛化在遥感领域中的重要性，本节首先简要总结了近三年来基于监督学习和域适应范式的遥感技术进展，随后将详细介绍基于域泛化范式的遥感技术发展情况。

评估标准与性能对比

本节首先总结不同视觉任务中用于域泛化遥感研究的评估标准及相关数据集，随后对比各类基于域泛化方法的性能表现。

结论

目前，在遥感图像分类、检测和分割领域，关于域泛化的研究仍处于初步阶段。鉴于域泛化在遥感技术发展中的重要作用，我们有必要清晰了解：一）域泛化与域适应等相关领域之间的区别；二）域泛化在遥感领域的进展情况；三）遥感领域域泛化的评估标准、数据集、评估方式以及基于该技术的方法的性能表现。这

CRediT作者贡献说明

Muxin Liao：写作——审阅与编辑，写作——初稿撰写，资源获取，研究工作，资金申请。Meiying Liao：写作——审阅与编辑，写作——初稿撰写，研究工作。Zhihong Lu：写作——审阅与编辑，指导工作，研究工作。Yuting Sun：写作——审阅与编辑，研究工作。Yinglong Wang：写作——审阅与编辑，指导工作，项目管理，资金申请。Yingqiong Peng：写作——审阅与编辑，写作——初稿撰写，

利益冲突声明

作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢

本研究部分得到了国家自然科学基金委员会项目编号62262028的支持，同时也得到了江西省自然科学基金项目编号20242BAB25082的资助。

Muxin Liao于2024年在中国深圳的深圳大学电子与信息工程学院获得博士学位。他目前任职于中国南昌的江西农业大学计算机科学与工程学院，担任讲师。他的研究兴趣主要集中在交通场景下的计算机视觉领域，涉及域适应、域泛化、遥感语义分割以及机器学习等相关内容。