基于多样性的领域泛化方法：通过提升秩的注意力融合技术处理高光谱图像

《Knowledge-Based Systems》：Diversity-Driven Domain Generalization for Hyperspectral Image via Rank-Increased Attention Fusion

基于多样性学习的双层次超光谱图像领域泛化框架提出，通过数据层随机卷积增强样式多样性，特征层引入排名增加的注意力机制促进多模态特征融合，有效解决跨场景分类中的分布偏移问题。

　　

明辉·楚 | 京浩·胡 | 旭阳·滕 | 瑞峰·谢 | 小辉·李 | 洪斌·董 | 小东·余

哈尔滨师范大学计算机科学与信息工程学院，中国哈尔滨 150025

摘要

由于不同数据集之间存在显著的分布差异，高光谱图像分类的领域泛化仍然是一个重大挑战。在单一源域上训练的模型通常泛化能力较差，因为它们倾向于学习到同质且多样性较低的特征，这限制了它们对未见过的领域的适应性。尽管已经开发出对抗性数据增强方法来提高模型的泛化能力，但这些方法往往需要计算密集型的对抗性训练和频繁的模型更新，以及复杂的损失函数设计。为了解决这些问题，本文提出了一种基于多样性学习的新领域泛化框架。具体来说，在数据层，引入了一种基于多样性的正则化策略来降低模型过拟合的风险；在特征层，设计了一种基于秩增强的注意力融合机制来增强细粒度特征提取并促进丰富的特征表示。在多个跨场景高光谱数据集上进行的广泛实验表明，所提出的方法在整体准确性和泛化性能方面表现出色。代码可在此处获取：https://github.com/gmsjzyq123/RCRAnet。

引言

遥感技术利用卫星和飞机上的传感器在无需接触的情况下观测地球表面和大气[1,2]。高光谱遥感是一种先进的技术，可以捕获许多连续波段的详细光谱信息。通过收集数十到数百个波段的数据，它可以准确识别和区分表面特征的微妙差异，从而提高目标识别和分类的准确性[3]。这种高分辨率方法广泛应用于精准农业、矿产勘探、国防等领域，以支持监测和资源管理[4,5]。

高光谱图像分类是高光谱遥感的核心研究领域，深度学习在这一领域取得了显著进展[[6], [7], [8], [9], [10]]。传统方法通常假设训练数据、验证数据和测试数据来自相同的分布（通常来自相同的传感器和时间段），并在将模型应用于未标记数据之前对其进行标记和预处理。在实际应用中，即使是同一类的样本也可能由于传感器、环境条件、采集时间或人为因素的变化而表现出分布差异。如图1所示，不同时间或不同地理区域收集的同一类样本在光谱特征上可能存在明显差异。这种分布差异通常会导致在未见过的领域上的性能下降，这种现象被称为泛化过拟合。

为了解决跨领域问题，现有的方法主要分为领域适应（DA）和领域泛化（DG）[41,42]。DA方法通过在训练过程中利用目标领域的未标记样本来对齐特征，从而在一定程度上减轻分布差异。然而，它们依赖于目标领域数据的可用性，当这类数据稀缺或不可用时，其适用性受到限制。相比之下，DG方法不依赖于任何目标领域信息，旨在泛化到未见过的领域。尽管如此，在单源DG场景中，训练数据的有限多样性往往导致对源域特征的过拟合，这对跨领域泛化构成了重大挑战。

现有方法通常存在训练样本特征多样性不足和光谱-空间相关性建模不充分的问题，这限制了模型在未见过的领域的泛化能力。因此，设计有效的DG方法以提高在未见过的领域的鲁棒性仍然是高光谱图像分类中的一个关键问题。

DA技术的核心原理在于特征对齐[11]。最初提出了领域对抗训练（DANN）的概念，该方法通过集成标签判别器和梯度反转层来实现高效的领域适应性能[12]。提出了全局-局部图注意力网络，通过全局和局部领域对齐以及三轴动态卷积特征提取有效地缓解了领域差异问题[13]。通过拓扑和语义信息传递，有效解决了不同场景之间的领域差异问题，从而实现了更鲁棒的分类性能[14]。通过分层策略逐渐减少从粗粒度到细粒度的领域差异，确保提取的特征保持领域不变性，同时保留丰富的语义信息[33]。提出了双向领域适应（BiDA）框架，该框架通过三分支Transformer结合语义分词器、交叉注意力和双向蒸馏以及自适应强化来提取领域不变和领域特定的特征，以提高目标场景的区分能力和泛化能力，即使在噪声存在的情况下也是如此。

现有的DG方法主要采用对抗性概念，其中生成器和判别器协同工作，以促进跨不同数据源获取领域不变的特征表示。例如，[15]使用对抗性训练来增强单源领域数据，并结合形态学操作来稳定领域不变模板[16]。引入了局部线性建模和无偏随机化策略，显著提高了在不同场景下的鲁棒性和分类准确性[17]。提出了一个结合光谱和空间增强以及因果约束的网络，改进了这些特征的表示，并提升了跨场景高光谱图像分类的性能[19]。采用多模态语言-视觉方法，利用语言特征作为跨领域的共享语义空间，并通过监督对比学习对齐视觉-语言表示[43]。提出了SpectralX，这是一个参数高效的两阶段微调框架，能够有效处理多样化的光谱输入，提高领域泛化能力，并使RSFMs能够针对特定任务进行适应。

在实际应用中，特征偏移是常见的；然而，偏移后的数据本质上仍然与训练数据相关，主要在风格上有所不同。为了提高模型对这种偏移的鲁棒性，本研究提出了一种双层次多样性学习框架，结合了数据层和特征层的策略。通过优化随机卷积对每个源域样本的小批量数据进行数据层多样性处理，丰富了风格变化，同时保留了内在的空间-光谱结构。通过矩阵秩理论实现特征层多样性，增加了特征图中线性独立组的上限，使每个类别能够由更全面的特征集表示。因此，当主导特征发生偏移时，剩余的边缘特征有助于模型保持高分类置信度。本研究的主要贡献总结如下：

1.

新颖的双层次多样性框架：与主流基于对抗性学习的方法不同，本研究将高光谱图像领域泛化定义为从源数据中学习多样化特征的过程，消除了对目标域样本或对抗性训练的需求。该框架轻量级，专门设计用于联合建模空间-光谱特征，为跨领域泛化提供了实用且稳定的解决方案。

2.

针对高光谱图像的数据层增强：通过优化传统的随机卷积，将光谱扰动引入输入，并通过加权组合与原始数据融合。这种方法有效捕获了复杂的空间-光谱模式，同时控制噪声，提高了数据的多样性，从而增强了鲁棒性。

3.

特征层基于秩增强的注意力融合：我们设计了一种基于秩增强的注意力融合网络，以提高全局感知能力和特征多样性。该网络解决了传统秩增强模块的局限性，如忽略局部特征相关性和收敛问题。

本文的其余部分组织如下。第2节回顾了启发我们研究的相关工作。第3节详细介绍了所提出的方法。第4节展示了在三个数据集上的实验结果，并提供了相应的讨论。第5节总结了本文。

章节片段

随机卷积

现有的领域泛化方法通常依赖于生成对抗框架来增强样本空间[[15], [16], [17]]。为了简化训练，Rand-Conv [25]引入了具有多尺度内核的随机卷积层，生成具有多样纹理的图像，同时保持全局形状。渐进式领域扩展[26]逐渐扩大源域分布，以模拟潜在的目标域变化[27]结合了仿射变换和可变形

数据层多样性增强

高光谱图像具有空间-光谱立方体结构，而传统图像是二维的，它们包含标准2D图像所没有的丰富光谱信息。因此，许多常用的数据增强技术应用于高光谱数据时效果有限。为了解决这些挑战，本文在现有随机卷积结构的基础上，提出了一种渐进且可靠的3D随机卷积框架。

数据集

• 1)
  Houston13 [20]数据集是在2013年IEEE GRSS数据融合竞赛中发布的，收集自德克萨斯州休斯顿大学附近的城区。其空间分辨率为2.5米，144个光谱波段（380–1050?nm），大小为349?×?1905像素。Houston18 [21]数据集来自2018年的竞赛，涵盖了更复杂的城市场景，具有更高的分辨率——1米空间分辨率，48个光谱波段（380–1050?nm），尺寸为601?×?2384像素。对于Houston跨场景

结论

本文提出了一种从多样性角度出发的高光谱图像领域泛化分类新方法。该方法采用随机卷积策略，对每个训练批次引入适度的扰动，从而扩展了特定类别的特征空间，促进了更多样化样本分布的学习。同时，该方法结合了由光谱-空间信息和注意力引导的无偏、秩增强的对称卷积集

未引用的参考文献

[31]

CRediT作者贡献声明

明辉·楚：撰写——原始草稿，可视化，验证，方法论。京浩·胡：验证，形式分析。旭阳·滕：概念化。瑞峰·谢：数据管理。小辉·李：形式分析。洪斌·董：监督。小东·余：撰写——审稿与编辑，项目管理，资金获取。

利益冲突声明

作者声明他们没有已知的可能影响本文报告工作的竞争性财务利益或个人关系。

致谢

本工作得到了哈尔滨师范大学研究生创新项目（Grant HSDSSCX2024-36）的支持。