针对多源遥感数据分类的综合学习方法，以实现多尺度感知

《Engineering Applications of Artificial Intelligence》：Integrated learning for multi-scale awareness for multi-source remote sensing data classification

多源遥感数据融合存在冗余不足和光谱相似导致分类偏差问题。本文提出ILMA模型，通过多尺度特征融合（MFF）提取全局结构信息，宏微观完整性学习（MaIL/MiIL）分别处理低/高频细节，最后经宏微观验证（MMV）增强特征一致性，有效整合异构数据。实验表明ILMA在HSI/LiDAR等三个数据集上分类精度显著提升。

　　

莫阳|罗晨|宁静

国防科技大学电子科学与技术学院，中国湖南410073

摘要

多源遥感数据融合在目标定位、识别和分类任务中显示出巨大潜力。然而，数据约束（如缺乏冗余性和区分性信息）阻碍了其完整性的发展和应用。此外，高频结构信息和低频轮廓信息的同时处理受到了有限关注。我们通过引入微观和宏观层面来定义完整性的概念。具体来说，在微观层面，模型应突出属于某个目标的所有部分；而在宏观层面，模型需要发现图像中的所有目标。为了促进多源数据的完整性学习，我们设计了一个集成学习多尺度感知融合网络（ILMA），该网络探索了三个重要的组成部分，以学习强一致性特征：（1）多尺度特征融合（MFF）捕获多尺度特征并挖掘整个目标的基础；（2）宏观完整性学习（MaIL）捕获低频信息以建立远程关联能力；（3）宏观-微观验证（MMV）深入补充高频和低频信息之间的交互，以进一步确定目标特征是否具有一致性。广泛的实验结果表明，ILMA在三个基准数据集上与不同类型的多源数据特征表示兼容性良好，并且在分类性能上优于现有的最先进方法。

引言

近年来，随着空间卫星遥感技术的快速发展，产生的大规模多源多模态数据为地球观测提供了新的思路和机会，包括多光谱成像（MSI）、高光谱成像（HSI）、光探测与测距（LiDAR）和合成孔径雷达（SAR）数据（Gómez-Chova等人，2015年；Li等人，2017年；Li等人，2022年；Imani和Ghassemian，2020年；Tu等人，2023b年）。同时，不同类型的数据也给遥感领域带来了新的挑战，例如大气探测（Fei等人，2023年）、环境监测（Guo等人，2019年）、城市规划（Coutts等人，2016年；Tu等人，2023a年；Liao等人，2023年）、目标检测（Tang等人，2023年；Wang等人，2023年；Yang和Shi，2016年）、资源调查（Wu等人，2022年）以及地质制图（Hong等人，2021b年；Zheng等人，2021年）。

为应对多源数据持续增长带来的挑战，研究人员从处理来自单一传感器的卫星数据转向探索多源数据融合技术的有效性。然而，相似的单个遥感特征在不同波长下的光谱特性有限，而相似波长下不同类别的特征可能表现出相似的光谱特性，这导致分类结果存在偏差或错误。多尺度感知融合网络（ILMA）的动机和工作流程如图1所示。结合卷积神经网络（CNN）的模式共享特征提取和Transformer的长距离依赖建模能力，构建了一种针对双分支多源遥感数据的特征提取-学习和融合方法。

此外，多源遥感图像的成像机制提供了关于同一场景的信息，同时表现出异构特征，即不同的机制反映了特征的差异。这些异构特征提供了不同的视角和属性，这对于更全面地解释遥感场景至关重要。为了进一步提高多源遥感图像的分类效果，通过结合每个数据源的优势和互补性显著提高了分类准确性。然而，如何正确提取和有效融合这些异构特征将是多源任务中最关键的技术。其中，有效且适当的多源数据表示需要满足以下两个条件：（1）利用足够的信息源以实现准确预测；（2）消除无关的预测信息。

在本文中，我们探索了一种更合理的范式，考虑多源数据中的共同特征和异构特征，以进一步应对数据约束带来的挑战。我们在微观-宏观层面探索强一致性学习的特性，旨在增强与模式相关的特征和模式共享特征的提取，并有效提高高频和低频信息之间的一致性。高频信息包含局部细节、边缘和纹理特征，而低频信息包含全局信息、整体形状和结构。首先，使用多尺度特征融合（MFF）捕获多尺度特征并挖掘整个目标的基础；其次，使用宏观完整性学习（MaIL）捕获低频信息以建立远程关联能力，并获得更广泛的模式特征和全局元素特征；同时，使用微观完整性学习（MiIL）解析高频信息并获得局部特征的细微差别；最后，使用宏观-微观验证（MMV）深入补充高频和低频信息之间的交互，以进一步确定目标特征是否具有一致性。因此，进一步探索多源数据之间的特征融合方法有助于提高分类结果的多样性和可靠性。

我们的贡献总结如下：

• $•$
  多源特征完整性贡献。我们提出ILMA，通过多模态特定向量对多源互补信息进行建模，有效解决了多变量特征融合过程中信息不一致的问题。通过利用多尺度特征提取和融合计算，ILMA确保了不同尺度之间的一致性特征整合，从而实现了更健壮和可靠的多源特征融合。
• $•$
  完整性学习表示贡献。我们设计了MaIL来分离多源特征中的低频成分，并通过MiIL提取高频成分，然后重新结合它们以建立频率间的完整性通信。在整合了低频和高频信息后，通过MMV模型提取深层信息并获得最终的分类结果。这一策略克服了传统基于频率的方法的局限性。
• $•$
  实验贡献。广泛的实验结果表明，ILMA在三个公共多源遥感分类数据集上表现出优异的分类性能，为其他研究人员提供了新的解决方案。

部分摘录

传统方法

传统的多源遥感数据集融合方法主要包括形态学扩展的多核学习，旨在补充多源数据之间的特征信息，从而提高分类任务的性能。Liao等人（2014年）利用图结构融合不同特征之间的链接，以增强扩展的形态学特征提取能力。Leng等人（2017年）提高了

方法论

为了实现多源遥感数据的像素级分类效果，我们设计了ILMA模型，以捕获高频特征的局部信息和低频特征的全局信息，从而细化遥感数据。

$X_{HSI}\in R^{H\times W\times C}$ $X_{LiDR}\in R^{H\times W\times 1}$ 表示在同一地球表面收集的数据，其中H、W和C分别表示向量数据的高度、宽度和通道数。我们通过降采样操作改变了通道数

数据描述

Houston2013（Debes等人，2014年）：主要包含HSI和LiDAR数据，空间分辨率为2.5米，349 × 1905像素，HSI有144个波段，波长范围从0.38纳米到1.05纳米，15,029个地面真实样本和15个类别。

Indian Pines（Lee和Kwon，2016年）

结论与讨论

在本文中，我们设计了一种新颖的网络架构模型ILMA，用于多源遥感数据分类任务的宏观-微观完整性学习。首先，在第1阶段整合多尺度特征信息；其次，在第2阶段使用基于Transformer结构的低频特征，并在第3阶段与基于CNN结构的高频特征结合，以有效提取相应的特征。

CRediT作者贡献声明

莫阳：撰写——原始草稿、方法论、研究、数据管理。罗晨：验证、方法论、资金获取。宁静：监督、项目管理。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。

致谢

本工作得到了国家自然科学基金（编号：41971362）的支持。