UGMFT：用于多源遥感分类的不确定性引导多模态融合 Transformer

《Pattern Recognition》：UGMFT: Uncertainty guided multimodal fusion Transformer for multi-source remote sensing classification

　　

• •
  提出了一种 UGMFT 框架，将模糊逻辑引入 Transformer。
• •
  FGT 模块通过模糊隶属度对特征归属进行建模。
• •
  FGFF 模块采用模糊推理来建模多模态特征不确定性。

引言

随着遥感技术的进步，获取同一场景的多源遥感数据已成为可能。通过整合高光谱图像（HSI）和激光雷达/合成孔径雷达（LiDAR/SAR）数据，可以充分发挥这两种数据类型的优势，从而显著提高城市土地覆盖分类的准确性和可靠性。这为可再生能源评估中的数据偏差校正 [1]、[2]，环境可持续性的城市负载监测 [3]、[4]，以及遥感安全监测和滥用预防 [5]、[6] 等实际应用提供了更高效的部署方案。然而，由于类内变化、类间相似性以及噪声干扰引起的不确定性，HSI 与 LiDAR/SAR 的联合分类仍面临挑战。

过去十年中，机器学习方法在多源遥感图像分类中取得了良好性能 [7]、[8]。然而，大多数现有方法采用浅层特征模型并过度依赖先验信息，难以处理复杂的样本分布和高非线性特征。因此，它们在平衡模型鲁棒性和提高分类准确性方面仍面临挑战。随着深度学习的发展，HSI 与 LiDAR/SAR 数据的融合分类取得了显著进展 [9]。近年来，卷积神经网络（CNN）因其自动提取多级特征、减少对人工先验的依赖以及更好地适应复杂高维数据分布的能力，被广泛应用于 HSI 与 LiDAR/SAR 数据的联合分类 [10]。尽管 CNN 在联合分类性能上取得了显著改善，但它们在捕捉全局光谱和空间特征以及建模像素间长距离依赖关系方面仍存在局限性。为解决这一问题，基于注意力机制的 Transformer 架构在 HSI-LiDAR/SAR 联合分类中引起了越来越多的关注 [11]。凭借其强大的长距离建模和全局依赖捕捉能力，Transformer 有效弥补了 CNN 在跨像素信息交互和全局光谱建模方面的不足。

然而，传统的 Transformer 注意力依赖确定性相似性建模来捕捉像素关系，难以充分表示复杂遥感场景中类别归属的连续变化和不确定关联。因此，现有方法仍面临关键挑战：类间相似性、类内多样性和噪声干扰引起的不确定性。在本文中，我们以休斯顿 2013 数据集为例，从“混合像素不确定性”和“噪声存在”两个方面提供了直观演示。图 1(a)–(c) 表明类内变异性和类间光谱相似性共存，混合比例导致光谱形状连续过渡，容易导致特征混淆和不确定性。图 1(b) 和 (d) 显示边界和噪声导致显著的空间波动，且线性/静态融合无法自适应处理过渡区域和噪声，导致跨模态交互不足和误判。

上述分析表明，现有方法仍难以充分解决 HSI-LiDAR/SAR 融合分类中的不确定性。具体而言，单一模态内由类内变化和类间相似性引起的不确定性尚未得到充分表征。现有基于 Transformer 的方法依赖确定性注意力机制，难以捕捉模糊的像素关系。同时，由于 HSI 和 LiDAR/SAR 成像机制和特征分布的差异，跨模态特征之间的不一致性和语义冲突尚未得到有效建模。此外，现有融合机制缺乏不确定性指导，难以在模糊边界或噪声干扰等复杂区域实现自适应多模态特征融合。

为解决上述问题，我们提出了一种不确定性引导的多模态融合 Transformer (UGMFT)。具体而言，我们采用多模态卷积模块分别从 HSI 和 LiDAR/SAR 数据中捕捉光谱和高程特征。随后，我们设计了一个模糊引导 Transformer (FGT) 模块，利用模糊隶属度动态建模像素的多种归属关系。它为每个像素自适应地分配不同类别的隶属概率，从而表征混合像素和边界区域的不确定性。最后，提出了一种模糊引导特征融合 (FGFF) 模块。它通过模糊推理机制将多源特征映射到模糊空间，使用隶属函数表征特征的不确定性，并基于隶属度进行特征的加权融合，从而实现特征之间的动态交互和互补。因此，本文旨在构建 UGMFT 用于 HSI 和 LiDAR/SAR 的联合分类，利用模糊逻辑对特征不确定性和非线性特征融合进行建模，从而增强复杂场景下的特征判别和融合能力。

• •
  本文提出了一种具有多模态数据适应性的 UGMFT 框架，将模糊逻辑引入 Transformer 的特征学习和多模态融合过程。与仅在局部注意力或特征交互中进行模糊调整的现有方法不同，UGMFT 通过模糊隶属度建立特征归属关系，并指导 HSI 与 LiDAR/SAR 特征的自适应融合，从而提高了不同多模态数据组合下的适应性和鲁棒性。
• •
  设计了一个 FGT 模块。它通过模糊隶属度对特征归属关系进行建模，使每个像素对应多个具有不同隶属度的类别，从而准确表征混合像素和边界区域的不确定性。
• •
  我们提出了一种 FGFF 模块，采用模糊推理机制自适应地建模多模态特征之间的复杂不确定性。它将不同特征有效映射到模糊空间，并通过隶属函数表征特征的不确定性。

本文的其余部分组织如下。第 2 节介绍了相关工作。第 3 节描述了 UGMFT 方法。实验结果展示在第 4 节。最后，第 5 节得出结论。

章节摘要

高光谱与 LiDAR/SAR 分类

HSI 能够捕捉地表材料丰富的光谱信息，并揭示不同物体成分的细微差异。然而，在区分具有相似光谱响应的地面物体（例如屋顶和混凝土地面）时，其分类性能往往受限。在这种情况下，整合 LiDAR/SAR 提供的高程信息可以有效弥补高光谱数据的局限性。因此，HSI 与 LiDAR/SAR 的联合分类

总体框架

提出的 UGMFT 模型的整体框架如图 2 所示。首先，HSI 和 LiDAR/SAR 数据被输入多模态卷积网络 (MM-CNN) 进行特征提取。接下来，模糊引导 Transformer (FGT) 使用模糊隶属度量化像素与类别之间的隶属关系。提取的特征随后由模糊引导特征融合 (FGFF) 模块处理，该模块利用模糊推理机制建模不确定性

数据集描述

Houston2013：在休斯顿大学校园及周边收集，包含 $345\times 1905$ 个像素，144 个波段，15 个类别，总共有 15,029 个样本。

MUUFL：在南密西西比大学长 Beach 高尔夫公园校区收集，包含 $325\times 220$ 个像素，64 个波段，11 个类别，总共有 53,687 个样本。

Trento：在意大利特伦托南部收集，包含 $166\times 600$ 个像素，63 个波段，6 个类别，总共有 30,214 个样本。

Augsburg：在奥格斯堡收集，

结论

本文提出了一种不确定性引导的多模态融合 Transformer (UGMFT)，用于 HSI 和 LiDAR/SAR 多模态遥感数据的联合分类。UGMFT 通过建模模态内和跨模态的不确定性，将模糊逻辑引入特征学习和多模态融合，从而增强了模型适应混合像素、边界区域和不同多模态数据组合的能力。实验结果表明，所提出的方法优于现有的

CRediT 作者贡献声明

楚永合：写作 – 审查与编辑，写作 – 初稿，方法论，形式分析，概念化。 王驰：软件，方法论，概念化。 彭江涛：写作 – 审查与编辑，调查，数据管理。 丁维平：写作 – 审查与编辑，验证，调查。 李鹏：写作 – 审查与编辑，验证，监督，资金获取。

竞争利益声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本论文报告的工作。

致谢

这项工作部分得到了 中国国家重点研发计划（授予编号 2024YFE0202700）、中国国家自然科学基金重点项目（授予编号 62576178、62206087、42471417 和 U2433216）、江苏省自然科学基金（授予编号 BK20231337）、教育部粮情信息处理与控制重点实验室（授予编号 KFJJ2024018）以及部分来自 中国科学院科技创新项目 的支持

楚永合 | 王驰 | 彭江涛 | 丁维平 | 李鹏