MCEF:一种用于高光谱和激光雷达数据分类的多尺度对比增强融合网络
《Information Fusion》:MCEF: Multiscale contrastive enhanced fusion network for hyperspectral and LiDAR data classification
【字体:
大
中
小
】
时间:2026年08月29日
来源:Information Fusion 17.4
编辑推荐:
•CMDE 增强了跨模态差异,以突出互补性差异。
•MTF 模块将局部 CNN 特征与全局变压器上下文融合在一起。
•CMCL 模块通过对比学习提高了区分度。
•MCEF 在性能上优于现有最佳方法(SOTA),并且消融研究验证了每个模块的贡献。
引言
随着多样化的地球观测平台和
•CMDE 增强了跨模态差异,以突出互补性差异。
•MTF 模块将局部 CNN 特征与全局变压器上下文融合在一起。
•CMCL 模块通过对比学习提高了区分度。
•MCEF 在性能上优于现有最佳方法(SOTA),并且消融研究验证了每个模块的贡献。
引言
随着多样化的地球观测平台和遥感(RS)传感器的日益普及,能够在相同的地理区域内同时收集具有互补特征的多源 RS 数据。高光谱传感器通过众多连续的、窄光谱通道获取数据,从而生成高光谱图像(HSI),这些图像不仅传达了空间细节,还包含了详细的光谱特征[1]。相比之下,激光雷达系统可以提供精确的三维结构和高度数据,这有助于区分具有类似光谱特征但垂直剖面不同的土地覆盖类型[2]。Hong 等人[3]系统地量化了将 HSI 与激光雷达数据集成用于土地利用和土地覆盖(LULC)制图的优点,提供了它们协同效应的实际证据。这种集成方法已在矿物勘探[4]、土地覆盖监测[5]、城市研究[6]、海岸线制图[7]和异常识别[8]等多个领域得到应用。
早期的 HSI 和 HSI-LIDAR 分类研究主要依赖传统的机器学习方法。Melgani 和 Bruzzone[9]研究了用于基于光谱分类的支持向量机(SVMs)。Ham 等人[10]探索了随机森林(RFs)在高维 HSI 分析中的应用,而 Bandos 等人[11]引入了线性判别分析(LDA)进行特征投影,Li 等人[12]应用了极值学习机(ELMs)来提高分类效率。为了结合激光雷达信息,Ghamisi 等人[13]从 PCA 转换后的 HSI 和激光雷达衍生的数字表面模型中提取了形态特征。Colgan 等人[14]提出了一种两级支持向量机分类器,专门用于通过联合利用 HSI 和激光雷达数据进行树种分类。然而,这些方法仍然依赖于手动特征设计,非线性建模能力有限[15],并且鲁棒性和可扩展性也有限。
深度学习已经将卷积神经网络(CNNs)确立为 HSI 和激光雷达数据联合分类的主要方法[16]。基于深度 CNN 在大规模视觉识别中的有效性,后续研究提出了多种专用架构。例如,Hang 等人[17]引入了一种具有部分共享卷积参数的双分支 CNN 架构,以增强跨模态一致性。Zhang 等人[18]提出了 PToP-CNN,利用三塔设计来实现来自两种数据源的多尺度特征的层次对齐。其他贡献还包括 Shi 等人[19]的 GFSFN,用于跨层次和跨模态融合,以及 Zhao 等人[20]的 FGCN,以增强复杂土地覆盖结构的区分能力。然而,这些基于 CNN 的方法的一个根本限制在于它们的局部感受野,这阻碍了对长距离依赖性和更广泛上下文交互的有效建模。
为了解决卷积架构中的这些限制,基于自注意力的变压器模型已成为遥感图像分析中的一个新兴且有影响力的趋势。Hong 等人[21]率先将变压器网络引入 HSI 分类,通过建模序列光谱依赖性来实现这一点。随后,Song 等人[22]提出了 SSDAN 用于空间-频率融合,Xiao 等人[23]引入了带有小波可逆模块的 SINet 以实现全局-局部互补性。更近期,Song 等人[24]提出了 ASSR-Net,用于各向异性结构感知和光谱重新校准的 HSI 融合,而 Song 等人[25]提出了 MDAF-Net,这是一种多域自适应融合网络,集成了多尺度特征提取、空间通道交互和频率感知融合,用于 HSI-LIDAR 联合分类。尽管如此,开发一个能够有效整合全局和局部特征以进行 HSI-LIDAR 分类的轻量级框架仍然是一个未解决的研究问题。
尽管在多模态融合和全局上下文建模方面取得了显著进展,但联合分类高光谱和激光雷达数据集的任务仍然面临许多关键问题:
(1) 显著的模态异质性和不足的跨模态互补增强:由于 HSI 和激光雷达基于不同的成像原理,它们位于不同的特征空间中,导致显著的模态差异。直接融合很容易引入语义冲突,从而限制了分类性能。此外,大多数现有方法依赖于简单的特征拼接或逐元素操作,缺乏有效的机制来增强两种模态之间的互补信息。它们无法放大跨模态差异较大的区域,因此未能充分利用它们的协同潜力。
(2) 局部特征与全局特征之间的不平衡以及多尺度感知能力较弱:变压器缺乏对空间局部性的内在归纳偏见,这限制了它们相对于 CNN 捕获细粒度局部信息的能力。相比之下,传统 CNN 由于其局部感受野的限制,在空间范围内操作,使得它们无法捕获广泛的上下文关系。这一限制因遥感图像中对象的显著多尺度特征而进一步加剧。当前方法在充分表示和融合不同尺度特征方面往往不足,导致对不同大小地面目标的适应能力不佳。
(3) 特征区分度和模态不变性不足:传统的监督学习框架主要依赖标签监督,缺乏明确机制来规范来自不同模态的特征分布。结果,来自不同模态的语义相似样本(即同一类别)的潜在表示可能会分散,这降低了特征区分度,削弱了模型的泛化能力,并阻碍了跨模态一致表示的实现。
针对这些限制,本文提出了一个多尺度对比增强融合(MCEF)网络。我们方法的主要创新点如下:
(1) 我们设计了一个跨模态差异增强(CMDE)模块。与传统对齐方法不同,该模块计算两种模态特征之间的绝对差异,并为两种模态添加了一个门控非负偏见。因此,具有较大模态差异的区域获得更大的特征幅度,这增强了网络对互补跨模态信息的关注,同时保留了每种模态的独特特征。
(2) 我们构建了一个多尺度变压器融合(MTF)模块。该模块在 CNN 提取的局部特征基础上,结合了变压器的全局建模能力。利用多尺度金字塔结构和跨模态自注意力,实现了局部细节和全局上下文信息的有效融合。
(3) 集成了一个跨模态对比学习(CMCL)模块。它根据标签语义构建对比对,并在特征空间中施加明确的约束。这些约束的目的是减少具有相同类别标签的跨模态特征之间的距离,同时增加不同类别特征之间的距离。这种优化显著提高了特征区分度和跨模态的不变性。
(4) 我们在三个标准基准数据集上评估了所提出的 MCEF 框架,其性能在所有分类指标上均优于现有方法。全面的消融研究证实了该框架的整体有效性,并验证了每个组成模块的贡献。
对比学习
对比学习通过基于样本对的相似性和差异性来派生有意义的表示,这在监督受限的情况下特别有效[26]。它在计算机视觉中具有广泛的应用,特别是在难以进行详尽注释的遥感分析中非常有益。这种方法的一个关键优势是它能够通过将异构数据映射到统一的潜在空间中来对齐多模态特征,从而提高了整体性能。
图 1 展示了所提出的双模态融合网络的总体架构。该框架旨在通过结合特征对齐和对比学习来实现精确的土地覆盖分类。它同时处理 HSI 和激光雷达数据。在初始特征对齐阶段,两种模态输入通过独立的多层卷积分支进行处理,以提取各自的特征。随后,这些特征由 CMDE 处理。
数据集
所提出模型的性能在三个常用的 HSI-LIDAR 基准数据集上进行了评估:Houston2013、Trento 和 MUUFL。以下部分简要介绍了这些数据集:
Houston2013 捕捉了休斯顿大学校园及其相邻的城区。它提供了 144 个波段的高光谱图像(0.38–1.05 μm,2.5 米)和由激光雷达生成的数字表面模型(DSM)。该场景为 349 × 1905 像素,包含 15 种城市土地覆盖类型。
Trento 描述了意大利特伦托附近的一个农村地区。它包含 63 个波段的高光谱图像。
结论
本研究介绍了用于 HSI-LIDAR 联合分类的 MCEF 网络,该网络围绕三个模块——CMDE、CMCL 和 MTF——来解决模态异质性、特征区分度和多尺度上下文建模问题。在三个基准数据集上的实验表明,MCEF 在性能上优于现有最佳方法,尤其是在复杂场景和细粒度类别上,证实了其在利用跨模态互补信息方面的有效性。
作者贡献声明
Ziqi Li:概念化、资金获取、方法论、项目管理、资源管理、监督、写作 - 审阅与编辑。
Yu Yan:数据整理、形式化分析、调查、软件开发、验证、可视化、写作 - 初稿。
Yonghong Zhang:资金获取、项目管理、资源管理。
Tianyang Xu:监督。
数据可用性
该实现的代码将发布在作者的项目网页上(https://github.com/li-zi-qi/MCEF)。
声明利益冲突
作者确认他们没有可能影响本文发现的财务冲突或个人关系。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号