《International Journal of Applied Earth Observation and Geoinformation》:Seeing through the noise: A cross-modal guided framework for hyperspectral image classification under multi-type degradations
编辑推荐:
本研究针对多模态遥感数据在复杂噪声环境下分类性能下降的难题,提出了一种基于跨模态对比学习的噪声鲁棒分类框架。该框架通过引入多尺度特征提取、跨模态特征融合和超图混合增强等创新模块,有效提升了高光谱与LiDAR数据在多种噪声干扰下的分类精度。实验结果表明,该方法在MUUFL、Augsburg和Trento三个公开数据集上均显著优于现有方法,为遥感地物分类的实际应用提供了重要技术支撑。
随着遥感技术的快速发展,高光谱图像(HSI)和激光雷达(LiDAR)等多模态数据已成为对地观测领域的重要信息源。然而,在实际应用中,传感器噪声、大气扰动和设备老化等因素会导致获取的数据存在多种类型的退化,严重影响了地物分类的准确性。传统多模态分类方法在面对复杂的噪声干扰时往往表现不佳,如何提升模型在噪声环境下的鲁棒性成为当前研究的重点难点。
针对这一挑战,本研究提出了一种创新的噪声鲁棒多模态分类框架MS2CANet。该研究首次将跨模态对比学习机制引入多模态遥感分类任务,通过设计多尺度特征提取模块、跨模态特征融合模块和超图混合增强模块,构建了一个端到端的噪声鲁棒分类系统。
研究采用的技术方法主要包括:基于卷积神经网络和多头自注意力机制的多尺度特征提取,通过跨模态特征融合模块实现HSI和LiDAR特征的深度交互,利用超图混合增强技术提升模型对噪声的适应能力,并采用混合对比损失函数优化训练过程。实验数据来源于MUUFL、Augsburg和Trento三个公开多模态遥感数据集。
多尺度特征提取:研究通过堆叠卷积层和自注意力机制,分别从HSI和LiDAR数据中提取具有判别性的多尺度特征表示。该方法能够有效捕获不同尺度下的地物特征,为后续的跨模态融合奠定基础。
跨模态特征融合:设计了一种新颖的跨模态特征融合模块,通过特征拼接和1×1卷积操作实现HSI和LiDAR特征的深度交互。该模块能够充分利用两种模态的互补信息,提升特征的判别能力。
超图混合增强:创新性地提出了超图混合增强技术,通过对特征统计量进行混合扰动,生成更具挑战性的训练样本。该方法显著提升了模型在面对未知噪声类型时的泛化能力。
混合对比损失优化:结合分类损失和对比损失构建混合优化目标,通过动态权重调整机制平衡两种损失函数的贡献,确保模型在保持分类性能的同时增强特征表示的鲁棒性。
研究在MUUFL、Augsburg和Trento三个数据集上进行了系统验证,涵盖了加性高斯噪声、条纹噪声、模糊噪声等七种常见噪声类型。实验结果表明,MS2CANet在大多数噪声场景下均取得了最优性能。特别是在MUUFL数据集上,该方法的总体分类精度(OA)达到94.20%,相比基线方法提升超过14个百分点。在Augsburg和Trento数据集上同样表现出色,验证了方法的普适性和有效性。
进一步的分析显示,该方法在处理不同类型噪声时都保持了稳定的性能表现。对于加性高斯噪声,分类精度达到85.55%;对于条纹噪声,精度为90.51%;即使在最具挑战性的泊松噪声环境下,仍能保持87.57%的分类精度。这些结果充分证明了该方法在复杂噪声环境下的强大鲁棒性。
研究的另一个重要发现是超图混合增强模块的有效性。该模块通过扰动特征的均值和协方差统计量,模拟了真实场景中可能出现的各种噪声模式,使模型在训练过程中学习到更加鲁棒的特征表示。消融实验证实,该模块对提升模型性能贡献显著。
本研究的意义在于为多模态遥感数据的噪声鲁棒分类提供了新的解决方案。所提出的跨模态对比学习框架不仅有效提升了分类精度,更重要的是增强了模型在复杂噪声环境下的稳定性。这一成果对推动遥感技术在实际应用中的落地具有重要意义,特别是在军事侦察、环境监测、精准农业等对数据可靠性要求极高的领域。
论文提出的方法具有较好的通用性,可扩展应用于其他多模态数据分类任务。未来工作将重点探索更高效的噪声建模方法和更强大的特征表示学习技术,进一步提升多模态遥感数据处理的智能化水平。该研究成果为遥感图像处理领域的发展提供了新的思路和技术路径。