基于模态感知对比学习的高光谱与激光雷达数据分类方法研究

针对高光谱图像(HSI)与激光雷达(LiDAR)数据在分类任务中存在模态差异大、特征融合困难的问题，研究人员提出模态感知对比学习框架(MACL)，通过模态对齐样本构建策略和双分支特征提取网络，实现跨模态光谱-空间特征协同优化，在三个公开数据集上取得优于现有方法的分类精度，为多源遥感数据智能解译提供新思路。

　　

随着遥感技术的快速发展，高光谱成像(HSI)和激光雷达(LiDAR)已成为地表观测的"黄金搭档"——前者能捕捉纳米级光谱特征如同给地球做"CT扫描"，后者则像"三维标尺"精确刻画地形起伏。然而这对"最佳拍档"在协同工作时却面临巨大挑战：HSI擅长通过数百个窄波段识别物质成分，LiDAR则精于测量空间高程，两者如同使用不同语言的专家，难以直接交流。传统方法要么简单拼接特征导致信息冗余，要么依赖大量标注数据训练深度模型，在实际应用中捉襟见肘。

针对这一难题，中国的研究团队创新性地将人工智能领域的对比学习(Contrastive Learning)引入多模态遥感分析。他们发现，现有方法忽视了两个关键科学问题：一是HSI和LiDAR对地物的判别能力存在本质差异，比如沥青路面和屋顶在LiDAR中高度相似但光谱迥异；二是跨模态特征缺乏深度语义对齐。为此，团队提出模态感知对比学习框架(MACL)，其核心思想是"因材施教"——让每种数据在其优势领域发挥作用，再通过智能融合实现优势互补。

研究采用三大关键技术：首先设计模态对齐样本构建策略，在光谱域构建以LiDAR为锚点的正负样本对，在空间域则以HSI为基准，形成跨模态增强的对比学习信号；其次搭建双分支网络，分别采用光谱分支(含通道注意力模块)和空间分支(含空间注意力模块)进行特征提取；最后开发多模态注意力特征融合(MAFF)模块，通过交叉注意力机制动态整合异构特征。实验选用MUUFL、Trento和Houston2013三个国际公开数据集，结果显示MACL的总体分类精度(OA)最高提升5.2%，特别是在阴影区域等困难场景表现突出。

Modal-aligned sample pairs construction
通过分析HSI和LiDAR的物理特性，提出"光谱域以LiDAR为参照，空间域以HSI为基础"的样本构建原则。例如在光谱分支中，将相同高程但不同材质的地物作为负样本，迫使网络关注光谱差异；在空间分支则保持光谱一致但空间结构变化，强化几何特征学习。

Spectral-spatial dual branches feature extraction
采用对称网络架构，光谱分支使用3D卷积提取光谱特征，嵌入通道注意力模块(Channel Attention Module)聚焦判别性波段；空间分支采用2D卷积配合空间注意力模块(Spatial Attention Module)，突出关键地形特征。通过InfoNCE损失函数实现特征空间的对齐与解耦。

Multimodal attentional feature fusion
设计级联式特征融合结构，先通过交叉注意力计算模态间特征相关性，再采用门控机制自适应加权。相比传统拼接或相加操作，MAFF模块使特征交互效率提升37%，参数量减少21%。

这项研究开创性地将自监督学习引入多模态遥感领域，其提出的模态对齐策略为异构数据融合提供新范式。实际应用中，仅需少量标注数据微调即可达到监督学习效果，极大降低人工标注成本。论文成果发表在计算机视觉领域权威期刊《Image and Vision Computing》上，开源代码已获400+星标关注。研究团队特别指出，该方法可扩展至SAR光学等多源数据融合，未来将在智慧城市、灾害监测等领域发挥重要作用。值得注意的是，MACL框架对传感器配准误差较为敏感，后续将结合几何校正算法进一步优化，这也是团队正在攻关的方向。