基于Mamba的多层级类别感知网络（MMC-Net）用于全色与多光谱融合分类

《International Journal of Applied Earth Observation and Geoinformation》：MMC-Net: Mamba-based multi-level class-aware network for panchromatic and multispectral fusion classification

　　

针对多源遥感（RS）图像融合分类中存在的模态错位与特征选择偏差问题，研究人员提出了一种基于Mamba的多层级类别感知网络（MMC-Net）。该网络包含渐进式融合特征学习（PFFL）模块与多分支类别感知分类（MBCAC）模块。PFFL模块由全色（PAN）与多光谱（MS）空间-光谱Mamba（S2Mamba）以及融合Mamba（FMamba）组成，其中S2Mamba通过专用空间与光谱分支选择性捕获源内特征，并引入特征重建模块（FRM）抑制特征冗余；FMamba通过通道交换与融合状态空间模型（Fusion SSM）操作促进跨源交互，缓解源间差异。MBCAC模块采用可学习的锐度参数，通过类别感知空间Softmax保留位置相关信息，避免全局池化造成的空间判别性退化，有效处理类别不平衡与地理异质性。在南京、西安、上海三个数据集上的实验表明，MMC-Net取得了最优结果，并在Houston2013数据集上验证了其跨源鲁棒性。研究人员还通过消融实验、效率分析和与Transformer变体的对比，证明了该网络在精度与计算开销之间的良好平衡。

基于Mamba的多层级类别感知网络（MMC-Net）用于全色与多光谱融合分类的论文解读

一、研究背景与问题

随着遥感（RS）卫星技术的快速发展，全色（PAN）图像具有高空间分辨率但缺乏光谱信息，而多光谱（MS）图像光谱丰富但空间分辨率较低。单一数据源受结构限制难以提供完整信息，多源融合技术通过整合互补数据实现综合分析，在分类、生态系统服务预测、精准农业和灾害管理等领域具有重要应用价值。近年来，基于深度学习的融合分类方法主要依赖卷积神经网络（CNN）和Transformer。然而，现有研究面临两个关键挑战：一是异质源之间的模态错位与特征选择偏差，导致空间与语义不一致；二是常用的全局平均池化忽视地理异质性，造成空间判别性下降，尤其影响复杂边界区域和小尺度地物的分类。Mamba架构凭借选择性扫描机制与线性复杂度，为多源遥感任务中的全局建模提供了新范式。为此，研究人员提出MMC-Net，旨在解决PAN与MS融合分类中的上述问题。

二、研究内容与主要结论

研究人员设计了一种新颖的Mamba框架MMC-Net，其核心包含两个模块：渐进式融合特征学习（PFFL）模块和多分支类别感知分类（MBCAC）模块。PFFL模块内，PAN和MS空间-光谱Mamba（S2Mamba）采用并行空间与光谱分支捕获源内特征，并通过特征重建模块（FRM）抑制冗余；融合Mamba（FMamba）则通过通道交换和融合状态空间模型（Fusion SSM）实现跨源交互。MBCAC模块使用可学习的锐度参数和类别感知空间Softmax，替代传统全局池化，保留位置相关信息。研究人员在南京、西安、上海三个由高分二号卫星获取的PAN/MS融合分类数据集上进行了系统实验，并在Houston2013高光谱与LiDAR数据集上验证了模型的源无关性。结果表明，MMC-Net在所有数据集上均取得最优的整体精度（OA）、平均精度（AA）、Kappa系数和平均交并比（mIoU），且有效改善了复杂地物边界和小目标分类效果。消融实验证实了各组件（S2Mamba、FMamba、FRM、MBCAC）的贡献；与Transformer变体相比，MMC-Net在相近参数下推理时间大幅降低；效率分析显示三个层级计算成本均衡。该研究为多源遥感融合分类提供了高效且鲁棒的解决方案，尤其适用于精细地物解译与大规模应用。

三、关键技术方法

研究人员采用的主要技术方法包括：①基于Mamba的状态空间模型（SSM），通过选择性扫描实现线性复杂度的全局建模；②空间-光谱双分支嵌入（Spatial and Spectral Embedding），将三维特征转换为二维序列，分别用空间Mamba和光谱Mamba处理；③特征重建模块（FRM），利用层归一化（LN）中的缩放因子γ评估特征维度信息量，通过门控机制和交叉重建抑制冗余；④融合Mamba（FMamba），采用共享状态转移矩阵A的Fusion SSM实现跨源深度融合；⑤多分支类别感知分类（MBCAC），使用可学习锐度参数α的类别感知空间Softmax生成动态池化权重。实验涉及三个PAN/MS数据集（南京、西安、上海，均来自2015年高分二号卫星，MS为8米分辨率4波段，PAN为2米分辨率）和Houston2013源无关验证数据集（144波段HSI与LiDAR，2.5米分辨率）。所有实验采用Adam优化器训练20轮，初始学习率0.001，批大小20，在NVIDIA GeForce RTX 4090上完成。

四、研究结果

1. 超参数选择实验：通过调整MBCAC中的λ和FRM中的门控阈值g，发现λ=0.25（南京/西安）或0.3（上海）以及g=0.5时模型性能最优，表明平衡全局与类别感知特征、以及信息丰富与贫乏序列的比例至关重要。

2. 模块对比实验：在南京数据集上，与同质架构（仅PAN或仅MS分支）及反向结构（交换PAN和MS分支的块）相比，MMC-Net的异质设计有效解耦空间与光谱特征，降低分支间冗余（余弦相似度更低）。FMamba中共享状态转移矩阵A显著优于独立A，验证了共享基础对跨源依赖建模的有效性。MBCAC相比传统全局平均池化提升OA 0.68%，而固定参数版本下降1.30%，说明可学习锐度参数的重要性。

3. 消融实验：三个数据集上，逐步加入FMamba和MBCAC均带来一致的性能提升；去除FRM后性能显著下降（例如南京OA从81.64%降至78.44%），证实了FRM在抑制冗余和增强表示方面的关键作用。

4. 计算效率分析：逐阶段时间分解显示，三个层级耗时相近（各约27-28%），MBCAC开销约15-20%，总体前向推理时间在29-31毫秒（批大小1，FP32）范围内，表明层级设计均衡且开销可控。

5. 与Transformer变体对比：在相同参数规模（约7.42M）下，MMC-Net在所有数据集上的OA、AA、Kappa均高于Transformer变体，且推理时间减少约50%（如南京从844.84秒降至387.72秒）。

6. 稳定性分析：在三个数据集上进行5次重复实验，OA标准差均小于0.5%，证明模型在稀疏监督下收敛稳定。

7. 与其他先进方法对比：在南京、西安、上海数据集上与NNCNet、CALC、MFT、CRHFF、ISSP-Net、LOGCAN++、MSFMamba七种方法比较，MMC-Net在所有全局指标上领先，尤其对复杂类（如植被、红顶建筑、密集低层建筑）的IoU提升明显；分类图中边界更清晰、椒盐噪声抑制更好。在Houston2013数据集上，MMC-Net达到93.72% OA和89.07% mIoU，验证了跨源鲁棒性。对于高速公路等窄线状地物，由于patch采样混合背景导致IoU较低，但此问题在所有比较方法中都存在，属于数据固有的限制。

五、讨论与结论

讨论部分指出，PFFL模块通过S2Mamba和FMamba有效实现多级特征交互与跨源对齐，MBCAC模块通过空间Softmax保持位置依赖信息，克服了全局池化的空间判别退化。MMC-Net的成功也表明，共享状态转移矩阵和可学习锐度参数是跨源表示学习的关键设计。研究局限性包括：PAN-MS数据集的建筑分类以屋顶颜色为标准，可能难以泛化到稀疏或小规模区域；PFFL计算成本随输入尺寸增长；MBCAC在类别数极大（如>50类）时可能存在过参数化。未来工作将聚焦轻量化模型结构和计算效率优化。

结论：研究人员提出MMC-Net用于多源遥感融合分类，在三个PAN/MS数据集上的综合实验表明其有效提升地物解译能力。PFFL模块利用S2Mamba进行双路径空间-光谱建模并通过FRM抑制特征冗余，FMamba通过多级交互实现稳健跨源对齐；MBCAC模块采用空间Softmax保留位置相关分类分数，防止全局池化引起的空间判别退化。在Houston2013高光谱与LiDAR数据集上的优异性能明确验证了MMC-Net的源无关鲁棒性，确认其可无缝扩展至不同模态。尽管存在一定局限性，MMC-Net为多源遥感融合分类提供了高效且高精度的解决方案。