基于Sentinel-2影像与多模态深度学习的红树林物种精细分类方法MSMNet研究

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：A Multimodal Remote Sensing Method for Mangrove Species Classification Based on Sentinel-2 Imagery

本文针对潮间带红树林物种遥感分类中存在的谱间相似性高、空间异质性强、冠层结构复杂等难题，提出了一种专用于红树林物种精细分类的多模态深度学习模型MSMNet。该模型融合Sentinel-2多光谱影像的形态纹理、植被生理（NDVI）和光谱特征（BAND）三大模态，通过多特征融合模块（MFFM）和多尺度融合模块（MSFM）实现跨模态自适应加权与多尺度特征聚合。实验结果表明，MSMNet在红树林物种分类任务中取得了73.80% mIoU、84.47% F1分数和99.37%总体精度的优异性能，显著优于现有主流方法，为红树林生态系统精准监测提供了高效解决方案。

　　

在广袤的海岸线上，红树林如同忠诚的卫士，守护着陆地与海洋的交界地带。它们不仅能够抵御风浪、净化污染、调节气候，还为众多海洋生物提供了至关重要的栖息地和繁殖场所。然而，这些宝贵的生态系统正面临着海平面上升、围垦养殖、基础设施建设等多重威胁，导致其面积萎缩、生物多样性下降、生态功能退化。准确掌握不同红树林物种的空间分布，是进行生态修复和功能提升的必要前提。

传统的红树林监测主要依靠野外调查，耗时费力且难以覆盖大面积区域。随着遥感技术的发展，特别是Sentinel-2等免费开放的中分辨率卫星影像的出现，为大范围、高频次的红树林监测提供了可能。Sentinel-2影像具有10米空间分辨率、包含红边波段等优势，在全球红树林研究中显示出巨大潜力。然而，红树林物种遥感分类却面临着严峻挑战：不同物种间光谱特征相似（谱间相似性），而同一种类在不同生长环境下光谱响应又存在差异（谱内变异性）；红树林通常呈斑块状、混合生长模式，冠层结构复杂，枝叶交错、相互遮挡，导致遥感影像中存在大量的阴影区和光谱混合现象；潮汐 dynamics 使得红树林的生长环境动态复杂，进一步增加了分类难度。这些因素常常导致分类错误和物种边界模糊，限制了红树林物种精细制图的精度。

为了突破这些瓶颈，研究人员开始探索将计算机视觉和深度学习技术应用于红树林遥感解译。深度学习模型能够自动学习复杂的光谱-空间特征，但其在红树林物种分类，特别是相似物种区分方面的应用仍相对有限。现有的方法大多基于高分辨率卫星影像或无人机高光谱数据，难以满足大范围、长时序、高频次连续监测的需求。主流的卷积神经网络（CNN）模型由于感受野有限，难以建模长程空间依赖关系；而基于Transformer的方法在处理复杂遮挡条件下的语义信息关联时仍存在困难，在冠层多层交织的情况下，像素级分类结果容易出现边缘模糊和局部错分。尽管基于状态空间模型的Mamba在序列建模上具有线性复杂度优势，但在处理高度异质性的二维红树林冠层空间特征时，其捕捉多方向、非均匀分布特征的能力仍有局限。

针对上述问题，来自广州大学地理与遥感学院的袁海伟、王世宽和龚建周在《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》上发表了一项研究，提出了一种名为MSMNet的专用于红树林物种精细分类的多模态深度学习模型。该研究旨在通过融合多模态遥感特征和设计专门的深度学习架构，实现对红树林物种更精准、更鲁棒的分类识别。

为了开展这项研究，作者们主要运用了几项关键技术方法。研究区域选定为广东省湛江市沿海红树林国家级自然保护区，利用Google Earth Engine（GEE）平台对2020年度的Sentinel-2 MSI Level-2A地表反射率数据进行预处理，包括云掩膜、波段重采样至10米分辨率以及年度中值合成，生成了覆盖湛江海岸线2公里缓冲区的多光谱影像。训练数据集源自2020年中国红树林物种空间分布数据集，通过滑动窗口（256x256像素，步长64）生成7122个样本对，包含RGB真彩色影像、波段组合（B7-B11）影像和归一化植被指数（NDVI）影像三种模态。MSMNet模型的核心架构包含三个并行的特征提取分支：RGB分支基于ResNet50提取形态纹理特征；NDVI分支基于Mamba状态空间模块建模植被生理活性的长程依赖；BAND分支利用小波变换（Wavelet Transform）提取光谱特征的频域多尺度细节。模型还设计了多特征融合模块（MFFM）实现跨模态特征的动态加权融合，以及多尺度融合模块（MSFM） inspired by FPN（特征金字塔网络）进行跨尺度特征聚合，其中包含融合注意力机制（FAM）来优化通道和空间注意力。

研究结果

1. 1.
   模型性能比较
   在与多种主流语义分割模型的对比实验中，MSMNet展现了全面领先的性能。当使用NDVI+RGB+BAND多模态数据时，MSMNet取得了73.80%的平均交并比（mIoU）、84.47%的平均F1分数（MeanF1）和99.37%的总体精度（OA），所有指标均显著优于其他对比模型。与第二名模型UM2Former相比，mIoU提升了2.25%，MeanF1提升了1.59%，OA提升了0.06%。特别是在关键红树林物种如红海榄（Rhizophora stylosa）的分类上，MSMNet取得了4.06%的精度提升。可视化结果也表明，MSMNet在保持小斑块完整性、边界清晰度和对复杂生境的适应性方面均优于其他方法，能有效减少噪声和块状伪影，产生更精细的分类图。
2. 2.
   多模态协作的有效性
   消融实验验证了多分支架构的必要性。当仅使用RGB分支（ResNet）时，模型性能（mIoU 66.94%）显著低于完整模型。逐步加入基于小波变换的BAND分支（ResNet+DWT， mIoU 65.18%）和基于Mamba的NDVI分支（ResNet+Mamba， mIoU 71.44%）后，性能逐步提升。完整的MSMNet（ResNet+DWT+Mamba）实现了最佳性能（mIoU 73.80%），证明RGB（形态纹理）、NDVI（生理活力）和BAND（光谱特征）三种模态的信息是互补的，它们的协同作用对于提升红树林物种分类精度至关重要。热力图可视化显示，完整模型的注意力更集中于具有物种判别性的冠层边缘和结构区域。
3. 3.
   多特征融合模块（MFFM）的有效性
   实验比较了不同的特征融合策略。结果表明，采用通道拼接（Concat）融合的MFFM模块（mIoU 73.80%）优于简单的元素相加（Additive）融合（mIoU 73.44%）。Concat融合能更完整地保留各分支的原始特征信息，为后续学习提供更丰富的判别基础。
4. 4.
   多尺度融合模块（MSFM）中FAM的有效性
   在MSFM模块中引入融合注意力机制（FAM）后，模型mIoU提升了0.88%（从72.92%到73.80%）。FAM通过自适应通道注意力（ACA）、多尺度空间注意力（MSA）和上下文增强（CE）的级联操作，能精确聚焦于对物种区分关键的特征通道和空间区域，特别是在处理红海榄（Kandelia obovata, KO）、桐花树（Aegiceras corniculatum, AC）和白骨壤（Avicennia marina, AM）等关键物种时，IoU值均有明显提升。

研究结论与意义

本研究成功开发了MSMNet模型，该模型通过创新的多分支架构，有效融合了红树林的形态纹理（RGB）、植被生理（NDVI）和光谱特征（BAND）三大模态信息。引入的Mamba模块增强了对NDVI序列长程依赖的建模能力，小波变换则提升了从波段数据中提取多尺度频域特征的能力。动态加权的多特征融合模块（MFFM）和多尺度融合模块（MSFM）确保了跨模态和跨尺度信息的高效整合。

实验结果表明，MSMNet在红树林物种分类任务上达到了领先水平，不仅在整体精度、F1分数和mIoU上显著优于现有方法，而且在边界完整性、小斑块识别和对复杂生境的适应性方面表现出明显优势。这项工作为解决中分辨率遥感影像下红树林物种精细分类的难题提供了一种高效、可靠的多模态深度学习解决方案。

该研究的成功实践，对于推动红树林生态系统精准监测与管理具有重要意义。其成果可应用于本土红树林物种保护、精细化红树林碳库评估以及生态系统功能量化等实践中，为应对气候变化和人类活动压力下的红树林保护与修复提供了有力的技术支撑。尽管该模型在现有数据集上表现出色，但作者也指出，未来需要构建更具时空代表性的多源样本库，并整合时序遥感数据和动态生长特征，以进一步提升模型在更大区域尺度的适用性和生态学合理性。