基于SwinV2-FPN-SAFM Mask R-CNN的遥感影像滑坡实例分割方法研究

《Remote Sensing》：Landslide Instance Segmentation from Remote Sensing Imagery Using a SwinV2–FPN Mask R-CNN with Spatially Adaptive Feature Modulation

　　

滑坡编目制图可为山区灾害应急响应与危险性评估提供支撑。由于复杂山地环境中滑坡尺度多变、形态不规则以及与视觉相似背景的干扰，单个滑坡的准确识别与轮廓勾画仍具挑战性。为解决上述难题，本研究对Mask R-CNN的特征通路与掩膜监督进行了改进。将ResNet50替换为SwinV2-Tiny以实现层次化特征提取，同时保留特征金字塔网络（Feature Pyramid Network, FPN）进行多尺度融合。在FPN之后引入空间自适应特征调制（Spatially Adaptive Feature Modulation, SAFM），利用局部特征与更广泛的上下文信息调整空间响应。结合二值交叉熵（Binary Cross-Entropy, BCE）与Dice损失共同监督像素级前景-背景判别与实例掩膜重叠。本研究采用来自毕节、多样化山地滑坡数据集（Diverse Mountainous Landslide Dataset, DMLD）与ScienceDB的影像组合数据集进行训练、验证与内部测试。所有配置均采用通用对象上下文（Common Objects in Context, COCO）实例掩膜协议进行评估。在三种训练种子下，SwinV2-FPN-SAFM Mask R-CNN在内部测试集上的平均精度（Average Precision, AP）达到0.586（均值±样本标准差）。其平均掩膜AP分别超过ResNet50-FPN Mask R-CNN与Mask2Former-Swin-T达6.21和3.51个百分点，并在十种评估配置中获得最高平均掩膜AP。消融实验表明，加入SAFM与BCE-Dice后平均掩膜AP有小幅正向增量，但其增量效益仍具不确定性。较高的平均掩膜AP表明，该方法在内部测试集上识别滑坡实例及其轮廓勾画的整体性能得到提升。所生成的实例掩膜可辅助复杂山地环境下的编目编制与灾后制图工作。

研究背景与问题

滑坡威胁山区社区与基础设施，及时获取其位置与范围信息对灾害评估与恢复至关重要。光学遥感为记录受灾地形提供了实用手段，包括难以实地进入的区域。由影像导出的滑坡编目记录了斜坡失稳的分布与几何形态，并为后续危险性分析提供支撑。然而，由于滑坡尺寸各异、轮廓不规则，且可能与周围地表特征相似，准确勾画仍十分困难。现有研究方法包括目视解译、面向对象影像分析与深度学习方法。其中，实例分割能为每个检测到的目标生成独立掩膜，满足需单独记录相邻滑坡体的编目需求。Mask R-CNN为此任务提供了广泛使用的框架，结合了目标定位与像素级勾画。近期研究已将Mask R-CNN拓展至震后光学影像、干涉合成孔径雷达形变产品及含地理信息的降雨诱发滑坡等场景。针对单个滑坡掩膜，局部图像细节对描述不规则形状至关重要，而周围上下文有助于区分滑坡与视觉相似的背景。这些因素促使研究人员对Mask R-CNN的特征通路进行改造，以结合多尺度表征与空间自适应精炼，并考察此改造配合联合掩膜监督能否改善复杂山地环境下单个滑坡的识别与勾画效果。

研究内容与意义

研究人员开发了一种SwinV2-FPN-SAFM Mask R-CNN，通过改造两阶段框架的特征通路与掩膜监督来实现改进。层次化的SwinV2特征经由保留的特征金字塔网络（FPN）实现跨尺度融合。随后，基于空间自适应特征调制（SAFM）的模块对融合后的FPN特征施加分组空间调制与通道混合，再进行实例预测。训练过程中，二值交叉熵（BCE）与Dice损失相结合，兼顾像素级前景-背景判别与实例掩膜重叠。本研究的贡献在于将已有的SwinV2、SAFM与基于Dice的监督策略进行针对性组合与适配，以改善滑坡实例分割，并通过模型比较与组件消融进行评估。在内部测试集上，完整框架取得了六种模型中最高平均掩膜AP，超出ResNet50-FPN基线6.21个百分点、超出最强对比模型Mask2Former-Swin-T 3.51个百分点。精度-召回率结果表明，完整模型在实例恢复与预测正确性两方面均有提升。消融实验显示，骨干替换带来了最大的平均掩膜AP增幅，而SAFM与BCE-Dice的增量增益较小且仍具不确定性。定性比较表明，完整模型能更好地保留滑坡延伸区域与不规则部位，同时减少部分背景误检。北海道震后场景的应用为该框架在评估场景中的适用性及其支持灾后滑坡制图的潜力提供了初步证据。

关键技术方法

研究人员采用了以下主要技术方法：以SwinV2-Tiny替换ResNet50作为骨干网络，从输入图像提取四阶段层次化特征（通道数分别为96、192、384、768，步长分别为4、8、16、32）；保留FPN通过侧向投影与自上而下相加将各层特征对齐至256通道并实现跨尺度融合；在FPN后的P₂~P₄层级上应用四个独立参数化的SAFM模块，每组将特征分为四个通道组，分别采用池化因子1、2、4、8进行自适应最大池化、深度可分离卷积与GELU激活后经最近邻插值恢复至输入尺寸，各组乘以自身调制图后拼接并经1×1卷积混合，实现同层内空间特征调制；采用BCE与Dice损失的加权组合监督掩膜分支，其中BCE负责逐像素前景-背景分类，Dice衡量预测掩膜与参考掩膜的整体重叠程度。数据集方面，研究整合了毕节滑坡数据集（TripleSat影像，地面采样距离0.8 m/像素）、多样化山地滑坡数据集（DMLD，1 m/像素）以及ScienceDB四川及周边区域滑坡影像（重采样至0.8 m/像素），经裁剪填充生成2435张256×256 RGB影像（含1510个标注实例），按14:3:3比例划分训练/验证/测试子集，并采用感知哈希排除跨子集视觉近似重复项。

研究结果

3.1 主要结果：在六种模型的内部测试集比较中，完整的SwinV2-FPN-SAFM Mask R-CNN获得了最高平均掩膜AP（0.586），超出ResNet50-FPN基线6.21个百分点，超出最强对比模型Mask2Former-Swin-T 3.51个百分点。相比基于YOLOv11-SAFM的对比配置，完整框架平均掩膜AP高出8.59个百分点。完整模型还取得了最高的平均AP₅₀、AP₇₅、AP_S、AP_M与AP_L，其中大型实例的提升最为显著（AP_L较R50提高15.69个百分点）。精度-召回率结果显示，完整模型在固定评估阈值下同时实现了更高的精确率与召回率，反映了实例恢复与预测正确性的双重改善。效率方面，完整模型平均推理时间为23.70毫秒/影像，介于更快的YOLO模型与更慢的Mask2Former之间。

3.2 消融研究：将R50-FPN替换为SwinV2-FPN（BCE损失）使平均掩膜AP提升3.74个百分点。在SwinV2骨干固定条件下，加入SAFM在两种损失下均提升了平均掩膜AP（BCE下提升1.64个百分点，BCE-Dice下提升1.87个百分点）。损失函数变更带来的平均掩膜AP增益较小（无SAFM时0.60个百分点，有SAFM时0.83个百分点）。完整配置的平均掩膜AP超出SwinV2-FPN+BCE达2.47个百分点。在BCE-Dice条件下，SAFM配置的平均AP超出参数匹配的PlainConv控制组1.19个百分点。配对源聚类自助法显示，完整模型相对R50-FPN+BCE的优势获得最强统计支持，而SAFM与BCE-Dice的增量差异区间包含零，其效益仍具不确定性。

3.3 定性比较与误差分析：六组内部验证场景显示，完整模型能恢复被其他模型遗漏的目标，更完整地勾画已检测滑坡的暗色上部延伸区域，并更好地保留不规则形状的侧向分支与凸起部分。同时，完整模型在某些场景中避免了Mask2Former产生的额外背景误检。残差错误案例显示，小型滑坡仍存在遗漏或仅部分覆盖的情况，细长目标的宽度与端点与参考存在偏差，裸露地面与耕作区等背景混淆依然存在。梯度加权类激活映射（Grad-CAM）可视化表明，完整模型的响应沿滑坡体延伸更广，而非集中于局部显著区域。

3.4 北海道震后场景应用：将训练完成的SwinV2-FPN-SAFM Mask R-CNN直接应用于北海道厚真町东部震后影像。在三个选定局部区域，模型识别了宽阔暴露滑坡体、细长体与窄线状体，预测结果与国土地理院（GSI）参考区域的对应关系良好。全区域评估显示，总体像素精度为0.946，精确率为0.832，召回率为0.489，F₁得分为0.616，滑坡类交并比（IoU）为0.446，两类平均IoU为0.697。高精确率表明大多数预测滑坡像素与参考区域一致，较低召回率揭示了大量参考标注滑坡范围的遗漏。阴影地形中的遗漏案例表明，光学影像暗部色彩与纹理线索薄弱是导致遗漏的合理因素。

讨论与结论

讨论指出，完整配置在六种模型中取得最高平均掩膜AP，其在各尺寸类别上的增益及对不规则区域的保留效果，支持了多尺度表征、空间精炼与掩膜监督相结合的思路。消融与自助法结果表明，骨干替换带来了最大的观测掩膜AP提升，而SAFM与BCE-Dice产生了较小的正向平均差异，其增量效益仍具不确定性。预测示例帮助解释了聚合差异在个体场景中的体现方式。对于灾后编目制图的实际意义，独立的实例掩膜允许在编目汇编过程中审阅预测滑坡体的位置、数量与几何形态。精度-效率比较支持在GPU辅助制图中优先考虑整体实例分割性能时使用完整模型。北海道应用将该能力与灾后编目制图相连接，预测结果为人工编目审查提供了候选滑坡轮廓，遗漏区域则需补充解译。局限性包括：精细勾画仍受限于影像细节、视觉对比度与预测掩膜空间分辨率；数据集中缺乏完整地理坐标，无法完全验证地理独立性；仅使用了RGB光学影像，未来可纳入DEM衍生地形属性、SAR观测或多光谱数据；模型性能在不同训练种子间存在变异。结论部分翻译如下：本研究改进了Mask R-CNN在山地地形中应对尺度变化、不规则形态及视觉相似背景干扰时的单个滑坡识别与勾画能力。SwinV2、SAFM与Dice损失均为已有技术，本研究的创新点在于将其针对滑坡实例分割进行任务导向的组合与适配。在内部测试集上，完整模型在三种训练种子下平均AP达到0.586，超出R50与Mask2Former分别达6.21与3.51个百分点，并在主要比较的六种模型中取得最高平均掩膜AP。在SwinV2消融中，加入SAFM在两种掩膜损失下均提高了平均掩膜AP及各类别尺度AP，BCE-Dice在有或无SAFM条件下均增加了平均掩膜AP。这些平均结果支持了用于不同尺寸滑坡实例识别与勾画的组合设计。北海道应用为该框架在评估的外部区域与地震事件中的迁移能力提供了初步证据，表明其具备协助滑坡编目编制与灾后制图的潜力，但需辅以人工审查以识别并补充遗漏。