何种地理辅助信息提升滑坡分割？——基于残差双分支SegFormer的系统研究

《Remote Sensing》：Which Geo-Auxiliary Information Improves Landslide Segmentation? A Systematic Study Using a Residual Dual-Branch SegFormer

　　

灾后快速滑坡制图对应急响应和灾害管理至关重要；然而，降雨诱发滑坡因形态破碎、景观异质以及地球观测（Earth Observation, EO）数据的互补性，精确圈定仍具挑战。尽管近期深度学习方法利用光学影像已展示出良好性能，但不同地理辅助信息对滑坡分割的贡献及其跨区域可迁移性仍认识不足。本研究提出一种残差双分支SegFormer（Residual Dual-Branch SegFormer），通过轻量级残差卷积神经网络（Convolutional Neural Network, CNN）编码器和新型多尺度地理辅助门控融合模块（Multi-Scale Geo-Auxiliary Gated Fusion Module, MGFM）集成异构地理空间信息，在保留原始SegFormer架构的同时实现自适应特征融合。利用2023年3月马拉维南部热带气旋Freddy事件构建的多模态数据集，研究人员系统评估RGB影像分别与光学、地形和Sentinel-1合成孔径雷达（Synthetic Aperture Radar, SAR）衍生辅助层的组合。该框架在地理独立测试区评估，并通过在公开Landslide4Scene和Lushan数据集上的零样本迁移（zero-shot transfer）进一步验证。实验结果表明：（1）将事件前和事件后SAR相干性与RGB影像集成时，在与训练数据匹配的区域取得最佳总体性能，在独立马拉维测试区达到平均交并比（mean Intersection over Union, mIoU）80.56%和F1-score 78.03%。（2）RGB与坡度组合在所评估静态地形配置中，对两个外部数据集的零样本迁移最有效，持续优于RGB基线。（3）所提框架表现出强跨区域泛化能力，在两个外部数据集上均取得最高迁移性能，并表明SAR相干性为事件后降雨诱发滑坡分割提供最具判别力的辅助信息。这些发现为设计用于业务化滑坡制图的稳健多模态深度学习框架提供实践指导。

研究背景与问题：滑坡是全球破坏性较强的自然灾害之一，灾后快速可靠的滑坡编目制图对应急响应、危险性评估和风险减缓至关重要。传统方法依赖航空或卫星影像的人工目视解译并结合野外调查，虽由专家执行时精度较高，但费时费力、主观性强，难以在大范围重大滑坡事件后立即应用。人工智能尤其是深度学习（Deep Learning, DL）推动了光学遥感滑坡自动制图，早期基准研究验证了卷积神经网络（CNN）用于滑坡语义分割（landslide semantic segmentation，即逐像素识别滑坡）的有效性，近期基于Transformer的SegFormer在捕获长程上下文信息方面表现更优。然而，现有研究多仅依赖光学影像，互补地理辅助信息的贡献及其在独立地理测试下的可迁移性仍不清楚；SAR-only滑坡制图研究相对较少；多模态DL研究常只评估有限辅助源，且架构多面向预定义输入组合，常采用随机或地理相关数据划分，可能因空间自相关高估性能。因此，研究人员开展系统研究，以回答何种辅助信息真正提升滑坡分割并跨区域泛化。

研究开展与结论意义：研究人员提出残差双分支SegFormer，通过轻量级残差CNN辅助编码器和MGFM灵活集成任意地理辅助信息，并保留原始SegFormer MiT-B2 RGB主干；训练时引入仅用于训练的Auxiliary Prior Head进行辅助监督和一致性约束。研究利用2023年3月热带气旋Freddy事件构建马拉维南部多模态数据集，系统评估RGB与光学、地形和Sentinel-1 SAR衍生层的组合，并在地理独立测试区和Landslide4Scene、Lushan公开数据集上开展零样本迁移。结论表明：在与训练数据匹配的独立马拉维测试区，RGB+事件前/后SAR相干性总体最佳，mIoU 80.56%、F1-score 78.03%；在所评估静态地形配置中，RGB+坡度对两个外部数据集的零样本迁移最有效并持续优于RGB基线；SAR相干性为事件后降雨诱发滑坡分割提供最具判别力的辅助信息。该研究为业务化滑坡制图的多模态深度学习框架中辅助数据选择提供实践指导。

关键技术方法（不超过250字）：样本队列来源包括马拉维南部2023年3月热带气旋Freddy事件数据集、公开Landslide4Scene（Sentinel-2，10 m）和Lushan（PlanetScope，3 m）数据集。马拉维数据采用3 m PlanetScope影像、Sentinel-1 GRD/SLC事件前/后数据及30 m Copernicus DEM衍生地形变量，按3×3 km瓦片划分训练与地理独立测试，提取128×128像素patch。模型为Residual Dual-Branch SegFormer：SegFormer MiT-B2 RGB分支、轻量残差CNN辅助分支、MGFM多尺度门控融合及训练期Auxiliary Prior Head；损失为Binary Cross-Entropy与Tversky损失组合；SAR-only实验采用U-Net++基线；评估包括独立地理测试、零样本跨数据集迁移、消融和三种子稳健性分析。

研究结果：3.1 基于SAR数据的早期滑坡制图：在持续云覆盖条件下评估多时相SAR后向散射、干涉相干性（interferometric coherence，衡量事件前后地表散射稳定性）和地形变量对快速制图的作用。3.1.1 验证结果：SAR后向散射单独使用时F1-score有限，多时相VV为18.83%、VH为17.58%；以VV_COH（pre–post）替代强度后F1-score升至35.12%、IoU 21.30%；加入DEM后F1-score为45.37%，再加入坡度后F1-score 46.45%、IoU 30.25%、mIoU 60.20%，为验证集最佳SAR简化配置；更复杂地形派生变量未超过该组合。3.1.2 独立测试结果：多时相VV/VH后向散射F1-score仅12.87%/14.28%；VV_COH（pre–post）F1-score 32.99%，+DEM为39.48%，+DEM+Slope达F1-score 40.49%、IoU 25.38%、mIoU 59.12%；加入坡向仅边际提升且mIoU略降；所选VV_COH+DEM+Slope在50个无滑坡测试patch上FPR为1.9941%。定性结果显示相干性抑制误报并改善边界，DEM和坡度进一步提高连续性。结论为相干性是最具信息量的SAR衍生特征，DEM与坡度在精度、复杂度和业务适用性间提供最佳折中。

3.2 光学影像可用后的滑坡制图：在无云光学影像可用后，先以RGB影像评估不同SegFormer主干，为后续多模态实验确定强光学基线。3.2.1 验证结果：所有主干F1-score均超过78%；MiT-B2最佳，F1-score 82.25%、IoU 69.86%、mIoU 83.16%、recall 86.33%；MiT-B3为81.43%，MiT-B0为81.31%，MiT-B1为81.30%；MiT-B4精度最高85.86%但recall 76.07%、F1-score 80.67%；MiT-B5最低F1-score 78.39%。结论为MiT-B2在精度与召回间最平衡。3.2.2 独立测试结果：MiT-B2仍最佳，F1-score 77.23%、IoU 62.90%、mIoU 80.00%、recall 75.08%；MiT-B3为76.55%，MiT-B0为75.83%，MiT-B1为75.29%；MiT-B4精度86.11%但recall 62.06%、F1-score 72.13%；MiT-B5为71.68%；MiT-B2在50个无滑坡patch上FPR为1.1431%。定性结果支持MiT-B2边界更准确、漏检和误检更少。

3.3 所提架构（多模态数据集）：在MiT-B2主干下评估RGB与SAR相干性、地形等组合，并开展外部零样本迁移。3.3.1 验证结果：RGB基线F1-score 82.25%、IoU 69.86%、mIoU 83.16%；+DEM验证最佳，F1-score 83.04%、IoU 71.01%、mIoU 83.90%；RGB+NIR+NDVI精度83.76%、F1-score 82.45%；RGB+DEM+Slope为82.33%；RGB+VV_COH为81.35%，RGB+Slope+VV_COH为81.82%，RGB+Slope为81.14%，RGB+DEM+VV_COH为79.25%。结论为验证集上DEM提升最大，多辅助源并不必然提升。3.3.2 独立测试结果：RGB基线F1-score 77.23%、IoU 62.90%、mIoU 80.00%；RGB+COH（pre–post）最佳，F1-score 78.03%、IoU 63.97%、mIoU 80.56%、recall 77.14%；RGB+Slope为77.61%，RGB+DEM为77.21%；RGB+DEM+Slope为75.02%，RGB+Slope+VV_COH为76.05%，RGB+DEM+VV_COH为75.79%，RGB+NIR+NDVI为73.07%；RGB+VV_COH在50个无滑坡patch上FPR 0.6155%，为补充分析三个选中模型中最低。结论为独立测试下SAR相干性是最有用互补信息。3.3.3 跨数据集泛化：在Landslide4Scene上RGB基线F1-score 37.25%、IoU 22.89%、mIoU 59.92%，+DEM为34.56%，+Slope最佳为39.64%、24.72%、60.87%；在Lushan上RGB为49.55%，+DEM为49.08%，+Slope最佳为51.95%、35.09%、65.09%。结论为在所评估静态地形变量中坡度跨数据集迁移最稳健；外部数据缺乏共配准SAR，无法评估相干性迁移性。3.3.4 所提模型消融研究：RGB+VV_COH五通道直接拼接F1-score 74.66%、IoU 59.57%；加入CNN辅助分支并简单相加为76.89%、62.46%；以MGFM替代简单相加为77.78%、63.63%；完整模型含Auxiliary Prior Head最佳，F1-score 78.03%、mIoU 80.56%、IoU 63.97%。结论为主要提升来自双分支门控融合，辅助监督带来较小增益。3.3.5 多种子稳健性分析：以42、123、2026三个随机种子训练RGB-only、RGB+Slope、RGB+VV_COH；RGB+VV_COH平均F1-score最高77.55±0.50%、IoU 63.34±0.66%、mIoU 80.01±0.39%，且标准差最低；RGB-only为76.82±1.34%，RGB+Slope为76.29±0.83%但平均精度最高82.25±1.94%。结论为SAR相干性提升平均性能并降低随机初始化敏感性。

讨论部分总结：讨论指出，灾后持续云覆盖限制光学影像，Sentinel-1干涉相干性成为快速滑坡制图的重要替代信息；相干性优于后向散射，因为其直接度量雷达散射机制的时间稳定性，降雨诱发滑坡导致事件前后相干性明显损失，而强度还受土壤湿度、植被结构和成像几何影响。VV相干性总体略优于VH，因VV对地表散射和地面形变更敏感，VH更受植被体散射影响。相干性+DEM+坡度构成最有效SAR多模态配置，更多SAR通道或地形派生变量仅边际增益。光学影像可用后分割性能显著提高；MiT-B2在验证和独立测试中均最佳，较大主干精度高但召回低、漏检增加。作者强调增加模态并不自动提高精度，RGB+DEM在验证集提升但在独立测试和零样本迁移中优势减弱或消失，而RGB+VV_COH在独立马拉维测试最佳且FPR最低，多种子分析支持其稳定性。DEM绝对高程可能包含区域特定特征，坡度作为局部地形梯度更具迁移性；外部数据集上RGB+Slope持续优于RGB和RGB+DEM，但仅说明在所评估静态地形变量中坡度迁移性更好，外部数据缺乏共配准SAR，不能据此判断相干性相对坡度的迁移性。NIR和NDVI贡献有限，作者认为ImageNet预训练Transformer可从RGB学习植被信息，而相干性捕获事件相关结构变化，与光学高度互补。与Nava等、Wu等、Vega等、Dal Seno、Riche等研究比较时，作者指出本研究在地理独立区域评估，并发现相干性比SAR强度更具互补性。局限性包括：小滑坡仍是主要误差来源；Sentinel-1 10 m和30 m DEM重采样至3 m不能恢复原始缺失细节；对象级评估显示RGB+VV_COH小滑坡F1-score 35.94%、中滑坡71.03%、大滑坡92.59%，SAR-only小滑坡仅4.07%；相干性使小滑坡F1-score提高4.57个百分点，坡度提高3.34个百分点。作者还指出辅助变量性能差异受原始空间分辨率、时间特征和预处理影响；未来将探索COSMO-SkyMed或TerraSAR-X等高分SAR与更高分辨率DEM，并呼吁公共基准加入共配准干涉相干性产品；本研究并非全面模型基准测试，未来可扩展到更多CNN和Transformer架构。

研究结论（翻译）：本研究提出残差双分支SegFormer架构，系统研究不同地理辅助信息源在现实灾后场景下对滑坡语义分割的贡献。与以往主要关注多源数据集成的研究不同，本工作利用独立地理测试区和零样本跨数据集迁移，评估在应急响应不同阶段何种辅助信息真正提升分割性能。实验结果表明，地理辅助信息的有效性取决于其物理特性而非输入模态数量。灾后早期，干涉相干性比传统SAR后向散射信息量更大，相干性、DEM和地形坡度组合在持续云覆盖下提供最佳SAR快速制图性能。无云光学影像可用后，SegFormer MiT-B2在所有评估主干中分割精度最高。所提残差双分支架构进一步表明，RGB与事件前/后SAR相干性集成在独立马拉维测试数据集总体性能最高，而地形坡度在所评估静态地形变量（DEM和坡度）中跨数据集性能最佳；但由于外部数据集缺乏合适共配准SAR观测，SAR相干性的跨数据集可迁移性无法评估。相反，DEM、NIR和NDVI提升有限或不一致，说明增加输入层并不必然带来更好分割性能。尽管框架在独立数据集上表现强泛化，剩余误差主要与极小滑坡对象相关，未来需研究专用小目标学习策略和更高分辨率观测。总体而言，本研究说明地理辅助信息的价值在于其互补物理内容而非数量，为未来业务化灾害响应的多模态滑坡分割框架设计提供实践指导。