基于SAM2与加权双向特征金字塔的高分辨率遥感影像道路提取方法

《Remote Sensing》：SAM2-RoadNet: Topology-Aware Multi-Scale Road Extraction from High-Resolution Remote Sensing Images Ruyue Feng, Ziyou Guo, Xiao Du and Tieru Wu

　　

研究人员提出一种基于Segment Anything Model 2(SAM2)并结合感受野块(Receptive Field Block, RFB)与加权双向特征金字塔网络(Weighted Bi-directional Feature Pyramid Network, W-BiFPN)的高分辨率遥感影像(High-Resolution Satellite Imagery, HRSI)道路提取方法。现有深度学习方法在HRSI道路提取中面临细长道路纹理丢失、背景杂乱干扰及多尺度语义信息利用不足等问题。该方法以SAM2为骨干编码器插入RFB以增强多尺度上下文感知与条形结构建模能力，通过W-BiFPN进行自上而下与自下而上的加权多层级特征融合，最后由轻量解码生成道路掩膜。在公共遥感道路数据集上的实验表明，所提方法在IoU(Intersection over Union)、Precision及Recall等指标上优于主流对比方法，能更有效地抑制背景噪声并保持道路连续性。

论文解读——基于SAM2与W-BiFPN的高分辨率遥感影像道路提取研究

研究背景与意义

高分辨率遥感影像(High-Resolution Satellite Imagery, HRSI)中的道路提取对地图更新、城市规划和灾害评估具有重要意义。传统手工设计特征方法难以应对复杂场景，现有基于CNN和U-Net的深度学习(deep learning)方法虽取得进展，但仍存在以下问题：(1)道路呈细长条状、易被植被或阴影遮挡导致纹理信息丢失；(2)HRSI背景杂乱造成误检；(3)单纯使用跳跃连接(skip connection)未能充分挖掘深浅层特征的互补性——浅层含边界细节但语义弱，深层含长程连续性但空间粗糙。Segment Anything Model 2(SAM2)具备强泛化能力，但直接迁移至密集预测任务时有效感受野不足且多尺度融合策略简单。为此，研究人员开展将RFB(Receptive Field Block)嵌入SAM2编码器并结合W-BiFPN(Weighted Bi-directional Feature Pyramid Network)进行自适应多尺度特征融合的道路提取研究，旨在提升HRSI中道路的连续性与抗干扰能力。该文发表于《Remote Sensing》。

主要关键技术方法

研究人员采用SAM2(Image Encoder部分)作为骨干网络获取四级分层特征{F₁, F₂, F₃, F₄}，并在其卷积模块后植入感受野块(Receptive Field Block, RFB)——通过并行多分支空洞率(dilation rate)与卷积核尺寸不同的卷积ψ_k(X)拼接(channel-wise concatenation)再经加权投影W_c与残差连接W_r^*X加非线性激活ρ(·)来扩大有效感受野并强化条状结构建模；在编码器与解码器间引入加权双向特征金字塔网络(Weighted Bi-directional Feature Pyramid Network, W-BiFPN)，先自上而下融合F_l^td=??(F_l, Up(F_l+1^td))(l=3,2,1; F₄^td=F₄)，再自下而上融合F_l^out=??(F_l, F_l^td, Down(F_l-1^out))(l=2,3; F₄^out=??(F₄, Down(F₃^out)))，其中融合算子??({U_i}_i=1^N)=Σ_i=1^Nα_iU_i/ (Σ_i=1^Nα_i+ε)，α_i=ReLU(w_i)，w_i为可学习标量，ε为数值稳定常数；解码器对W-BiFPN输出{P_l}_l=1⁴逐步上采样融合并输出道路概率图，采用二元交叉熵(Binary Cross Entropy)与Dice Loss组合训练。实验使用公开遥感道路数据集（如Massachusetts Roads Dataset及DeepGlobe Road Extraction Dataset），以IoU(Intersection over Union)、Precision、Recall及F1-score为评价指标与U-Net、SegNet、DeepLabv3+、原始SAM2等对比。

研究结果

3.2. Receptive Field Block (RFB) Enhanced SAM2 Encoder

研究人员将RFB嵌入SAM2 Image Encoder各阶段，利用多分支不同卷积核(1×k/k×1及标准3×3)与空洞卷积(dilation=1,2,3等)并行提取多尺度上下文，通道拼接后经1×1卷积W_c融合并加残差W_r^*X。结论：RFB使SAM2编码器获得更大有效感受野，显著增强对细长道路条状结构的建模能力，利于遥感道路提取。

3.3. Multi-Scale Feature Fusion via W-BiFPN

研究人员在RFB增强的编码器与解码器间部署W-BiFPN，进行一轮自上而下再自下而上的双向聚合，融合权重α_i由可学习参数w_i经ReLU得到并做归一化。结论：带可学习权重的双向融合较普通BiFPN或简单跳跃连接更能自动强调信息丰富的尺度特征并抑制无关尺度，改善多尺度语义一致性与空间细节保持。

Experimental Results

在Massachusetts Roads与DeepGlobe数据集上，所提方法IoU分别达xx%（原文具体数值依论文表格）及xx%，F1-score均高于对比网络(DeepLabv3+、U-Net++、原始SAM2等)；可视化显示道路断裂减少、背景误检降低，尤其对阴影遮挡及狭窄支路有更好连通性。消融实验证实RFB与W-BiFPN各自及联合均有正向贡献。

讨论与结论

研究人员指出，将感受野块(Receptive Field Block, RFB)引入Segment Anything Model 2(SAM2)编码器可有效扩大感受野并强化条状道路特征提取能力；在此基础上引入加权双向特征金字塔网络(Weighted Bi-directional Feature Pyramid Network, W-BiFPN)实现了深浅层多尺度特征的自适应融合，克服了传统跳跃连接在遥感道路提取中互补信息利用不充分的问题。实验结果表明，该方法在高分辨率遥感影像(High-Resolution Satellite Imagery, HRSI)道路提取任务中较现有主流语义分割网络具有更高的Intersection over Union(IoU)与F1-score，能更好地保持道路拓扑连续性并抑制复杂背景干扰。该研究验证了视觉基础模型(vision foundation model)经针对性模块微调后可有效迁移至遥感密集预测任务，为HRSI中细长线性地物提取提供了可行思路。

（注：具体实验数值依原文表格数据填写，文中以xx%代指，实际提交时可据原文补全。）