MS-BFIRNet：基于多监督的细粒度背景注入与前景重建的小样本语义分割方法

《Displays》：MS-BFIRNet: Fine-grained Background Injection and Foreground Reconstruction with multi-supervision for few-shot segmentation

本研究针对小样本语义分割(FSS)中复杂背景语义建模不完整和类内特征离散化问题，提出MS-BFIRNet模型。通过背景细粒度注入模块(BFIM)实现多层次背景特征融合，利用前景重建模块(FRM)增强跨样本特征匹配精度。在PASCAL-5i和COCO-20i数据集上的实验表明，该方法显著提升了分割性能，为复杂场景下的少样本学习提供了新思路。

　　

在计算机视觉领域，语义分割作为场景理解的核心任务，长期以来依赖于海量标注数据。然而现实世界中，医疗影像分析、自动驾驶等场景往往面临标注样本稀缺的困境。小样本语义分割(Few-Shot Semantic Segmentation, FSS)技术应运而生，其目标是通过极少量标注样本实现对新颖类别的像素级分割。现有主流方法通常通过支持集图像与掩码生成类别原型，再基于查询图像与原型相似度进行分割预测。但这类方法存在两大瓶颈：一方面对复杂背景的处理过于粗糙，将背景视为整体进行抑制，忽略了其内部蕴含的层次化语义信息（如场景结构、光照分布等关键上下文线索）；另一方面难以应对类内特征的高变异性，同一类别因姿态、尺度、遮挡等因素导致特征分布离散，造成分割漏检。

针对上述挑战，兰州大学郭兰团队在《Displays》发表的研究提出了一种多监督的细粒度背景注入与前景重建网络(MS-BFIRNet)。该研究的创新性体现在两个核心模块的协同设计：背景细粒度注入模块(Background Fine-grained Injection Module, BFIM)采用跨层特征交互机制，将浅层纹理、边缘等微观特征动态注入高层背景语义表示，突破传统掩码混合方法的单层级局限；前景重建模块(Foreground Reconstruction Module, FRM)则通过查询特征自上下文依赖增强关键区域响应，并建立支持-查询交互机制重新分配支持集前景特征权重，有效缓解类内特征离散化问题。

关键技术方法包括：基于ResNet骨干网络的特征提取，采用四分支多监督学习框架；通过分层掩码特征混合技术实现背景语义建模；利用动态权重分配机制进行前景特征重构；在PASCAL-5ⁱ和COCO-20ⁱ基准数据集上采用1-way K-shot实验范式进行验证。

实验设计

研究采用经典的小样本分割评估协议，将PASCAL VOC 2012和MS COCO数据集按类别划分为多个交叉验证集。训练阶段使用基类( base classes)大量标注数据，测试阶段针对新颖类( novel classes)仅提供1-5张支持样本，评估模型在查询图像上的分割性能。骨干网络选用ImageNet预训练的ResNet50/101，移除最后阶段和ReLU层以提升泛化能力。

背景细粒度注入模块的有效性

通过消融实验验证BFIM模块的分层注入机制。结果显示，相比基线模型，引入三层渐进式特征注入（从Layer1到Layer3）使mIoU指标提升3.2%。可视化分析表明，该模块能有效保留背景区域的纹理细节，在背景-前景相似度高的边界区域表现尤为突出。

前景重建模块的优化效果

FRM模块通过两阶段操作显著提升特征匹配精度。首先基于查询特征自注意力增强判别性区域响应，抑制无关噪声；随后通过支持-查询交互机制计算特征相关性权重，使支持集前景特征聚焦于与查询目标最相关的语义部分。在COCO-20ⁱ数据集上，该模块将1-shot任务的平均精度提高4.7%。

多监督学习策略

模型设计四个输出分支协同优化：Output1作为主分支集成BFIM与FRM模块；Output2-4分别对应不同层级的特征监督。这种设计使模型同时学习全局场景理解与局部细节感知，在复杂光照条件下的分割稳定性显著提升。

跨数据集泛化能力

在PASCAL-5ⁱ和COCO-20ⁱ的交叉测试中，MS-BFIRNet在各类别均保持领先性能。特别在包含大量遮挡的COCO场景中，相比PFENet、ASGNet等主流方法，其交并比(IoU)指标优势达5.3-8.1%。

该研究通过多层次背景建模和动态前景重构的创新性结合，为解决小样本分割中的语义不完整和类内差异问题提供了有效方案。BFIM模块的跨层注入机制实现了宏观场景理解与微观细节保护的平衡，FRM模块的交互式权重分配增强了跨样本语义一致性。实验证明该方法在复杂场景下具有显著优势，为医疗影像分析、遥感检测等标注数据稀缺领域的应用奠定了技术基础。未来工作可探索模块的轻量化设计及其在视频序列分割中的扩展应用。