DPFNet：通过动态原型流和协同优化网络实现轻量级少样本语义分割

《Neurocomputing》：DPFNet: Towards lightweight few-shot semantic segmentation via dynamic prototype flow and synergistic optimization network

　　摘要

为了解决原型表示对噪声的敏感性问题、处理阶段之间的协同作用不足以及在小样本语义分割中极端样本稀缺情况下类别间区分度下降的问题，我们提出了一种基于动态原型流（DPFNet）的轻量级协同优化网络。与孤立的特征处理方法不同，DPFNet在整个流程中统一使用动态原型作为载体。具体而言，双重动态原型细化模块（DDPR）作为进化的起点，通过从特征层到原型层的层级过滤和重组来构建高度鲁棒的动态原型。接下来，动态原型引导融合模块（DPGF）继承这些进化后的动态原型，它在支持特征和查询特征之间进行深度交互，逐步纠正特征偏差并提高语义对齐质量。随后，动态原型自适应解码器（DPAD）利用动态原型作为查询锚点，在查询特征上下文中完成最终的自适应调整，以实现准确的掩码预测。此外，我们还设计了动态原型对比损失（DPCLoss），在训练过程中通过组织跨剧集的关系来对动态原型流进行端到端的判别约束。通过在整个流程中协同使用和优化动态原型，DPFNet在参数效率和分割性能之间取得了良好的平衡，仅使用了1.6 M个可学习参数。在PASCAL-5i和COCO-20i基准数据集上的广泛实验表明，我们的方法在1-shot和5-shot设置下都取得了最先进的性能，同时大幅降低了模型复杂性。

**引言**

语义分割是计算机视觉中的一个基本任务，旨在为输入图像中的每个像素分配特定的语义类别标签。它已被广泛应用于自动驾驶、医学图像分析、机器视觉、遥感监测和工业质量检测等领域。传统的语义分割模型通常使用大量的像素级标注数据进行训练[1],[2]，在公共基准测试中的性能接近人类水平[3],[4]。然而，获取大规模、高质量的标注数据既耗时又成本高昂，尤其是在医学成像中的罕见病变、工业检测中的微小缺陷以及遥感图像中的新兴土地覆盖类别等专业领域。这些类别往往缺乏足够的高质量像素级标签。因此，仅通过传统语义分割工作流程训练的模型通常难以泛化到新的类别，需要大量的重新标注和重新训练，从而导致成本上升和开发周期延长。为了缓解标注稀缺的问题，视觉社区引入了小样本学习[5]，其中小样本语义分割（FSS）[6]被认为是最具挑战性的分支之一，因为它对像素级细节有极高的要求。该任务期望模型在仅提供一到五张标记支持图像的情况下，能够对新目标类别进行准确的像素级分割。核心挑战在于从极其有限的样本中学习可转移的类别表示，并将其泛化到未见类别[7]。现有研究主要通过关注两种主要范式来增强跨类别泛化：原型级匹配和像素级匹配[8],[9],[10]。具体来说，早期的原型学习方法通过全局平均池化生成静态类别原型，并将其与查询特征进行匹配。尽管这种设计简单有效，但往往无法捕捉到细粒度的目标细节[11]。因此，最近的研究转向了动态原型生成策略。RePRI[10]引入了一种基于监督的传递推理机制，动态优化原型估计，从而提高了噪声抑制能力。PPNet[8]和ASGNet[12]分别采用部分感知原型和自适应超像素引导聚类来构建多尺度原型，增强了表示的灵活性。然而，现有的动态原型方法缺乏在特征聚合期间筛选判别特征的明确机制，这限制了在复杂背景和遮挡下的细节保留[8],[10],[12]。此外，大多数方法没有实施轻量级约束，其参数数量仍然相对较多。为此，我们提出了双重动态原型细化模块（DDPR）。通过结合细化的特征提取和空间自适应细化，得到的动态细化原型不仅编码了全局信息，还明确捕获并过滤了细粒度的目标线索，提高了其对类内变化的适应性。

另一方面，像素级方法通过建模密集的像素对应关系来提高分割精度[13]。它们通常使用自注意力来捕捉支持和查询图像之间的局部细节信息，然后动态校准原型或直接预测掩码[14]。然而，这些方法在深度特征空间中进行高维相关性计算，导致计算开销和内存消耗较大。因此，在高分辨率图像上进行推理可能会变得缓慢，这成为实际应用中的一个关键瓶颈。为了解决这个问题，我们设计了动态原型引导融合模块（DPGF）和动态原型自适应解码器（DPAD）。DPGF通过将支持细化特征与高级支持特征结合来补充细粒度细节，计算高级查询特征与高级查询特征之间的跨图像特征相似性，以获得更准确的空间先验，并在多个尺度上融合先验、查询特征和动态细化原型，实现高效的跨图像语义对齐。DPAD将动态原型视为查询，将查询特征视为键和值，在查询上下文中自适应地校准原型。结合动态原型对比损失（DPCLoss），这些模块实现了轻量级设计，保持了快速的推理时间、良好的泛化能力和高分割精度，减轻了同时实现计算效率和分割性能的难度。

**主要贡献**

• 我们提出了一种用于小样本语义分割的协同优化网络，该网络在整个流程中使用动态原型作为统一的语义载体。它在保持分割精度的同时显著降低了模型复杂性，缓解了同时实现计算效率和高精度的难度。
• 我们设计了一种具有明确判别约束的层次化协同优化架构。DDPR逐步将支持特征细化为动态原型；DPGF在多个尺度上将它们与查询特征融合以实现语义对齐；DPAD在查询上下文中校准原型；DPCLoss对最终原型应用跨剧集的判别监督，促进类内紧凑性和类间可分性。
• 在PASCAL-5i和COCO-20i数据集上的广泛实验表明，我们的方法在1-shot和5-shot任务中都表现优异。值得注意的是，该模型仅需要大约1.6 M个可学习参数，这不仅显著降低了模型复杂性，还验证了基于动态原型流的协同优化机制在复杂背景和细粒度目标下的有效性。

**页面片段**

**语义分割**
语义分割旨在为图像中的每个像素分配语义类别标签，是计算机视觉中的核心任务之一。早期的全卷积网络（FCN）[1]首次提出了端到端的像素级预测范式，为现代分割方法奠定了基础。随后，DeepLab[3]系列引入了扩张卷积和空间金字塔池化来扩展感受野。近年来，基于Transformer的方法展示了巨大的潜力。

**问题定义**
小样本语义分割旨在使用少量标记的支持图像对新类别进行像素级分割。本研究遵循元学习范式，将数据集分为基础类别集和新类别集。这里，基础类别集仅包含来自基础数据集的前景类别，用于模型训练；新类别集仅包含来自新数据集的前景类别，用于模型评估。此外，确保在测试中遇到的类别永远不会出现在训练过程中。

**数据集**
为了全面评估DPFNet在小样本语义分割任务上的分割性能和泛化能力，我们在两个广泛使用的基准数据集PASCAL-5i[34]和COCO-20i[35]上进行了实验。PASCAL-5i基于PASCAL VOC 2012数据集[36]构建，并使用了SDS[37]的扩展注释。该数据集包含20个语义类别，均匀分为四组，每组五个类别。在每组评估中，五个类别分别用于...

**结论**
在这项研究中，我们提出了DPFNet，这是一个轻量级的小样本语义分割框架，它通过双重动态原型细化、原型引导的特征融合、查询自适应原型解码和动态原型对比学习来构建动态原型流。具体来说，DPFNet将来自支持区域的 foreground特征细化为动态原型，将原型相关信息传递给查询特征，并在查询上下文中校准原型。

**CRediT作者贡献声明**
李云发：写作——原始草稿，验证，监督，项目管理，方法论，资金获取，概念化。黄强：写作——审阅与编辑，验证，调查。李一琪：监督，方法论。高尚宇：验证，调查。盛西春：调查，数据整理。闫成刚：监督，资源。王一志：写作——审阅与编辑，资源。闫东云：写作——审阅与编辑，资源。

**利益冲突声明**
作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。

**致谢**
该研究得到了浙江省关键研发计划项目（2024C01232）的资助。
李云发于2008年获得中国湖北华中科技大学计算机科学与技术学院的博士学位，目前在中国杭州电子科技大学担任软件工程副教授。他的研究兴趣包括云计算、物联网、网络安全、大数据、计算机视觉和深度学习。

**作者列表**
李云发 | 黄强 | 李一琪 | 高高尚宇 | 盛西春 | 闫成刚 | 王一志 | 闫东云
杭州电子科技大学计算机科学学院，中国浙江杭州310018