基于独立查询信息挖掘的少样本图像分割方法研究：全局-局部对比学习的先验提取器创新应用

【编辑推荐】本文提出QGNet模型，首次将自监督学习（self-supervised learning）应用于少样本分割（FSS）任务，通过全局-局部对比学习（global-local contrastive learning）训练先验提取器（prior extractor），使查询图像能独立生成先验区域图（prior region maps），突破传统方法对支持图像（support images）的依赖。在COCO等数据集上实现SOTA性能，为小样本语义分割（semantic segmentation）提供新范式。

　　

亮点

• 我们首次在少样本分割（FSS）任务中对未标注查询图像应用自监督特征学习方法，提出通过先验提取器生成查询图像自身的先验区域图来指导最终掩膜预测。

• 提出全局与局部对比损失（global-local contrastive loss）训练先验提取器，使对比学习更适配少样本分割任务。通过全局-局部学习，查询分支能独立提取信息丰富的线索，显著增强查询与支持特征的交叉交互（cross-interaction）。

• 我们的网络在COCO数据集上达到最先进（SOTA）效果。

任务定义

少样本语义分割旨在仅用少量标注样本对新类别进行分割。图像分为查询集$Q$和支持集$S$，模型需根据支持集中的$K$个标注样本预测查询图像的二元掩膜。训练集与测试集的类别无重叠。

方法

少样本语义分割任务通过带标注的支持图像训练网络，而我们的QGNet创新性地从查询图像自身提取信息以提升预测。方法包含两大模块：

1. 1.

   自对应模块：通过先验提取器生成查询图像的先验区域图，定位目标对象；

2. 2.

   交叉对应模块：将支持特征与先验增强的查询特征进行交互，突破传统方法对支持分支的依赖。

实施细节

使用SGD优化器和InfoNCE损失训练先验提取器，采用MOCO-v2的数据增强技术（如模糊增强、颜色失真、随机裁剪）。在COCO数据集训练200轮次，PASCAL VOC训练1000轮次。为公平对比，选择ResNet101/50等骨干网络，所有实验均用PyTorch实现。

结论与未来工作

QGNet通过自监督学习从未标注图像中学习查询信息，结合全局-局部对比损失，使查询分支能独立提取信息并增强交互。在PASCAL VOC 2012和MS COCO上的实验验证了其优越性。未来将探索更高效的特征交互机制。

利益声明

作者声明无已知可能影响本研究的财务或个人利益冲突。