支持集引导的多视角特征融合的转导式少样本学习

《Knowledge-Based Systems》：Support-guided multi-view feature fusion for transductive few-shot learning

　　

• 我们提出SG-MVF，一个用于跨导式少样本学习的支持引导多视图融合框架。• SG-MVF通过掩码支持引导学习轮次感知的样本相似性，利用图正则化融合多视图特征，并在由学习到的亲和结构和融合特征引导的判别子空间中进行分类。• SG-MVF在mini-ImageNet、tiered-ImageNet、CUB和CIFAR-FS上取得了一致的性能提升。

**引言**

受人类大脑仅需从少量样本中获取新概念的认知能力启发，少样本学习（FSL）作为一种旨在模仿这一能力的机器学习范式应运而生[1]。FSL旨在使模型能够仅从少量带标签样本泛化到未见类别。大多数方法通过以下两种途径之一来应对这一挑战：要么从大规模带标签基础数据集迁移知识，要么在剧集式任务上训练元学习框架[2]。深度学习在包括计算机视觉[3]、[4]以及自然语言处理[5]在内的多个领域展现了卓越的性能，但其成功仍依赖于对大规模标注数据集的访问。然而，在许多实际应用中，获取足够的带标签数据仍然具有挑战性。这一困难源于复杂的数据采集过程（例如，故障诊断[6]、环境监测[7]）以及对大量无标签数据进行标注的巨大费用（例如，疾病识别[8]、金融欺诈检测[9]）。这些挑战凸显了FSL日益增长的重要性，使其成为一个越来越突出的研究话题，正如一系列近期研究和综述所反映的那样[10]、[11]、[12]。

早期的FSL研究主要关注归纳范式，其中每个查询实例仅根据带标签支持集独立分类。代表性的归纳方法，包括贝叶斯建模[13]、[14]、元学习[15]、[16]、度量学习[17]、[18]、[19]和数据增强方法[20]、[21]、[22]，在有限监督下显著推动了FSL的发展。然而，归纳式FSL未能利用评估期间可用的无标签查询样本。在许多实际场景中，无标签数据比带标签数据更容易收集，因此利用支持样本与查询样本的联合结构具有重要价值。跨导式FSL通过在整个剧集上进行推理来解决这一问题，其中带标签支持样本和无标签查询样本被联合考虑[23]、[24]、[25]。

现有的跨导式FSL方法通常通过图传播[24]、[25]、[26]、[27]、度量学习与原型精化[28]、[29]、[30]、[31]，或任务特定子空间学习[32]、[33]、[34]、[35]来估计剧集级样本关系。这些方法证明了利用无标签查询集结构的有效性。然而，大多数方法从单一主干网络提取的特征构建样本关系。这种单视图设计可能会限制表示的多样性，并使学习到的亲和结构对主干网络特定偏差敏感，因为不同主干网络可以强调不同视觉线索并产生不同特征几何结构。这促使我们探讨异构多视图特征是否为跨导式FSL提供了更鲁棒且互补的剧集级结构。

为验证这一动机，我们从跨视图语义一致性与视图特定互补性角度对mini-ImageNet进行分析。首先，我们使用余弦相似度热力图分析异构主干网络特征是否在不同视图间反映了语义关系的一致性。具体而言，我们在5-way 5-shot设置下计算WRN-28-10、ResNet-12与DenseNet提取特征之间的热力图，如图1所示。热力图显示出清晰的对角块模式，反映了不同视图间显著的类内相关性。除同类别相似性外，斑点犬与金毛寻回犬在5-way FSL剧集中属于不同类别，但两者均为犬种，因此在热力图中呈现出相对较高的跨类别相似性。定量而言，WRN-28-10与ResNet-12之间的同类别与不同类别对平均相似性分别为0.197与?0.049，WRN-28-10与DenseNet之间为0.190与?0.047，ResNet-12与DenseNet之间为0.187与?0.047。除语义一致性外，我们进一步使用t-SNE可视化分析同一5-way 5-shot设置下从各主干网络提取特征间的视图特定互补性，如图2所示。某些类别对在某一主干网络中分离良好，却在另一些网络中显示重叠。例如，斑点犬与金毛寻回犬在WRN-28-10与DenseNet中重叠，而ResNet-12对同一类别对提供了更好的分离。类似地，木箱与书店在DenseNet中的可分离性优于WRN-28-10与ResNet-12，这表明每个主干网络捕捉到不同的判别模式。这些观察结果表明，异构主干网络既提供了共享语义结构，也提供了互补判别线索，突显了多视图特征融合在跨导式FSL中的潜力。

受这些观察结果启发，我们提出了一个用于跨导式FSL的支持引导多视图特征融合（SG-MVF）框架。如图3所示，SG-MVF在支持引导掩码正则化下从张量化多视图自表示中学习剧集特定亲和结构，随后利用学习到的亲和结构引导图正则化特征融合与判别子空间学习。通过这种方式，该框架联合利用跨视图语义一致性、视图特定互补性以及来自支持集的标签信息。本工作主要贡献总结如下：

1. 我们提出SG-MVF，一个用于跨导式FSL的支持引导多视图特征融合框架。SG-MVF整合来自不同主干网络的特征，以利用跨视图语义一致性与视图特定互补性。该设计有助于缓解依赖单一特征视图所导致的主干网络特定偏差。
2. 我们通过支持引导的相似度学习与融合方案将张量化多视图自表示适配到剧集式FSL中。该方案利用来自支持集的标签信息学习剧集特定相似度矩阵，并进一步执行图正则化融合与判别子空间学习，以获得用于分类的紧凑且具判别力的表示。
3. 我们在四个标准FSL基准上进行了广泛实验，包括mini-ImageNet、tiered-ImageNet、CIFAR-FS与CUB。结果表明，与代表性的跨导式FSL方法相比，SG-MVF具有有效性。

**章节片段**

**相关工作**

FSL已在两种主要设置下进行了探索：归纳式与跨导式。归纳式FSL独立分类每个查询样本，而跨导式FSL联合处理整个查询集并有效利用带标签与无标签样本。近期工作越来越向跨导式设置转变，这可以更好地利用查询集内的固有关系并产生更好的泛化效果。

**预备知识**

在FSL中，通常假设存在两个不相交数据集：与类别??base相关联的基础数据集??base用于预训练，以及与类别??novel相关联的新类别数据集??novel，其中??base∩??novel=?。在??-way ??-shot设置中，每个剧集从??novel中采样??个类别。每个剧集包含一个支持集??={(????,????)}??=1^??×??，每类有??个带标签样本，以及一个查询集??={????}??=1^??×??，包含来自相同??个类别的每类??个无标签样本，但……

**实验**

在本节中，我们在四个标准FSL基准上评估所提出的SG-MVF框架。首先描述实验设置，包括数据集、实现细节与评估协议。随后报告分类结果并与最先进的跨导式FSL方法进行比较。最后，进行对比与敏感性分析，以检验多视图建模的影响以及关键超参数的作用。

**结论**

本文提出了用于跨导式FSL的SG-MVF框架，该框架解决了现有方法依赖单一主干网络特征并因此遭受主干网络特定偏差的局限性。SG-MVF利用从多个主干网络提取的多视图特征学习判别子空间。具体而言，SG-MVF构建具有支持引导的剧集特定亲和矩阵，将多视图特征融合为统一表示，并将其投影至低维……

**CRediT作者贡献声明**

Jianning Yang：原稿撰写、可视化、软件、方法论。
Ying Liu：监督、资源、项目管理、方法论。
Jize Xue：论文审阅与编辑、项目管理、方法论、资金获取。
Haijin Zeng：论文审阅与编辑。
Jie Fang：论文审阅与编辑、可视化、验证、软件。
Qi Tian：论文审阅与编辑。

**利益冲突声明**

作者声明他们没有已知的可能影响本文工作的财务利益或个人关系。

**作者列表：**
Jianning Yang | Ying Liu | Jize Xue | Haijin Zeng | Jie Fang | Qi Tian