MSIFN：一种基于多源信息融合网络的双空间约束少样本分类模型

《Neural Networks》：MSIFN: Multi-Source Information Fusion Network with Dual-Space Constraints for Few-Shot Classification

　　• 依赖单一辅助信息源无法捕捉到全面的视觉概念。• 整合多种来源的信息能够提升小样本学习的效果。• 语义引导的多源信息交互有助于抑制背景杂乱。• 对融合特征施加的视觉和语义约束能够确保类别内部的紧凑性。

引言
深度学习在图像分类方面展现了显著的成效，这很大程度上依赖于大规模标注数据集的可用性。然而，在实际应用中，获取这样的详尽监督数据往往成本高昂且不切实际。在这种情况下，深度学习模型通常会出现严重的过拟合现象，并无法泛化到新的类别。为了缓解这种对数据的依赖，小样本学习（Few-Shot Learning, FSL）引起了强烈的研究兴趣，其目标是使模型能够在仅有少量标注样本的情况下快速适应新任务。实际上，由于标注样本的有限性，提取的特征常常无法捕捉到类别内部的多样性。因此，提取的特征表示往往表达能力不足，并且本质上偏向于有限的观察样本。为了解决这些问题，整合辅助信息是一种直接的方法。现有的方法通常侧重于使用单一的辅助信息源。一些研究利用基础类别的先验来校准特征分布。例如，DC（Yang等人，2021年）利用基础类别的统计数据来校准新类别的分布，从而为数据增强提供足够的特征样本。DDWM（Wei等人，2023年）提出了一种基于方向的加权策略，通过衡量不同基础类别的影响来使新类别的偏差分布与真实分布对齐。同样，ABC（Xu等人，2025年）认为新类别的中心位于近似基础类别之间的空白区域，从而通过将这些区域作为校准点来补偿样本的稀缺性。此外，其他方法则侧重于利用局部判别细节来增强全局特征表示。FeatWalk（Chen等人，2024年）通过结合全局特征和局部细节，解决了预训练提取器常常无法捕获足够细粒度信息的问题。TST（Sun等人，2025年）采用了两阶段度量融合框架，促进全局特征和局部特征之间的相互增强，以获得更稳健的特征表示。然而，依赖单一信息源会阻碍视觉概念的全面表征。因此，战略性地整合异构知识对于对抗数据稀缺性带来的偏见是不可或缺的。

尽管在理论上整合多种来源的信息可以弥补单视图表示的不足，但由于数据的异质性和质量差异，实现其战略性的利用和融合仍然是一个挑战。与标注良好的训练数据不同，辅助数据常常包含大量噪声，这些噪声既包括无关的背景杂乱，也包括语义不对齐。因此，不加选择的吸收或直接合并这些异构输入不可避免地会导致负面迁移效应，从而损害学习到的特征的完整性和区分能力。因此，挑战不在于简单地将多样化的数据整合起来，而在于设计一种稳健的机制，以选择性地提取和协同融合这些输入，确保在增强目标概念的同时抑制混淆噪声。

为了应对这一挑战，我们提出了一种新的多源信息融合网络（Multi-Source Information Fusion Network, MSIFN）。与以往的工作不同，我们的框架协同地整合了全局上下文、局部细节、基础类别先验和语义嵌入，以生成具有表达力的特征表示。关键的是，我们引入了一种语义引导的选择机制，专门用于区分我们的方法与无差别融合。通过利用语义概念的稳定性，该机制使用跨模态自动编码器将未标记的视觉块投影到语义空间中。这样的设计促进了各种信息源之间的严格交互，使模型能够自适应地过滤与目标类别的语义对齐，从而有效抑制背景杂乱。

此外，整合异构信息虽然增强了表达能力，但不可避免地会破坏特征空间的内在拓扑结构。这种扭曲会导致特征漂移，使得学习到的表示偏离其类别原型。之前的研究已经探索了施加约束以提升融合特征的区分能力。例如，NormFace（Wang等人，2017年）引入了类中心三元组损失来最小化面部识别中深度视觉特征的类别内距离。SGMA（Zhu等人，2019年）提出了一种多注意力损失，通过应用几何约束来促进紧凑和多样的注意力分布。同样，SIFT（Pan等人，2024年）利用通过将查询聚类中心与支持集原型相结合得到的校准原型作为锚点，来增强类别内部的紧凑性。然而，这些方法主要集中在视觉领域。为了纠正多源融合引起的分布偏差，我们提出了双空间约束。通过将融合特征与视觉和语义空间中的稳定原型严格对齐，我们的策略确保了增强后的表示在结构上保持紧凑并且对噪声具有鲁棒性。

我们的主要贡献包括以下三个方面：
- 我们探索了在小样本学习中合理利用和战略性地融合多种来源的信息。为此，我们提出了多源信息融合网络（MSIFN），这是一个能够协同整合异构知识的统一框架。与无差别融合策略不同，我们设计了一种语义引导的选择机制，以促进细粒度的交互，从而自适应地提取判别线索并抑制背景杂乱，有效减轻负面迁移。
- 我们提出了双空间约束，以纠正多源融合引起的特征漂移。通过将融合表示与视觉和语义空间中的稳定原型对齐，这种策略确保了类别内部的紧凑性，并增强了特征分布的抗偏差能力。
- 我们在miniImageNet、tieredImageNet和CUB三个基准测试集上进行了广泛实验。结果不仅证明了我们方法相较于现有技术具有更好的性能，还实证了合理利用和战略性地融合多种来源的信息是提升小样本学习效果的有效途径。

相关工作
在小样本学习中，训练样本的极端稀缺性不可避免地导致特征表示的偏差。为了缓解这一数据不足的问题，研究人员提出了整合各种形式的辅助信息的方法。现有的方法可以根据辅助信息的来源大致分为三类：局部判别特征、基础类别先验和语义知识。

问题定义
在小样本图像分类的设置中，用??={(????,????)}表示整个数据集，其中????∈???代表第i张图像的D维特征向量，????∈??是其对应的类别标签。数据集??被分为两个不相交的子集：一个基础数据集?????????????包含基础类别?????????????，另一个新数据集????????????????包含新类别?????????????，满足?????????????∩????????????????=?。主要目标是在?????????????上训练模型，使其能够很好地泛化到????????????????中的未见类别。

数据集
我们在三个广泛采用的小样本分类基准测试集上评估了所提出方法的有效性：miniImageNet（Ravi和Larochelle，2017年）、tieredImageNet（Ren等人，2018年）和CUB-200-2011（Wah等人，2011年）。miniImageNet是该领域的标准基准测试集，它源自ILSVRC-2012（Russakovsky等人，2015年），包含100个类别，每个类别有600张图像，总计60,000个样本。按照标准的划分方法，我们将数据集分为64、16和20个子集。

结论
在这项工作中，我们提出了多源信息融合网络（MSIFN），这是一个旨在缓解小样本学习中数据稀缺性导致的特征偏差的统一框架。为了克服依赖单一模态的局限性和无差别融合所带来的风险，我们的工作倡导了一种基于原则的选择和战略合成方法。具体来说，我们引入了一种由跨模态自动编码器支持的语义引导选择机制。这种CRediT作者贡献声明如下：
Hantao Wang：撰写——原始草稿、方法论、形式分析、概念化。
Huan Wan：资源、方法论。
Ghulan Mohiudin：调查、形式分析。
Jianfeng Xu：监督、项目管理。
Hong Rao：可视化、验证。
Xin Wei：撰写——审稿与编辑、验证、监督、项目管理、资金获取、概念化。

利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢
本工作得到了中国国家自然科学基金（项目编号62566040、62106090、62106093）、江西省自然科学基金（项目编号20232BAB212027、20242BAB23013、20252BAC200194、20252BAC250130）以及江西省****（项目编号jxsg2023101085）的支持。

Hantao Wang | Huan Wan | Ghulan Mohiudin | Jianfeng Xu | Hong Rao | Xin Wei