用于零样本学习的具有区分能力和抗噪声能力的嵌入方法

《Neural Networks》:Discriminative and Noise-Robust Embedding for Zero-Shot Learning

【字体: 大 中 小 】 时间:2026年04月24日 来源:Neural Networks 6.3

编辑推荐:

  零样本学习(ZSL)通过语义信息实现跨类知识迁移,但现有方法依赖预训练网络提取的全局特征,易受冗余信息干扰且难以精准定位局部语义特征。本文提出DNRE模型,包含高阶特征交互的CCAE模块和动态校准机制DCM,前者通过特征协方差矩阵捕捉高阶关联增强表征区分性,后者根据属性差异自适应调整局部关注范围。实验表明DNRE在三个基准数据集上显著优于SOTA方法,尤其在细粒度分类任务中实现精准的视觉-语义对齐。

  
余磊|邓成|段宇|高原宽|王俊平
中国陕西省西安电子科技大学综合服务网络国家重点实验室,710071

摘要

零样本学习(ZSL)旨在通过从先前遇到的类别中转移知识,使模型具备识别新类别的能力。尽管取得了有希望的进展,但大多数当前的ZSL方法仍然严重依赖预训练的骨干网络来进行视觉特征提取。这些特征往往包含分散注意力的成分,降低了关键信息的显著性,从而削弱了知识转移的效果。此外,现有方法通常忽略了属性表示中嵌入的噪声或无关细节的影响。为了解决这些限制,我们提出了具有区分性和抗噪声能力的嵌入方法(DNRE)用于ZSL。它包含两个主要组成部分:(1)通道协方差自适应增强(CCAE)模块,该模块捕获高阶依赖性并动态强调信息丰富的通道以细化视觉表示;(2)动态校准机制(DCM),该机制通过抑制噪声和无关信号来改善属性与局部视觉区域之间的对齐。在三个广泛使用的ZSL基准测试上的综合实验表明,我们的方法在准确性和鲁棒性属性定位方面始终优于现有最佳方法。

引言

深度学习在计算机视觉领域取得了重大突破,尤其是在图像分类和对象检测等任务中。卷积神经网络(CNN)及其衍生方法通过为几个标准数据集设定新的基准推动了技术的发展。这些方法通常依赖于大量的标记数据来训练模型,从而学习高级特征表示。然而,在实际应用中获取大量标记数据往往是一个重大挑战。零样本学习(ZSL)(Yang等人,2025年)旨在减少对大量标记数据的依赖。它通过引入语义信息(例如,属性描述)来实现已见类别和未见类别之间的知识转移,从而在处理罕见类别或数据稀缺时保持效率。ZSL的核心在于精确的视觉-语义交互,使模型能够在没有直接训练样本的情况下识别新类别。根据测试范围,它被分为传统零样本学习(CZSL)和泛化零样本学习(GZSL)(Chao等人,2016年)。CZSL仅测试未见类别,而GZSL同时测试已见和未见类别。当前的ZSL方法大致可以分为两类:基于生成的方法(Chen等人,2021b年;Narayan等人,2020年;Wang等人,2024年)和基于嵌入的方法(Du等人,2023年;Hu等人,2025a年;Yun等人,2022年)。这两种方法采用不同的策略和技术来克服传统监督学习的局限性。基于生成的方法通常使用生成模型来预测未见类别的视觉特征,将ZSL问题转化为典型的监督学习任务。具体来说,这些生成模型试图从已见类别中学习潜在的视觉模式,并使用这些模式为未见类别合成视觉特征。这样,模型可以在训练阶段利用已见类别的标签信息为未见类别生成样本,从而为ZSL提供足够的训练数据。然而,基于生成的方法在实际应用中面临偏差和领域偏移等问题(Chao等人,2016年),并且它们需要未见类别的详细语义描述。相比之下,基于嵌入的方法试图建立一个映射函数,将视觉特征和语义表示投影到共享空间中,从而实现不同类别之间的知识转移。早期的基于嵌入的ZSL方法依赖于通过预训练的深度网络提取的图像的全局特征,并使用最大池化操作进行处理以捕获图像的总体信息。然而,当未见类别与已见类别高度相似时,全局特征难以有效区分这些相似类别,导致GZSL任务的性能较差。此外,这些类别之间共享的语义信息(例如,属性)通常只反映了图像中特定区域的特征,而全局特征无法准确捕捉这些微妙的视觉差异,从而阻碍了跨类别的知识转移。
为了解决这些问题,近年来引入了局部视觉特征以提高GZSL任务的性能。它们更善于捕捉图像的细节,有助于区分相似类别。通过结合全局和局部特征,GZSL方法在处理复杂的视觉差异和进行有效的知识转移时表现得更加准确和高效。例如,一些基于注意力的方法(Chen等人,2022c年;Ge等人,2025年)试图通过优化全局特征和局部区分特征来学习更好的全局表示(如图1(a)所示),但它们倾向于忽略以下问题:首先,在全局特征学习过程中,由预训练模型生成的视觉特征可能与ZSL任务的目标数据集存在分布差异,直接使用这些特征会导致偏差。此外,这些特征可能包含与ZSL任务无关的冗余信息,增加计算负担。其次,在局部区分特征学习中,尽管基于注意力的方法在某种程度上取得了成功,但属性特征学习严重依赖于属性注意力图的质量。在复杂情况下,这可能会引入噪声,而且不同的属性(例如,鸟的喙和翅膀)具有不同的局部注意力区域大小,这对准确的属性区域定位构成了挑战。
为了解决这些问题,我们提出了DNRE模型,以增强视觉特征的识别能力,并根据属性差异自适应调整局部区域的大小以实现精确定位(如图1(b)所示)。DNRE的核心创新在于其多方面的适应性和增强机制,体现在以下几个方面:在全局特征提取部分,我们利用预训练的ResNet-101的最后一层残差块来提取输入图像的高维特征。为了减少冗余信息并增强特征的表现能力,我们提出了通道协方差自适应增强模块(CCAE),该模块通过计算特征矩阵之间的协方差矩阵来捕获特征之间的高阶相关性,构建更准确的全局关系,从而提高DNRE的区分能力。同时,我们对预训练模型进行微调,使获得的特征更适应目标任务。对于局部特征提取,我们采用多级特征融合来捕获不同尺度的卷积核的不同层次的特征信息,从而使特征表示更加丰富和全面。同时,提出了动态校准机制(DCM),根据不同属性的需求调整注意力图的范围和强度,使模型能够有效处理属性注意力图不准确导致的噪声问题。
所提出的DNRE的贡献包括:
  • (1)
    提出了一种高阶特征交互机制,通过计算高维特征的协方差并探索特征之间的深层相关性,提高了模型处理复杂语义任务的泛化能力。
  • (2)
    多级特征融合和动态校准机制的结合有效地适应了不同属性的局部区域大小,从而提高了特征的准确定位能力。
  • (3)
    通过与最先进的ZSL算法在三个基准数据集上的比较实验验证了所提出的DNRE的有效性。
  • 相关工作

    零样本学习(ZSL)是一种使模型能够识别从未见过的类别的方法。它通过将图像的视觉特征(例如,颜色和形状)与类别的语义描述联系起来,打破了传统监督学习的限制,实现了从已见类别到未见类别的知识转移(Xian等人,2018a)。其方法主要分为两类:基于生成的和基于嵌入的。

    符号和问题设置

    ZSL利用来自已见类别的信息(Ys)(例如,类别属性描述)来推断未见类别(Yu)。在CZSL中,训练集表示为Dtr={(xi,yi)∣xi∈Xs,yi∈Ys},其中xi是Xs中的图像,yi是已见类别的标签。测试集包含与训练集中不重叠的类别,即Dte={(xi,yi)∣xi∈Xs,yi∈Ys},其中Dte=(xj,yj)∣xj∈Xu,yj∈Yu},其中Yu是未见类别的集合,Ys∩Yu=?。在给定的数据集中,类别的总数用c?∈?Cs?∪?Cu表示。每个

    数据集

    我们在三个流行的数据集上验证了所提出的DNRE;CUB(Welinder等人,2010年)、SUN(Patterson和Hays,2012年)和AWA2(Xian等人,2018a年),其中CUB和SUN是细粒度数据集,AWA2是粗粒度数据集。具体来说,CUB(Welinder等人,2010年)是一个包含200种鸟类的11,788张图像的细粒度数据集,每种鸟类都标注了312个视觉属性,包括羽毛颜色、体型、喙形状等特征。

    结论

    在本文中,我们提出了一个端到端的DNRE模型,旨在解决属性定位不准确和视觉特征中高阶信息利用不足的问题。我们设计了一个CCAE模块来准确提取输入图像的高阶信息,并通过融合预训练模型的多级和多尺度特征来增强特征的多样性和区分能力。对于注意力定位问题,我们提出了DCM来自适应调整注意力

    CRediT作者贡献声明

    余磊:撰写 – 审稿与编辑,撰写 – 原稿,验证,方法论,研究。邓成:撰写 – 审稿与编辑。段宇:撰写 – 审稿与编辑。高原宽:撰写 – 审稿与编辑。王俊平:方法论,撰写 – 审稿与编辑。

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

    致谢

    本工作部分得到了中国国家自然科学基金(NFSC)的资助(项目编号62176203和61872433),部分得到了西安电子大学创新基金的资助,以及中央高校基本科研业务费NO.QTZX25005的资助。
    余磊分别于2019年和2022年在河北大学获得通信工程学士学位和硕士学位。她目前正在西安电子大学攻读通信与信息系统的博士学位。她的研究兴趣包括多模态学习、深度学习。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号