面向零样本学习的层次化属性分组属性推理

《Neurocomputing》：Attribute reasoning with hierarchical attribute grouping for zero-shot learning

　　

摘要 零样本学习（ZSL）旨在利用额外的语义信息来识别训练阶段中不存在的类别。然而，现有的 ZSL 方法受到两个主要因素的限制：1) 在注意力 ZSL 模块中，学习属性空间与视觉空间之间鲁棒的映射具有挑战性。2) 对缺失属性的敏感性，因为 ZSL 方法通常依赖于识别属性来确定类别。为了解决上述挑战，我们提出了一种新颖的 ZSL 方法，称为基于层次属性分组的属性推理（ARHAG）。具体来说，ARHAG 通过两个阶段实现不同层次属性的定位和推理，以缓解属性级别的视觉语义差距。在第一阶段，ARHAG 采用属性定位网络（ALN）利用注意力模块定位基本属性。在第二阶段，ARHAG 采用基于注意力的图神经网络层次属性推理网络（HARN），通过层次分组减少无关属性节点的噪声，从而实现对抽象和缺失属性的推理。此外，考虑到基本属性的可靠性不同，我们提出了一种注意力阈值引导的掩码，以进一步控制信息流，从而减少噪声对可靠节点的影响。在三个基准数据集上的广泛实验表明，ARHAG 在传统和广义 ZSL 场景中均取得了卓越的性能。

引言 在过去十年中，ZSL 在解决传统监督学习的局限性方面取得了重大进展，特别是，ZSL 模型有能力识别训练集中不存在的样本及其不相交的标签集。ZSL 通过利用已见类别和未见类别之间的内在语义关系来实现这一点 [28]、[29]、[42]。受人类快速学习新概念能力的启发，ZSL 采用已见类别和未见类别之间共享的额外语义信息（如属性 [52]、词向量 [48] 和句子 [46]）来促进知识转移。本质上，ZSL 方法使用这些语义描述来弥合已见类别和未见类别之间的差距。根据测试期间预测的标签空间，ZSL 方法分为两类：传统 ZSL（CZSL），仅预测未见类别；广义 ZSL（GZSL），同时预测已见和未见类别 [55]。
为了将知识从已见类别转移到未见类别，ZSL 方法通常构建视觉空间和语义空间之间的映射，这大致可分为生成方法和嵌入方法。生成方法 [4]、[10]、[11]、[12]、[17]、[24]、[47]、[56]、[60] 采用生成模型来学习未见类别的视觉特征分布。将通过从语义空间映射到视觉特征空间，这些方法生成对应于未见类别语义原型的视觉特征，有效地将 ZSL 转化为传统监督学习问题。
相比之下，早期的基于嵌入的 ZSL 方法旨在学习一个嵌入空间，在该空间中已见类别的全局视觉特征与其对应的语义原型相关联。这些方法通过计算学习空间中特征嵌入与不同类别原型之间的相似度来识别未见类别。然而，由于视觉语义差距的存在，从全局视觉特征学习嵌入到语义空间具有挑战性，导致早期嵌入方法性能不理想。为了解决这个问题，一些方法 [6]、[7]、[9]、[13] 使用注意力机制在视觉样本中定位语义向量中定义的属性，从而构建基于属性的视觉特征嵌入空间。其他方法，如基于属性图的方法 [8]、[58]，通过图神经网络引入属性之间的关系信息，有助于属性定位。与从全局视觉特征构建嵌入空间相比，这些方法减少了视觉语义差距，从而提高了性能。
上述方法在一定程度上缓解了全局级别的视觉语义差距，然而，它们在属性定位过程中仍然难以应对属性级别的视觉语义差距。这一问题在抽象属性的定位中尤为明显，如图 1(a) 所示。此外，严重依赖提取细粒度属性特征的基于注意力的方法在因遮挡或拍摄角度导致属性缺失时面临挑战，如图 1(b) 所示。对于引入属性图的方法，虽然它们利用关系来辅助属性定位，但属性之间缺乏显式的邻接关系往往会向各个属性节点引入噪声。如图 1(c) 所示，大多数基于属性图的方法简单地构建全连接图。在执行属性关系推理时，通常会将噪声信息引入当前节点（黄色节点向肉节点引入了噪声），从而导致性能较差。
为了解决这些挑战，我们提出了一种新颖的 ZSL 方法，称为基于层次属性分组的属性推理（ARHAG）。ARHAG 利用属性之间固有的语义关系，并利用异构图神经网络执行属性推理。这种方法有助于网络定位缺失和抽象属性，从而缓解属性级别的视觉语义差距问题，如图 1(d) 所示。具体来说，ARHAG 在属性定位网络（ALN）中采用基于注意力的模块来初步定位基本属性并获得基于属性的视觉特征。接下来，层次属性推理网络（HARN）对抽象和缺失属性进行推理。在 HARN 中，基本属性被分组以构建层次异构图，这初步控制了属性图内的信息流。然后，HARN 使用基于注意力的层次属性推理层在层次图内执行属性推理。此外，考虑到基本属性的置信度不同，我们提出了一种注意力阈值引导的掩码以进一步控制信息流。
本文的主要贡献总结如下：
•我们提出了一种新颖的 ZSL 框架，称为 ARHAG，以解决属性级别的视觉语义差距和属性缺失问题。ARHAG 采用 ALN 来初步定位基本属性，并采用 HARN 执行属性推理。这一过程细化了前一个阶段提取的属性特征，从而增强了 ZSL 性能。
•我们考虑了不同基本属性之间的固有关系，并设计了一种新颖的层次属性推理层。通过构建层次图进行属性分组并提出注意力阈值引导的掩码机制，我们严格控制信息流以最小化噪声传播。这一属性推理层被纳入 HARN 中。
•在三个具有挑战性的基准数据集（CUB、AWA2 [55]、CUB [53] 和 SUN [44]）上进行的广泛实验证明了 ARHAG 的优越性能。与基准 [7] 相比，ARHAG 在三个基准上的 acc/H 分别取得了 3.2%/2.2%、2.1%/1.3% 和 0.7%/0.0% 的显著提升。
本文其余部分组织如下。第 2 节讨论相关工作。第 3 节介绍所提出的 ARHAG。第 4 节提供实验结果和讨论。最后，我们在第 5 节总结全文。

章节片段
零样本学习
由于 ZSL 依赖额外的语义信息来识别未见类别，ZSL 方法 [4]、[10]、[11]、[15]、[30]、[38] 通常旨在建立广义的视觉语义相关性。一种常见的方法是基于嵌入的方法，它将样本在语义空间中的视觉表示与其语义原型对齐，以稳健地识别未见类别。早期的基于嵌入的 ZSL 方法 [33]、[35]、[40]、[49]、[54]、[60] 采用预训练或端到端可训练的
任务定义
我们首先介绍整个论文中使用的任务定义和符号。假设我们有已见数据集，其中包含已见类别集，其中表示第 - 个图像，其对应的类别标签。另一个未见类别集具有未标记的样本，其中表示未见类别图像，其对应的类别标签。这里，和表示已见和未见语义类别的集合，而和表示其对应的标签空间。此外，和。
数据集
我们在三个具有挑战性的基准数据集上评估我们的方法，即 CUB (Caltech UCSD Birds 200) [53]、SUN (SUN Attribute) [44] 和 AWA2 (Animals with Attributes 2) [55]。其中，CUB 和 SUN 是细粒度数据集，而 AWA2 是粗粒度数据集。遵循 [55]，我们使用相同的已见/未见划分和类别嵌入。具体来说，CUB 包括 200 个鸟类类别（已见/未见类别 = 150/50）的 11,788 张图像，具有 312 个属性。SUN 具有来自 717 个场景类别的 14,340 张图像。
结论与未来工作
在本文中，我们介绍了 ARHAG，这是一种新颖的方法，将属性关系信息整合到基于交叉注意力的 ZSL 方法中。为了充分利用属性关系，ARHAG 由两个子网络组成：ALN 和 HARN。首先，ALN 采用基于注意力的模块来定位判别性属性，从而获得基于属性的视觉特征。通过回顾 ALN 中使用的注意力模块，我们分析了属性定位中固有的视觉语义差距。
CRediT 作者贡献声明
Pengli Zhao：写作 – 审阅与编辑，写作 – 原稿撰写，验证，方法论。Peng Yu：写作 – 审阅与编辑，验证，监督，正式分析。Bowen Duan：写作 – 审阅与编辑，写作 – 原稿撰写，验证，方法论。Shiming Chen：写作 – 审阅与编辑，验证，监督。
利益冲突声明
作者声明他们没有已知的与本文所报告工作相关的财务利益或个人关系。
Pengli Zhao 获得了中国贵州大学硕士学历。她目前是中国许昌电气职业学院信息工程学院的讲师。她的研究兴趣包括人工智能、机器学习和图像处理。
Pengli Zhao|Peng Yu|Bowen Duan|Shiming Chen 许昌电气职业学院，中国许昌