用于泛化零样本学习的特征混淆缓解与特征解耦技术

《Knowledge-Based Systems》：Feature Confusion Mitigation and Feature Disentanglement for Generalized Zero-Shot Learning

　　•针对GZSL提出一种特征混淆缓解与特征解耦框架。•设计一个并行的视觉-语义解耦网络。•设计一个具有判别性语义的视觉特征生成流模块。•通过实验验证该框架的性能。

引言[1]：大多数机器学习任务都需要大量带标签的数据，而获取这些数据往往成本高昂、耗时较长，甚至无法获得。因此，零样本学习（ZSL）被提出来解决这些问题。在ZSL中，训练阶段无法获取未见类别的视觉特征，但在测试阶段却需要识别这些类别的视觉特征。近年来，ZSL已成为研究热点，并取得了快速发展[10,11]。然而，现有的ZSL方法存在以下两个由特征问题引发的问题。(1)如图1所示，由于特征冗余而产生的视觉-语义对齐偏差问题（即特征冗余问题）。深度骨干网络提取的特征与ZSL中的语义属性关联度不高，而人工标注的语义属性中包含冗余信息，这影响了视觉与语义的对齐。(2)图1还展示了由于特征混淆而产生的域内和域间分类偏差问题（即特征混淆问题）。当合成的未见样本质量较差且缺乏足够的区分能力时，会在未见领域出现因特征混淆导致的域内分类偏差，使得未见类别被错误地归类到其他未见类别中。而当生成网络基于已见样本进行训练，且已见特征与未见特征存在一定相似性时，就会产生因特征混淆导致的域间分类偏差，此时合成的未见样本会受到已见类别的影响，被误分类为已见类别。目前，研究人员分别针对这两个问题展开研究。首先，一些研究者通过特征解耦来缓解特征冗余问题。有论文采用单向解耦方法分离与语义相关的特征[7,30]，但他们忽略了原始语义中的固有冗余，导致解耦后的视觉特征不得不与带有冗余的信息的语义信息对齐，从而无法完全分离出具有判别性和冗余性的特征。Li等人[17]在论文中提出了一种双层VAE结构来提取特征，但该模型要求视觉和语义的类别分散因子遵循相同的分布，这在解耦过程中引入了额外的偏差。因此，开发有效的视觉-语义解耦方法仍是一个亟待解决的关键挑战。其次，一些作者试图解决特征混淆问题。Chen等人[6]将原始语义属性融入生成流中，Su等人[28]则将语义条件作为输入传递给生成流。不过，这些方法中的语义嵌入仍然依赖于原始语义属性，合成特征会受到内部冗余信息的干扰，因而无法彻底解决特征混淆问题。实际上，使用包含冗余信息的语义来合成视觉特征必然会导致特征混淆。而对于受到特征混淆影响的生成器，其合成的视觉特征会部分匹配冗余信息。这说明特征冗余和特征混淆并非孤立的问题，而是相互关联的，在特定情况下会同时出现。这就意味着有必要同时解决这两个问题。因此，从这两个问题紧密关联且同时出现的角度出发，我们为GZSL提出了一种新的框架——特征混淆缓解与特征解耦框架（FCMFD）。首先，我们提出了视觉-语义并行解耦模块，用于精细化处理、分离具有判别性和冗余性的特征，同时实现视觉特征与语义特征的分离。其次，我们设计了具有判别性语义的生成流模块，将具有判别性的语义特征融入各个耦合层，确保视觉特征能够表达出判别性语义信息。我们工作的主要贡献如下：•我们提出了一种新的框架——针对GZSL的特征混淆缓解与特征解耦框架，用于解决特征冗余和特征混淆问题这两者紧密关联且同时出现的问题。•我们设计了一个并行的视觉-语义解耦网络，可同时实现视觉特征与语义特征的分离。该网络能够强化具有判别性的视觉特征与语义特征之间的关联，同时不会在视觉与语义之间建立不必要的联系。•我们设计了具有判别性语义的视觉特征生成流模块，可在特征解耦后整合具有判别性的语义特征，确保合成视觉特征在语义上保持一致性。•与现有方法相比，我们所提出的优化方法在大多数情况下都能取得最佳效果，在通用零样本场景和传统零样本场景下，其性能均显著优于基准模型。

章节节选
零样本学习：现有的GZSL方法大致可分为两类：嵌入方法和生成方法。嵌入方法[[3], [4], [5],34]通常通过学习嵌入空间来建立语义与视觉之间的对应关系。生成方法则利用语义信息直接为未见类别合成视觉样本，从而使ZSL转化为一个监督学习任务。Xian等人[32]借助Wasserstein GAN[1]来生成视觉特征。

问题设定：在GZSL中，所有类别被分为两个互不相交的集合：已见集S={XS,YS,AS}和未见集U={XU,YU,AU}，其中XS (XU)、YS (YU)、AS (AU)分别表示已见（未见）类别的视觉特征集、标签集和属性集。已见集和未见集的样本数量分别为NS和NU。已见集和未见集中某个样本的语义描述分别用aS和aU表示。已见类别与未见类别是互不相交的，即YS∩YU=?。ZSL的目标就是学习……

数据集：我们在四个基准数据集上评估我们的方法：属性Pascal和Yahoo（APY）[9]、带属性的动物2（AWA2）[14]、Caltech-UCSD Birds200-2011（CUB）[31]以及牛津花卉（FLO）[25]。APY和AWA2属于粗粒度数据集，而CUB和FLO属于细粒度数据集。APY共有18627张图像，它由包含30个类别的a-Pascal数据集和包含12个类别的a-Yahoo数据集组成，这两个数据集分别作为已见类别和未见类别。每个类别都有64个标注……

结论：我们为GZSL提出了一种新的特征混淆缓解与特征解耦框架，用于解决特征冗余和特征混淆问题这两者紧密关联且同时出现的问题。首先，我们构建了一个并行的视觉-语义特征解耦网络，用于精细化处理、分离具有判别性和冗余性的特征，同时实现视觉特征与语义特征的分离。其次，我们设计了具有判别性视觉-语义关系模块……

利益冲突声明：作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。

数据可用性：本研究使用了四个公开可用的基准数据集：属性Pascal和Yahoo（APY）、带属性的动物2（AWA2）、Caltech-UCSD Birds200-2011（CUB）以及牛津花卉（FLO）。

未引用参考文献[2,15]

CRediT作者贡献说明：何春梅：写作——审稿与编辑、写作——初稿撰写、指导、资源提供、项目管理、方法设计、资金获取、正式分析、概念构思。江欣：写作——初稿撰写、可视化、验证、软件使用、研究调查、数据整理。郑春烨：写作——审稿与编辑、写作——初稿撰写、资源提供、项目管理、研究调查。杨凌：写作——审稿与编辑、资源提供、研究调查、数据整理。

何春梅|江欣|郑春烨|杨凌