基于双重特征驱动的局部多标签学习方法

《Pattern Recognition》：Dual feature-driven approach for partial multi-label learning

　　

• •
  一种具有理论误差分析的双特征驱动PML方法。
• •
  用于噪声特征识别的低秩与稀疏分解方法。
• •
  利用标签相关性及粒度估计标签置信度。
• •
  相较于现有最先进方法，该方案性能更优。

引言

多标签学习是一种监督学习框架，其中每个实例都与多个标签相关联[1]、[2]、[3]。传统的多标签学习方法假设每个样本的所有相关标签都被精确标注。然而现实场景中往往存在部分正确的多标签数据，即实例被标注为包含相关标签和噪声标签的候选标签集。例如在众包平台上，标注者的专业水平各异，这可能导致只有部分候选标签是可靠的，如图1所示。这一问题被正式定义为部分多标签学习，其目标是开发出能够通过有效利用这些候选标签集，为未见实例准确分配相关标签集的多标签分类模型。部分多标签学习广泛应用于在线搜索查询、生态信息学、众包系统等领域[6]、[7]、[8]等。

近期研究提出了多种解决部分多标签学习问题的方法，其中消歧技术尤为关键。这些方法大多侧重于解决标签空间的歧义问题。为了从含噪声的候选标签集中识别出可靠标签，它们通常会估计标签置信度、利用标签相关性或传递标签信息，而这些方法往往依赖于低秩性[9]、[10]、稀疏性[7]、[11]、[12]、流式结构[13]、[14]、[15]以及标签相关性[16]、[17]、[18]等结构假设。尽管这些方法效果不错，但它们通常假定原始特征表示具有足够的区分能力以用于标签消歧。然而当部分多标签学习数据包含模糊特征时，这一假定可能不成立。具体来说，某些特征在不同标签之间可能存在高度相似性，从而导致标注噪声。与标签歧义不同，特征歧义源自输入空间，指的是那些在语义上有效但区分能力较弱的特征，这类特征为视觉或语义上相似的标签所共有。例如如图2所示，毛皮纹理和面部形状（蓝色框标出）常被非专业人士误判，从而导致众包标签中“哈士奇”和“狼”被混淆。我们将这类特征定义为模糊特征，因为它们难以区分不同的标签。相比之下，尾巴朝向（红色框标出）则是能够可靠区分这两个类别的有效特征。准确识别并利用这一特征对于区分“哈士奇”和“狼”至关重要。需要指出的是，模糊特征也与噪声特征不同。噪声特征通常由外部干扰造成，如模糊、阴影或传输错误（图2中黄色标出），而模糊特征虽然仍包含有意义的语义信息，但其区分能力不足。总之，标签歧义属于标签空间问题，而特征歧义则属于特征空间问题。如果忽视特征歧义，模型可能会依赖那些共有但无区分能力的特征，进而强化错误的候选标签，降低部分多标签学习的消歧效果。

上述区别表明，特征层面的可靠性对部分多标签学习至关重要。然而，识别模糊特征并非易事，因为现实数据往往同时存在噪声特征。为减轻特征噪声的影响，Li等人[9]提出通过利用特征间的相关性并施加正交性约束，将原始的噪声特征空间映射到低维特征子空间，以此提升抗噪能力并确保子空间的区分性。Sun等人[14]则采用低秩与稀疏分解方法处理噪声特征，将观测到的特征矩阵分解为低秩特征矩阵和稀疏噪声矩阵。与此同时，Wu等人[19]通过稀疏重建学习实例关联矩阵，再利用该矩阵对特征表示进行去噪处理。不过，这些方法仍不足以实现特征层面的部分多标签学习消歧。现有的部分多标签学习方法主要致力于修正候选标签，而现有的特征去噪方法则主要着眼于消除干扰或冗余信息。它们并未明确识别出那些在语义上有效但区分能力较弱的模糊特征。此外，如果在不分离特征处理和标签消歧的情况下进行联合优化，噪声标签仍可能反馈到特征学习中，从而误导模糊特征的估算。

基于以上分析，本文首先从理论上证明，模糊特征会增加泛化误差上限，进而降低分类性能。这一理论发现揭示了现有方法的一个根本局限：仅依靠标签空间校正并非最优方案，因为模糊特征会持续干扰标签置信度的估算。为突破这一瓶颈，我们提出了双特征驱动的部分多标签学习框架。与现有方法不同，该框架通过分离的两阶段设计来明确建模特征可靠性。首先，它利用低秩与稀疏分解过滤掉外部噪声特征，恢复纯净的内在特征表示；其次，它在纯净的特征表示基础上，借助标签置信度引导机制，自适应地识别并降低模糊特征的影响力。通过严格区分噪声去除和模糊特征建模，我们的方法避免了物理噪声对模糊特征估算的干扰，有效消除了噪声特征、模糊特征与噪声候选标签之间的有害关联。

本文的主要贡献如下：

• •
  我们首次从特征层面出发探讨部分多标签学习问题，明确了特征歧义与标签歧义的区别。此外，我们还通过拉德马赫复杂度建立了泛化误差上限的理论框架，严格证明了减少模糊特征对于控制模型复杂度并提升泛化性能的重要性。
• •
  我们提出了一种基于低秩与稀疏分解的噪声特征识别方法，用于净化特征表示空间。该方法能够有效过滤掉外部稀疏噪声，恢复数据的内在结构，从而消除物理噪声的干扰，为后续特征学习提供纯净的基础。
• •
  我们设计了一种基于标签置信度估算的、具备模糊特征识别能力的机制。该机制通过结合邻域粒度与标签相关性来评估标签的可靠性，进而利用深度神经网络自适应地量化并降低那些区分能力较弱的特征的影响力，成功打破了特征歧义与标签噪声之间的有害关联。
• •
  我们在20个真实数据集和合成数据集上使用五种性能指标评估了所提方法，并与八种现有的部分多标签学习算法进行了比较。结果显示，我们的方法在所有对比方法中取得了最佳的整体性能。

本文的其余结构如下：第2节简要回顾了与所提方法相关的现有工作；第3节详细介绍了DF-PML方法的技术细节；第4节展示了大量的实验结果；最后，第5节对所提方法进行了总结。

各节要点

相关研究

多标签学习与部分多标签学习是密切相关的学习范式。多标签学习侧重于从每个实例都关联多个标签的数据中学习，而部分多标签学习则扩展了这一范式，用于处理那些存在模糊候选标签的情况，即给定的标签中只有一部分是正确的。

所提方法

所提出的DF-PML框架包含两个依次进行的机制：噪声特征识别与模糊特征识别。这种两阶段设计的灵感来源于噪声特征和模糊特征在部分多标签学习中的不同作用。噪声特征通常是数据采集或传输过程中产生的无关干扰，而模糊特征则是多个标签共有的、在语义上有效但区分能力较弱的特征。如果直接在原始数据上进行模糊特征建模

数据集

表2总结了本研究用于对比分析的11个真实世界和合成部分多标签学习数据集的特点。为了构建合成数据集，我们对多标签数据集¹进行了修改，加入了随机标签噪声。对于每个数据点，我们会随意选取一些无关标签，与实际标签一起构成候选标签集。此外，我们还进行了预处理，通过删除没有标签的样本来支持部分标注功能

结论

本文通过噪声特征识别和模糊特征识别两种方法，提出了一种新的部分多标签学习方法。与那些主要关注标签层面消歧的传统方法不同，本研究强调了在特征层面进行模糊特征建模对于提升部分多标签学习鲁棒性的重要性。具体而言，我们结合低秩与稀疏假设以及矩阵分解技术，恢复了数据的内在特征，从而实现了对噪声特征的有效识别

CRediT作者贡献说明

涂彦强：撰写——审稿与编辑、撰写——初稿、可视化、验证、软件、方法论。吕耿宇：验证、资源获取、研究调查、形式化分析。柯伟：监督、资源获取、资金筹集。钱文斌：验证、监督、研究调查、资金筹集、形式化分析。罗武曼：验证、监督、资源获取、项目管理、研究调查、资金筹集、形式化分析。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知利益冲突或个人关系。

涂彦强|吕耿宇|柯伟|钱文斌|罗武曼