通过特征-标签双向关联结合自适应标签图扩散实现的部分多标签特征选择

《Neurocomputing》：Partial multi-label feature selection via feature-label bidirectional association with adaptive label graph diffusion

　　

单绍豪|刘静华|张洪波|于元龙|孙振振

福建厦门华侨大学计算机科学与技术学院，361021，中国

摘要

部分多标签学习（PML）是一种弱监督学习框架，旨在处理带有噪声标签的多标签数据。除了噪声标签的干扰外，多标签数据还经常受到高维特征引起的“维数灾难”的影响，这严重降低了PML算法的性能。为了同时消除噪声标签和冗余特征带来的不利影响，本文提出了一种新的特征选择方法PMFS-BAGD，该方法通过特征-标签双向关联和自适应标签图扩散来实现PML。具体来说，PMFS-BAGD首先建立了一个带有非候选标签约束的特征-标签双向映射模型，以从训练数据中恢复潜在的标签分布，有效抑制了标签噪声的干扰。随后，引入了一个自适应图扩散框架来动态探索高阶标签相关性，进一步用于指导特征权重的训练，确保相关标签具有相似的特征权重。最后，通过对特征权重施加$$' role="presentation">$$-范数约束，PMFS-BAGD能够选择出具有高区分度的特征子集。在各种数据集上的综合实验结果验证了我们提出方法的优越性。

引言

分类是机器学习中的一个基本任务。其核心目标是在精确标注的数据上训练模型，以便它们能够推断出未见实例的相应类别标签。传统的分类学习假设每个样本只与一个语义标签相关联。然而，许多现实世界中的对象并不符合这一假设。例如，一篇新闻报道可以同时被归类为“政治”、“经济”和“娱乐”等多个类别。为了克服传统分类的局限性并解决单个样本与多个语义标签相关联的问题，研究人员提出了多标签学习（MLL）框架[1]、[2]。MLL已在文本分类[3]、图像标注[4]和生物医学[5]等多个领域得到有效应用。然而，随着标签数量的增加，多标签数据的标注变得越来越困难，准确标注的成本也大幅上升。在许多应用中，只能获得粗略标注的数据，这意味着每个样本的候选标签包括真实标签和噪声标签，如图1所示。

为了解决标签噪声问题，提出了新的弱监督学习框架——部分多标签学习（PML）[6]、[7]，该框架旨在从带有噪声标签的训练数据中学习一个鲁棒的多标签预测器。目前，已经提出了各种消歧策略来消除噪声标签的干扰，其中基于标签分布学习（LDL）的方法越来越受到关注[8]、[9]。LDL为每个标签分配一个连续的描述度，以指示其相对于实例的重要性，而不仅仅是简单地用二进制值标记为相关或不相关。通过这种方式，标签分布可以为模糊的标签信息提供更丰富的监督。例如，Xu等人[8]将LDL引入PML，并取得了有希望的性能，证明了标签分布可以更好地描述PML中的模糊监督。

尽管PML在一定程度上减轻了标签噪声对模型学习的负面影响，但它忽略了无关和冗余特征也会降低模型性能的事实。随着数据规模和维度的快速增长，PML不可避免地会遇到“维数灾难”。如何在标签噪声存在的情况下选择具有区分度的特征子集已成为PML的一个新挑战。最近，研究人员提出了一些部分多标签特征选择（PMFS）方法[10]、[11]、[12]、[13]来应对这一挑战，其中探索标签相关性至关重要。然而，现有的PMFS方法存在几个缺点：（1）它们通常只通过捕获标签之间的成对关联来学习低阶标签相关性，难以准确反映标签之间的深层内在语义联系；（2）它们只考虑从标签空间到特征空间或从特征空间到标签空间的单向映射。这导致特征表示与真实标签语义之间的关联较弱，从而影响特征选择的质量。

为了解决上述挑战，我们提出了一种新的PMFS方法，即通过特征-标签双向关联和自适应标签图扩散来实现，称为PMFS-BAGD。具体来说，我们的方法构建了一个双向特征-标签映射模型，同时学习训练数据的标签分布和特征权重，有效抑制了标签噪声的干扰。这种双向关联通过结合非候选标签约束和特征流形正则化，实现了特征和标签之间的可靠对齐。此外，我们引入了一个自适应标签图扩散模型来传播标签四元组之间的相似性，有效探索了高阶标签相关性。最后，将这些组件整合到一个带有$$' role="presentation">$$范数约束的稀疏建模框架中，使PMFS-BAGD能够识别出最具有区分度的特征子集。我们开发了一个高效的交替迭代算法来解决由此产生的优化问题，并确保稳定收敛，同时在各种数据集上的广泛比较实验验证了所提出方法的有效性和优越性。主要贡献总结如下：

• •
  设计了一个带有非候选标签约束和特征流形正则化的双向特征-标签映射模型，有效捕获了特征表示和标签语义之间的内在协同作用。
• •
  引入了一个自适应标签图扩散框架来探索高阶标签相关性，并指导特征权重学习，确保相似标签具有一致的特征权重。
• •
  通过将特征-标签双向映射和自适应标签图扩散统一到一个稀疏建模范式中，提出了一种新的嵌入式PMFS方法，以共同解决PML中的标签噪声和“维数灾难”问题。

本文的其余部分结构如下。第2节简要回顾了相关工作。第3节详细介绍了所提出的PMFS-BAGD方法。第4节对实验结果进行了全面分析。最后，第5节总结了本文。

章节片段

相关工作

PMFS可以被视为PML和多标签特征选择（MFS）的集成。因此，本节首先回顾了PML和MFS的相关工作，然后总结了PMFS的最新进展。

提出的方法

在本节中，我们将详细阐述所提出的PMFS-BAGD方法。我们首先设计了一个带有非候选标签约束的双向特征-标签映射模型来学习标签分布。同时，我们通过标签图扩散探索高阶相关性，以支持特征权重的学习。最后，我们基于稀疏正则化构建了一个嵌入式模型来实现特征选择。所提出方法的框架如图2所示。

实验

在本节中，我们通过一系列广泛的比较实验来评估所提出的PMFS-BAGD方法的性能，以验证其有效性。所有实验结果都是在配置有Windows 10操作系统、运行速度为3.60GHz的Intel(R) Core(TM) i7-12700K CPU和32 GB RAM的计算机上生成的，而整个代码是用MATLAB 2023b实现的。

结论

本文通过提出一种称为PMFS-BAGD的新特征选择方法，解决了PML中的标签噪声干扰和高维特征冗余的双重挑战，该方法结合了特征-标签双向关联和自适应标签图扩散。PMFS-BAGD在特征空间和标签空间之间建立了双向映射框架，有效抑制了噪声并实现了特征选择的目的。通过结合非候选标签约束

CRediT作者贡献声明

单绍豪：撰写——原始草稿，可视化，方法论。刘静华：验证，数据管理。张洪波：调查，概念化。于元龙：监督，资源。孙振振：撰写——审阅与编辑，监督，方法论。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢

本工作得到了福建省自然科学基金（编号2026J008177）、福建省青年人才培养基金（编号2025350117）和中国国家自然科学基金（编号62306121）的支持，并部分得到了华侨大学基本研究基金（编号ZQN-1115）的支持。

单绍豪于2024年从中国厦门华侨大学获得计算机科学与技术学士学位。他目前正在华侨大学计算机科学与技术学院攻读硕士学位。他的研究兴趣包括机器学习和数据挖掘。