基于自适应二分图嵌入的局部多标签学习

《Neurocomputing》：Partial multi-label learning via adaptive bipartite graph embedding

　　李红|梁佳俊|赵大为 中国江苏省南京市东南大学土木工程学院，邮编211189 摘要 部分多标签学习中，每个数据样本都关联着一组候选标签集，而这些标签集中只有一部分是训练样本的真实标签，其余为误判标签。目前已有多种基于图的方法被开发出来，并取得了不错的效果，它们通过分析实例的图结构来区分不同的候选标签集。不过，现有的基于图的方法存在两个缺陷：1）一些模型将相似性图构建与分类分开进行，两阶段的粗糙处理导致构建的相似性图并不适合分类任务；2）大多数模型在构建成对相似性图时计算复杂度很高，这不利于实际应用。本文提出了一种新的PML方法，即联合自适应二分图嵌入与标签相关性学习。具体而言，首先在核空间中挖掘锚点样本以构建相似性图，并利用l2,p-范数来缓解由样本噪声引起的“锚点偏移”问题。然后引入软标签矩阵，使其参与图构建过程，确保模型能够在特征层和语义层恢复候选标签的置信度，从而生成相对准确的伪标签。最后，通过标签相关性和二分图特征引导的消歧模型，在统一框架内优化分类器。通过对真实数据和合成数据的大量实验研究，验证了所提方法在解决PML问题方面的有效性和鲁棒性。引言 部分多标签学习（PML）[1]、[2]是一种典型的弱监督学习问题，其中每个训练样本都关联着一组候选标签，但只有其中一部分是真实标签，其余为误判标签。PML的关键挑战在于处理这些误判标签带来的标签模糊性问题。在现实应用中，由于精确标注的成本较高，部分标记的数据十分常见，因此从这种模糊的监督数据中准确恢复真实标签变得越来越重要。一种简单的做法是将所有候选标签都视为有效标签，然后应用标准的多标签分类器[3]。然而，标签模糊性会导致标签置信度估计出现误差，尤其是当误判标签的比例较高时。因此，一种常见的PML消歧策略是直接从候选标签集中识别真实标签。不过，这种方法可能会被误判标签误导[4]、[5]。面对部分标记数据中的标签信息模糊问题，学者们更倾向于挖掘样本的结构关系[6]、[7]以及标签相关性[8]、[9]、[10]来帮助消歧。此外，由于性能优异，基于图的PML消歧方法也被广泛开发[11]、[12]、[13]。基于图的PML方法可以通过邻居聚合信息学习样本结构信息，从而获得相对准确的候选标签置信度。不过，我们发现现有的图消歧方法存在以下两个缺点：(1) 大多数方法采用两阶段方法，即分别进行图消歧和标签预测，这两个过程无法相互协作，从而导致结果不佳；(2) 基于成对图学习方法构建的n顶点相似性图至少需要O(n2d)的时间复杂度，其中n为样本数量，d为特征维度，这对于大规模数据的实际应用来说很不理想。为了加快图构建速度，稀疏二分图学习是一种流行的策略，它通过连接原始样本和锚点样本来构建相似图[14]。一种常见的锚点选择方法是基于聚类的样本生成策略[15]。然而，噪声和异常值可能会导致“锚点偏移”现象，进而破坏聚类效果[16]，而这些低区分度的锚点又会导致二分图表示不准确。为了解决这些局限性，我们提出了一种新的部分多标签学习方法，名为PML-BGE（通过自适应二分图嵌入的部分多标签学习）。其核心思想是构建一个自适应二分图，将原始实例与一组简洁的锚点相连，从而大幅降低计算复杂度。与传统依赖预定义锚点的二分图方法不同，我们的方法在核诱导的特征空间中同时学习锚点和图结构。通过引入l2,p-范数，该模型能够抵抗噪声和异常值的影响，有效缓解“锚点偏移”问题。l2,p-范数的固有灵活性使得模型能够根据不同的噪声水平自适应调整惩罚强度，相比传统的Frobenius范数或l2范数，它能在锚点学习过程中更好地抑制异常值的不利影响。此外，我们还为实例和锚点引入了软标签矩阵，使图不仅能捕捉特征空间中的相似性，还能捕捉语义层面的相似性。二分图、软标签、标签相关性以及最终的分类器在统一框架内共同优化，促进了各组件之间的相互增强，使得学习结果更加连贯和有效。本文的主要贡献如下：•我们提出了一种端到端的PML方法，它在统一框架内共同优化二分图构建、标签消歧和分类器学习，从而避免了两阶段方法的次优性。•为了解决由噪声特征和异常值引起的“锚点偏移”问题，我们在二分图构建中引入了l2,p-范数。锚点在核诱导的特征空间中学习，而l2,p-范数则能自适应地对样本进行加权，有效抑制噪声的影响，提升图的质量。•二分图的构建不仅基于特征相似性，还基于原始样本和锚点的软标签矩阵所衡量的语义一致性。这种双重层次的图传播机制使得模型能够从模糊的候选标签中恢复出准确的标签置信度。•我们在分类项中加入了具有正交性约束的标签相关性矩阵，以此捕捉标签之间的依赖关系，进一步减轻标签模糊性。分类器和标签相关性同时优化，从而得到一个简洁高效的多标签预测器。相关研究 除了上述PML方法之外，近期在复杂场景下的多标签学习领域也有一些重要的进展。对于非对齐的多视图部分多标签学习，王和徐[17]提出了一种因子群稀疏正则化方法，用于对齐不同视图并恢复缺失的标签。在标签分布学习方面，赵等人[18]开发了一个可扩展的框架，能够以分布形式捕捉标签的模糊性，这与我们的软标签方法相辅相成。符号说明 PML的目标是从训练样本中开发出有效的分类器，用以预测未知的候选标签。在本文中，我们用X={x1,x2,…,xn}∈Rn×d表示具有d维特征的n个样本的集合，而Y={y1,y2,…,yn}∈{0,1}n×q则表示与该实例对应的q个候选标签的集合。需要注意的是，当Yij=1时，表示第j个标签是第i个实例的候选标签；否则，Yij=0。建模方法 与传统的两阶段方法不同，传统方法会在之前先构建固定的图结构。优化问题 方程(5)中的最小化问题在同时考虑所有变量时并非联合凸函数。因此，我们采用了交替优化方法，即在固定其他变量的情况下逐步优化每个变量。数据集 我们选择了十个数据集进行对比研究，以评估PML-BGE的有效性。其中包含了三个真实的PML数据集（音乐情感、音乐风格和mirflick）。其余的则为来自多标签数据的合成数据，详细信息见表1。在本文中，我们采用了常用的方法引入标注噪声来生成PML示例。结论 本文研究了部分多标签学习问题，并提出了一种基于自适应二分图嵌入引导的消歧新方法。PML-BGE试图在核空间样本空间中挖掘锚点样本，并利用l2,p-范数来缓解“锚点偏移”问题，提升二分图构建的质量。该方法同时运用图嵌入和标签相关性学习来恢复真实标签。PML-BGE能够有效地消除标签的模糊性。CRediT作者贡献说明 李红：撰写——初稿、正式分析、数据整理。梁佳俊：正式分析、可视化。赵大为：方法论、资金获取。利益冲突声明 作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。李红于1997年出生于中国安徽省池州。她于2023年在安徽大学获得电子信息专业硕士学位，目前正在东南大学土木工程学院攻读博士学位。她的研究兴趣包括数据挖掘、数据分析以及桥梁健康监测。