基于旋转引导的低秩隔离方法在部分多标签学习中的噪声识别应用

《Expert Systems with Applications》：Rotation-guided low-rank isolation for noise identification in partial multi-label learning

　　

• •
  低秩分解通过全局相关性将真实标签与噪声分离。
• •
  正交旋转可修正特征到标签的映射关系，从而降低量化误差。
• •
  对标签流形的学习建模能提升模型对噪声的鲁棒性。

引言

在机器学习中，数据标注成本高昂以及标注信息不完整一直是长期存在的难题。传统的多标签学习假设每个实例的所有标注标签都是真实的Zhang & Zhou (2014)，但这一假设在现实场景中往往不成立。例如在图像标注任务中，用户提供的标签集可能包含许多无关标签，而真实标签仅是其中的一部分。2018年Xie & Huang提出了部分多标签学习的概念。其核心问题是每个实例对应一组候选标签，而真实标签只是这些候选标签中的未知子集。与传统的多标签学习和部分标签学习相比，部分多标签学习的独特之处在于它不仅要处理多个真实标签，还要应对候选标签集中假阳性标签带来的干扰。例如在图1中，“海洋、树木、太阳、云朵、鸟类”和“沙漠”都是候选标签，其中后两个标签属于噪声标签，它们会干扰多标签学习，使得部分多标签学习更加困难。

部分多标签学习在现实中有广泛的应用场景。在多媒体内容分析中，用户对图像的标注往往带有主观性或错误，需要从候选标签集中识别出真实标签。在医疗诊断中，患者的症状可能对应多种疑似疾病标签，但真正的原因只有一种。在自然语言处理中，一篇文档的候选主题标签中只有部分可能与内容真正相关。这些场景都有一个共同特点：标注信息模糊不清，真实标签隐藏在候选标签集中，且真实标签的数量也是未知的Xie & Huang (2018)。

现有的部分多标签学习方法主要面临两大挑战：一是如何有效区分真实标签和候选标签，二是如何利用特征空间与标签空间之间的关联信息来提升分类性能。传统方法通常只关注所有标签之间的相关性，比如为所有标签构建图拉普拉斯矩阵Hu et al. (2024)，或者直接计算标签之间的相似度Zhong, Shang, Zhao, Zhang, & Xu (2024)。但由于噪声标签具有随机性，过度学习噪声会导致模型过拟合。此外，当候选标签集中的假阳性标签比例较高时，现有方法的性能会显著下降，这就凸显出需要更强大的去歧义机制。

当前部分多标签学习方法的另一个关键局限是，它们可能没有明确考虑标签预测流程中的一个重要问题——量化误差。大多数现有方法直接将实例投影到标签矩阵上，再通过中间变量来近似真实标签。然而，部分多标签学习中的标签空间仅由逻辑二进制值构成，无法充分体现类别标签与实例之间不同程度的关联。相比之下，分类器通常输出连续值，需要通过符号函数等量化函数将其转换为二进制标签。这种离散化过程可能会引入较大的分类歧义，尤其是当投影值密集分布在0.5的决策边界附近时，会进一步影响模型的分类性能。据我们所知，此前还没有任何部分多标签学习研究通过投影空间的几何优化来解决这一量化误差问题。

为了解决这些局限，本文提出了一种用于部分多标签学习的旋转引导型低秩算法，命名为PML-ROG。PML-ROG的核心框架整合了三个关键技术要素：低秩约束、旋转矩阵以及图正则化，其双重目标是高效识别真实标签并消除噪声标签的歧义。PML-ROG的整体架构如图2所示。

PML-ROG最核心的创新在于引入了旋转矩阵，用于优化从特征空间到标签空间的投影方向。与传统直接将特征映射到标签空间的部分多标签学习方法不同，PML-ROG采用两步映射策略：首先将特征投影到中间表示空间，然后再对该空间进行旋转操作。这种旋转能够调整投影值的分布，使其更符合真实标签的二元结构，为后续的标签去歧义和恢复工作奠定基础。

接下来，在特征空间层面，根据实例之间的相似性构建图拉普拉斯矩阵，这一做法基于“特征相似的实例应具有相似的预测标签分布”的平滑性假设。通过将该图拉普拉斯矩阵与低秩的真实标签矩阵相结合，可以进一步捕捉真实标签之间的相关性，从而有效建立特征空间与标签空间之间的关联。

之后，该框架进入核心的映射与旋转阶段。首先，将旗帜数据集的10维特征投影到7维的中间表示空间（与该类别标签的数量相对应）。然后对中间空间应用旋转矩阵来优化投影方向，这种旋转能够调整数据点的分布，使其更符合真实标签的二元结构。

鉴于上述挑战，本研究的主要目标是开发一种更为鲁棒的部分多标签学习框架，以克服现有方法在处理噪声标签和映射误差方面的不足。具体而言，研究目标包括解决量化误差问题、提升去噪声歧义的能力，以及保持特征空间与标签空间之间的流形结构一致性。据此，本研究的主要贡献总结如下。

• •
  本文引入了旋转矩阵，用于优化从特征到标签空间的投影方向。这种几何变换使得映射结果更接近真实标签的二元结构，有效解决了从连续的分类器输出转换为离散标签预测时的量化误差问题。
• •
  本文提出了一种统一的框架，该框架融合了低秩约束、稀疏分解以及图正则化技术。它通过联合优化同时实现噪声标签的识别和真实标签的恢复，进而借助全局标签相关性以及数据流形结构提升模型的鲁棒性和区分能力。
• •
  在18个合成部分多标签学习数据集和3个真实数据集上进行的大量实验和分析表明，尽管在汉明损失指标上存在一定局限性，但所提出的PML-ROG方法在基于排序的评估指标上的表现优于现有的最先进方法。

本文的其余结构安排如下。第2节回顾了多标签学习、部分标签学习以及部分多标签学习的相关研究。第3节介绍了所提出的PML-ROG方法，包括问题定义、低秩约束、旋转引导型投影优化、图正则化以及交替优化算法。第4节展示了实验结果，包括性能对比、消融实验、参数敏感性分析以及收敛性分析。第5节探讨了该方法的优点与局限性，第6节则总结了本文的研究成果，并指出了未来的研究方向。

章节摘要

相关工作

本节梳理了构成本研究基础的三个关键领域的相关文献。首先分析了传统的多标签学习方法及其在处理噪声标签方面的局限性。接着探讨了用于解决单标签歧义的部分标签学习方法。最后分析了现有的部分多标签学习技术，并指出了促使本文提出新方法的那些关键挑战。

所提出的方法

本节详细介绍了PML-ROG算法的实现细节和优化过程，说明了该方法如何通过整合低秩约束、旋转引导型投影优化以及图正则化这三种核心技术，来解决部分多标签学习中的噪声歧义问题。

实验与分析

本节对所提出的方法进行了全面的实验验证。该方法在合成数据集和真实数据集上进行了测试，并与七种最先进的基线方法在五种标准评估指标上进行了比较。实验内容包括性能对比、统计显著性检验、参数敏感性分析、旨在验证各组件作用的消融实验，以及用于证明算法稳定性的收敛性分析。

讨论

为阐明本研究的独特之处及其意义，我们详细讨论了PML-ROG与现有方法的区别。与大多数主要依赖标签相关性、且可能没有明确解决将连续分类器输出转换为离散标签空间时产生的量化误差的现有部分多标签学习方法不同，PML-ROG通过引入旋转引导型的几何优化策略来解决这一瓶颈。从理论上来看，这种方法起到了桥梁作用

结论

现有的部分多标签学习方法可能无法充分解决将连续分类器输出转换为离散标签预测时所产生的量化误差问题。因此，本文提出了一种新的部分多标签学习算法PML-ROG，用于应对候选标签集中噪声标签干扰这一难题。该算法整合了三种互补的技术：用于恢复真实标签的低秩约束、用于

未引用文献

缺少表5的引用内容。

CRediT作者贡献说明

邓 Rudan：原文撰写、审稿与编辑、概念构思、形式分析、研究调查、方法设计、软件开发、可视化处理。陈红梅：审稿与编辑、形式分析、资金获取、研究调查、项目管理、监督指导、结果验证。向彪：方法设计、审稿与编辑。洪世锦：概念构思、数据整理。李天瑞：数据整理、形式分析、资源协调。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。

Rudan Deng|Hongmei Chen|Biao Xiang|Shi-Jinn Horng|Tianrui Li