基于对比标签增强的多标签特征选择

《Pattern Recognition》：Contrastive label enhancement-based multi-label feature selection

　　

•丰富标签信息，同时缓解标签不平衡问题。
•构建多样而简单的标签关系。
•在特征空间、标签空间和潜在空间之间保持结构一致性。

引言

在现实场景中，信息的复杂度往往超出单一标签所能表达的范围。一首乐曲可能既欢快又激昂，一张图像可能同时包含一只猫、一张沙发和阳光，而一个网页可能同时属于"科技"和"教育"两类。多标签学习（MLL）[1] 正是为此类场景而提出的学习范式，其目标是为每个实例预测一组标签，而非单一标签[2]。与传统分类相比，MLL在语义上更具表达力，也更贴近现实应用[3]，但同时也带来了新的挑战[4]。

在此背景下，多标签特征选择（MLFS）[5] 作为一种提升学习性能、降低模型复杂度的有效手段，引起了广泛关注。特征选择[6] 不仅有助于剔除冗余和无关特征，从而提升模型的泛化能力，还能在一定程度上缓解标签稀疏与标签冗余带来的不利影响。然而，与单标签任务[7] 相比，MLFS 面临更大的挑战：标签之间往往呈现复杂的关系，例如层级依赖关系和共现模式，且它们对特征的依赖程度在不同标签之间差异显著。尤其是在普遍存在的标签不平衡情形下，很难识别与少数类标签相关的有效特征，这可能导致学习过程产生偏差并造成语义信息的损失。尽管已有大量工作致力于建模标签相关性，但提升特征选择对高度不平衡标签分布的敏感度，依然是多标签学习中的关键难题。

如前所述，多标签学习中的标签往往呈现复杂的关系，如共现[8]、互斥[9]、类内流形相关[10] 和层级结构[11]。有效地建模并利用这些标签依赖关系，对于提升预测性能和可解释性都至关重要[8]。按照建模时所考虑标签关系的粒度，现有方法可大致分为一阶[12]、二阶[13]和高阶[14] 方法。一阶方法不显式考虑标签之间的关系，而是独立地对每个标签建模，显然这类方法无法捕捉标签间的依赖关系。二阶方法关注标签之间的两两关系，例如通过构建标签共现图[9] 来建模二元关联。高阶方法进一步考虑标签子集内部的关系，常用策略包括标签子集（label powerset）建模[15]、集成学习方法[16] 和潜在语义分解[17]。其中，标签子集方法和集成方法能够捕捉高阶关系，但计算代价较高。近年来，潜在语义分解方法[18] 进一步发展，联合利用特征空间与标签空间之间的共享结构，从而在建模标签依赖关系的同时促进特征选择。尽管这些方法在建模标签关系方面取得了显著进展，但它们仍未充分应对多标签数据集中的标签不平衡问题。此外，所构建的标签关系通常定义在整个标签集之上，这使其难以被有效地用于特征选择和预测。

传统的多标签学习方法通常依赖二值标签矩阵来表示标签分配。然而，这种表示本身就缺乏细粒度信息，无法捕捉实例与各个标签之间不同程度的关联[19]。这种二值化简化在标签不平衡情形下尤为成问题，某些标签的真实重要性可能被低估甚至被完全忽视[20]。为克服这一局限，标签增强（Label Enhancement, LE）被提出，用以从观测到的二值标签中恢复潜在的标签分布[21]，从而为给定实例的每个标签分配软相关性得分。LE 不仅提供了更丰富的语义指导，也有助于发展更细粒度、更具标签敏感性的特征选择方法[22]。尽管 LE 在捕捉潜在标签相关性方面已展现出可观的前景[23]，但现有的 LE 方法往往忽视了标签不平衡问题。

基于上述分析，并考虑到图正则化能够有效保持输入空间和输出空间之间的一致性[24]、[25]，我们提出了一种基于对比标签增强的潜在空间多标签特征选择方法（Contrastive Label Enhancement-based Latent Space Multi-Label Feature Selection, CLE-LSMLFS）。如图所示（Fig. 1），与传统的、主要以增强后的标签作为细粒度监督的 LE 类 MLFS 方法不同，CLE-LSMLFS 进一步利用对比学习启发的标签增强以保留局部平滑性并缓解标签不平衡。增强后的标签分布随后被同时用于共享潜在空间中的监督指导和图正则化。所提出的方法包含两个主要组成部分：一个对比启发的 LE 模块和一个基于共享潜在空间的多标签特征选择框架。本文的贡献如下：

基于上述分析，并考虑到图正则化能够有效保持输入空间和输出空间之间的一致性[24]、[25]，我们提出了基于对比标签增强的潜在空间多标签特征选择方法（CLE-LSMLFS），它由两个主要组成部分构成：一种用于解决标签不平衡问题的对比启发的 LE 方法，以及一个基于共享潜在空间的多标签特征选择框架。本文的贡献如下：

（1）针对多标签数据集中的标签不平衡问题，设计了一种基于对比学习思想的 LE 方法，将二值逻辑标签矩阵同时转换为连续的标签分布矩阵。

（2）为避免标签关系过于复杂，采用 ?1,2 范数来控制建模过程中涉及的标签数量。

（3）引入图正则化项，以保证潜在空间、特征空间和连续标签空间三者之间的结构一致性。

（4）为所提算法提出了一套保证收敛性的有效优化框架。

本文其余部分组织如下：第 2 节介绍相关工作；第 3 节介绍基于标签增强与共享潜在空间的所提出多标签特征选择方法；第 4 节给出所提优化算法的收敛性分析；第 5 节报告实验结果；最后，第 6 节给出本文结论。

章节摘要

标签不平衡方法。在多标签学习中，应对标签不平衡问题的策略大致可分为三类：重采样[26]、集成方法[27] 和分类器适配[28]。其中，重采样是处理传统类别不平衡的经典方法，可进一步分为过采样和欠采样。在多标签学习场景下，重采样方法也可分为随机重采样和启发式重采样。

所提方法。为有效解决多标签数据集中的标签不平衡问题，并充分挖掘标签之间的潜在相关性，本文提出了一个两阶段的 MLFS 框架（CLE-LSMLFS），如图 2 所示。在第一阶段，基于对比学习策略进行 LE。具体而言，根据样本密度选择锚点，并对每个样本计算正锚点和负锚点的标签向量，然后将这些结果与原始……

LE 阶段的优化与收敛性。将公式（10）中的二次项展开，并去掉与 D 无关的常数项后，优化问题可重写为：

min_D ‖D ? Z‖2_F

s.t. D ≥ 0, D·?? = ??

其中 Z = Y + λ_c/2 · (Y_+ ? Y_?)。因此，关于 D 的优化等价于将 Z 的每一行投影到概率单纯形上。对于第 i 个样本，对应的子问题为

min_{d_i} ‖d_i ? z_i‖2_2

s.t. d_i ≥ 0, d_i^T · ?? = 1。

根据单纯形投影定理，最优解具有如下闭式解。

实验分析。本节将 CLE-LSMLFS 算法与八种相关研究算法进行比较，并对 CLE-LSMLFS 算法的参数敏感性和消融研究进行了系统探讨。CLE-LSMLFS 的源代码可在 https://github.com/ChenLiangZhou0402/CLE-LSMLFS 获取。

结论。在本文中，我们提出了一种基于对比标签增强的潜在空间多标签特征选择方法，称为 CLE-LSMLFS。该方法首先引入对比标签增强策略，将原始的二值标签矩阵转换为连续的标签分布矩阵，以便在特征选择之前能够利用更丰富的标签空间信息。然后，构建一个共享潜在空间学习框架，以联合连接特征空间与……

CRediT 作者贡献声明
Liangzhou Chen（陈良州）：撰写——审稿与编辑，撰写——原稿起草，可视化，方法论。
Mingjie Cai（蔡明杰）：撰写——审稿与编辑，监督指导，资金获取，形式化分析。
Chaoqun Huang（黄超群）：资金获取，形式化分析。

利益冲突声明
所有作者声明，与本稿件相关的任何利益冲突均不存在。所有作者均已披露任何可能被视作利益冲突的财务和个人关系。

致谢
作者感谢编辑和匿名审稿人提出的富有建设性的意见。本工作得到了国家自然科学基金（No. 12471431, 12231007）、重庆市自然科学基金（No. CSTB2025NSCQ-GPX0440）以及湖南省自然科学基金（青年学生基础研究专项）（No. 2026JJ90207）的支持。

Liangzhou Chen | Mingjie Cai | Chaoqun Huang