基于确定性驱动的代表性标签提升多标签特征选择方法

《Knowledge-Based Systems》：Determinacy-driven multi-label feature selection via representative label promotion

　　

• •
  一种基于确定性的机制能够实现可靠的代表性标签提升。
• •
  一种考虑提升效果的准则可揭示特征与标签之间的间接关联。
• •
  一种基于熵的平衡策略可缓解信息集中问题。

引言

多标签学习[1]、[2]致力于处理那些每个实例都与多个类别相关联且带有若干标签的数据的学习任务。由于现实世界中的对象通常具有多种语义含义，多标签学习作为一种为语义描述分配合适标签集的天然方法，越来越受到重视。近年来，多标签分类在计算机视觉[3]、[4]、自然语言处理[5]、[6]以及数据挖掘[7]领域都得到了广泛研究。然而，与单标签学习相比，多标签学习更容易受到维度灾难的影响。由于标签之间存在复杂的关联关系，模型要从高维数据中捕捉有用的模式并准确重建相应标签的任务更为艰巨。

特征选择指的是筛选出与分类任务最相关的特征子集，同时排除那些贡献较小或重复的特征。通过特征选择可以减轻维度灾难的影响，从而提升训练效率与预测性能[8]、[9]。与单标签特征选择相比，多标签特征选择更具挑战性，因为如何探索标签结构以确定最优特征子集仍是一个关键问题[10]。特征选择方法大致可分为包装法[11]、[12]、嵌入法[13]、[14]以及过滤法[15]。过滤法因其简单性和灵活性而具有优势，因为它是根据特征与标签之间的关系对特征进行评分，且选择过程与分类过程相互独立。在本研究中，我们采用了基于信息论的过滤法，因为它们能有效评估特征与标签之间的线性及非线性关联。

考虑到多标签数据中标签的复杂性，一些基于信息论的特征选择方法试图探索标签结构，并利用不同的标签关联关系来评估特征[16]。然而，当这些方法试图利用某个标签来辅助预测其他标签，并使用条件互信息（CMI）等工具来整合标签间的共享分类信息时，却未能评估提供信息的标签的预测确定性。这可能导致在特征选择过程中过高估计标签关联的作用。除非相关源标签本身能够在候选特征下提供可靠的分类依据，否则仅依靠标签关联并不足以提升特征的相关性。基于此，我们提出了一种基于确定性的、考虑提升效果的方法，该方法能够明确评估源标签的预测确定性。

不过，基于确定性的提升机制往往会侧重于代表性标签，这可能导致所选特征子集积累的分类信息过度集中在少数几个标签上。因此，在特征选择过程中还需要一个平衡机制来调节不同标签间的信息分布。传统多标签特征选择中的信息调节机制在研究分类信息在多个标签间的分布时，往往忽视了标签本身固有的不确定性[17]、[18]。具体而言，不同标签具有不同的信息熵，反映了其固有不确定性的程度，而熵值较高的标签通常需要更多具有区分度的信息才能实现可靠分类。如果在评估框架中未能充分考虑标签的固有特性，特征选择的结果往往难以达到最优。因此，我们提出了一种基于熵的平衡机制，旨在使积累的分类信息分布与标签熵值保持一致。图1展示了我们提出该方法的主要设计思路。

本文的主要贡献如下：

• •
  提出了一种基于确定性的评估机制，用于衡量在基于代表性标签的提升过程中源标签的可靠性。具体而言，该机制利用归一化互信息来量化候选特征下源标签的相对不确定性降低程度，从而能够有效利用跨标签的分类信息。
• •
  提出了一种考虑提升效果的特征相关性准则，通过代表性标签来评估特征与标签之间的相关性，从而能够借助相关标签有效地揭示特征与目标标签之间的间接关联，同时保留各标签特有的区分性特征。
• •
  设计了一种基于熵的信息平衡机制，旨在使积累的分类信息分布与标签熵值相匹配，从而缓解特征选择过程中的信息过度集中问题。

本文的其余结构如下：第2节综述与本研究主题相关的现有研究；第3节详细介绍所提出的方法；第4节阐述实验设计及结果分析；第5节对全文进行总结。

章节要点

高阶互信息近似方法

为利用标签间的关联关系，一些特征选择方法采用了高阶互信息（MI），无需对问题进行转换即可直接评估特征与整个标签集之间的相关性。但由于样本数量有限，尤其是对于标签数量众多的数据集，通过计算高阶MI来准确估计特征所提供的分类信息较为困难。因此，有一些方法试图

所提出的方法

在本节中，我们从标签间信息提升的角度介绍一种新的多标签特征选择方法。首先，我们指出，相关标签之间可靠的信息提升依赖于源标签的预测确定性。接着，我们引入了一个相关性项，用于为每个目标标签选择最可靠的信息提升路径。随后，我们进一步引入了一个项来平衡各标签间的分类信息。最后，我们介绍了

实验与结果分析

在本节中，我们通过分类实验来验证DPMFS方法的有效性。具体而言，我们在八个基准数据集上将我们的方法与八种典型的特征选择方法进行了比较。针对每种方法生成的特征子集，我们使用了四种广泛采用的指标——汉明损失（HL）、零一损失（ZOL）、微F1分数和宏F1分数[1]——对其分类性能进行了全面评估。

结论

本文提出了一种新的多标签特征选择方法，名为“基于确定性的、考虑提升效果的多标签特征选择方法”（DPMFS）。通过引入基于确定性的、考虑提升效果的相关性评估机制，该方法能够突出各标签的独特特征，并有效利用标签间的提升效应。这一设计为在多标签特征选择中利用标签关联关系和多标签结构提供了新的视角。为了

CRediT作者贡献说明

何欣怡：写作——审稿与编辑、写作——初稿撰写、可视化、验证、软件开发、方法设计。李永豪：写作——审稿与编辑、指导监督、资源协调、项目管理、资金筹集。刘鲁涵：写作——审稿与编辑、可视化、验证、软件开发、数据整理。齐欣：写作——审稿与编辑。高万福：写作——审稿与编辑、指导监督、资源协调、项目管理。丁伟平：写作——审稿与编辑、指导监督。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢

本研究部分得到了吉林省科学基金会的资助，项目编号为YDZJ202501ZYTS286；部分得到了四川省自然科学基金的资助，项目编号为2025ZNSFSC1497；还有部分得到了中央高校基本科研业务费的资助，项目编号为93K172025K12和JBK202511004。

Xinyi He|Yonghao Li|Luhan Liu|Xin Qi|Wanfu Gao|Weiping Ding