多粒度多标签特征选择：迈向语义感知与实例特定特征的联合方法

《Knowledge-Based Systems》：Multi-grained multi-label feature selection: Jointly towards semantic-aware and instance-specific features

　　摘要特征选择是各类识别任务中降维处理的基石。现有的特征选择方法侧重于对学习目标的整体表征，而忽视了其内在的语义层面及实例层面的多样化描述特征。为解决这一缺陷，我们提出了M2FS——一种新型的多粒度多标签特征选择框架，该框架能够同时兼顾全局语义一致性表征与局部实例特异性表征。具体而言，M2FS通过语义共识矩阵提取粗粒度的 Semantic相关性，再借助不一致实例指标识别需要特殊描述特征的实例。这两部分被无缝整合到统一的优化框架中，从而指导在多粒度层面选择具有区分度的特征。在多种基准数据集上的大量实验表明，在所采用的评估标准下，M2FS的性能可与现有方法相媲美，甚至更优，充分体现了其在筛选有助于构建学习目标区分性表征的有效特征方面的优势。

引言特征选择早已成为解决多领域高维问题的核心技术，应用范围涵盖计算机视觉[1][2]、自然语言处理[3][4]以及生物信息学[5][6]等领域。通过利用部分具有区分度的特征构成的降维子空间，下游学习模型能够在大幅降低计算成本的同时获得更优异的性能[7]。然而，在实际应用中，要识别出真正有价值的特征仍面临诸多挑战，尤其是当原始特征空间中存在大量冗余、无关或噪声变量时。因此，开发有效的特征选择策略不仅有助于提升预测性能，还能增强模型在复杂学习任务中的可解释性与鲁棒性。

根据是否存在语义标签，特征选择方法通常可划分为监督学习、半监督学习和无监督学习三类[8][9][10]。从另一个视角来看，这些方法还可根据每个实例所关联的标签数量进行区分：单标签特征选择与多标签特征选择[11]。在单标签场景中，每个实例会被赋予唯一的标签，以此强调语义上的可区分性。而多标签学习则允许一个实例同时关联多个标签，这种模式在文本分类[12]、内容标注[13]以及蛋白质定位预测[14]等领域十分常见。本研究聚焦于监督式多标签特征选择问题。

在监督式多标签特征选择中，语义相关性能为特征选择提供有价值的指导信息。与早期将问题分解为独立单标签子问题的方法不同，近期的研究开始充分利用标签间的相关性来捕捉语义共性。例如，CDLSR[15]采用?2,0范数约束和坐标下降法，直接对特征子集进行优化，从而精确选出k个特征。LIFT[16]通过对正例和负例进行聚类分析，生成与特定标签相关的特征，进而提升所构建特征空间中的类别区分能力。LLSF[17]则利用标签间的成对相关性，学习用于特征选择和分类的标签特异性潜在结构。CMFS[18]将标签间、特征间以及标签与特征间的相互作用整合到统一框架中，以保持各标签之间的语义一致性。还有其他一些研究致力于实现标签特异性特征降维、潜在语义编码以及特征与标签信息的精细化处理[19][20][21]。这类方法通常旨在找出全局最优特征，它们擅长保留标签间的相关性并捕捉全局语义特征。本质上，这类特征能够有效建模目标的共同特性，并在全球层面上捕捉语义共性。

尽管现有方法已展现出显著的效果，但它们往往忽视了不同层面的描述特征，只追求整体的区分性表征。此外，那些仅基于全局语义识别信息的特征选择策略，也会忽略单个实例的独特特性，尤其是那些具有特殊特征的实例。如图1所示，鸟类通常可以通过羽毛颜色等语义相关特征来表征，这类特征对大多数鸟类都适用，但对于白化鹦鹉这类特殊个体则不够准确，甚至会产生误导。在这种学习场景中，那些侧重于高层识别线索的语义特征，由于整体视觉上的相似性，往往不足甚至具有误导性。相比之下，喙形和足型等实例特异性特征，则对于实现精准的特征表征和可靠识别至关重要。

为应对这些挑战，本研究提出了一种全新的多粒度多标签特征选择框架，简称M2FS。M2FS既能提供关于多标签数据内在特性的粗粒度洞察，也能给出细粒度的分析结果。具体而言，M2FS首先通过语义共识矩阵识别语义相关特征，从而体现宏观层面的识别共性；随后又借助不一致实例指标捕捉实例特异性特征，以此在微观层面提升学习的多样性并丰富区分性信息。现有方法之所以忽视这类特征，很可能是因为对单个实例进行建模会带来较高的计算成本。为解决这一问题，M2FS有针对性地关注那些被识别为不一致的实例（如图1中的白化鹦鹉），因为正是这类案例中，全局语义特征已不足以满足需求，此时实例特异性特征就显得极为重要，而非盲目地对所有实例进行建模。通过融合这些不同粒度的特征信息，M2FS构建了一个既适合全局分析又适合局部分析的多标签数据学习空间。

本文的主要贡献如下：•我们提出了一种多粒度多标签特征选择框架，该框架能够同时建模语义共性和实例多样性，从而使选出的特征既能反映多标签数据的全局共识，又能体现局部差异。•我们为该框架设计了交替优化算法，为带非负性约束的块坐标更新提供了实用的优化流程，并对其收敛性进行了严格分析。•我们在多种公共基准数据集上开展了大量实验，结果表明M2FS在不同的学习场景下都能展现出出色的性能。

本文的结构安排如下：第2节回顾相关研究；第3节和第4节分别详细介绍所提出的M2FS模型及其优化框架；第5节展示实验评估结果；最后第6节对全文进行总结。

相关研究特征选择是实现降维和提升模型可解释性的关键技术，在机器学习领域受到了广泛关注。根据标签的可用性，现有方法通常可分为监督学习、半监督学习和无监督学习三类[9][22][23]。本研究聚焦于监督式多标签特征选择，这是一种较为复杂的场景，其中每个实例都会同时关联多个标签[24][25]。

所提出的模型：M2FS设D={(xi,yi)}i=1n为一个包含n个实例的多标签数据集。我们将实例矩阵定义为X=[x1,…,xn]T∈Rn×d，其中每一行xi∈Rd代表由d个特征构成的一个实例。相应地，标签矩阵则表示为Y=[y1,…,yl]∈{0,1}n×l，其中yij=1表示第j个标签与第i个实例相关，否则yij=0。

该框架的目标是学习一个特征选择矩阵W∈Rd×l，其元素wij用于反映第i个特征的重要性。

最优解在本节中，我们将采用交替最小化策略，为方程(8)所描述的问题设计一种高效的优化方案。我们使用平方Frobenius范数对W和V进行正则化，这种方式无需额外的结构化稀疏性假设，同时能为耦合优化问题提供良好的尺度控制。由此，M2FS的全局目标函数J(W,V)可表示为：minW,VJ(W,V)=12‖VTXW?VTY‖F2+λ12‖YTV?Γ?‖F2+λW2‖W‖F2+λV2‖V‖F2+λ2∑i,hΩi,hlog1+e

实验评估在本节中，我们将通过全面的实验评估来验证所提出的M2FS框架的性能。我们在多种公共基准数据集上，将M2FS与几种现有的先进多标签特征选择方法进行对比测试。评估内容包括分类性能、消融实验、参数敏感性分析、收敛性分析以及可视化结果展示。

结论在本文中，我们提出了一种名为M2FS的多粒度多标签特征选择框架，该框架能够同时利用语义共性和实例多样性来进行特征选择。通过引入语义共识矩阵，该框架能够捕捉由标签相关性产生的宏观层面语义特征；同时通过不一致实例指标，可表征微观层面的邻域差异。借此，M2FS能够学习到一个兼具全局标签特征与局部细节特征的区分性特征子空间。

CRediT作者贡献说明孙燕：撰写原文初稿、进行形式化分析；徐恒鹏：负责数据整理；杨正路：负责方法设计；王军：负责监督指导及方法设计。

利益冲突声明作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢我们衷心感谢匿名审稿人和编辑们提出的宝贵意见与建设性建议。本研究得到了山东省自然科学基金（项目编号ZR2025MS1078、ZR2026MS1096）、国家自然科学基金（项目编号62106091）以及天津市教委科研计划项目（项目编号2024KJ06）的资助。

孙燕|徐恒鹏|杨正路|王军