FS-MLGB: 用于多标签特征选择的基于标签分布的多层粒球表示方法

《Pattern Recognition》：FS-MLGB: Multi-level granular-ball representation using label distribution for multi-label feature selection

　　

•提出了一种标签分布引导的细粒度球构造策略。•构建了一个多层次细粒度球表示框架。•提出了一种名为FS-MLGB的多标签特征选择方法。•对针刺治疗功能性消化不良的fMRI数据进行了案例研究。引言高维多标签数据在图像分析[1]、医学诊断[2]、生物信息学[3]和文本分类[4]等许多实际应用中广泛存在。尽管高维表示包含丰富的描述信息，但它们通常包含冗余、无关和噪声特征，这可能会增加计算成本、降低模型的泛化能力并削弱可解释性[5]。特征选择旨在选择紧凑且具有信息量的特征子集，同时保留判别信息，因此已成为多标签学习中的重要预处理技术[6]。与单标签学习不同，多标签学习允许每个实例同时与多个标签关联。在这类任务中，标签通常是相关的、共现的并具有语义依赖性。大多数现有的多标签特征选择方法是直接基于用二进制向量表示的逻辑标签构建的[7]。然而，逻辑标签仅指示某个标签是否与实例相关或不相关，无法描述不同标签的相对重要性或潜在相关性强度。相比之下，标签分布学习以连续方式描述实例与每个可能标签之间的关联程度[8]。因此，标签分布可以为特征评估提供更丰富、更平滑的监督信息，近年来在特征选择中吸引了越来越多的关注[9]、[10]。除了标签监督之外，数据结构建模对于特征选择也至关重要。现实世界的数据通常分布不均匀，不同区域可能表现出不同程度的紧凑性、模糊性和结构复杂性。细粒度球计算通过使用细粒度球而非单个样本作为基本处理单元，提供了一种自适应表示机制[11]。它已被引入分类[12]、聚类[13]和特征选择[14]中。通过从粗到细的角度组织数据，细粒度球计算可以保留局部结构信息并减少噪声和异常值的影响。在细粒度球生成过程中，纯度阈值控制着生成表示的结构分辨率：较低的阈值倾向于产生更粗且更鲁棒的划分，而较高的阈值通常会产生更细的划分，捕捉更多的局部细节。近年来，基于细粒度球计算的特征选择引起了越来越多的关注。在细粒度球生成过程中，细粒度球的质量评估起着至关重要的作用。Sun等人基于细粒度球的纯度构建细粒度球，并在细粒度球上定义了模糊互信息[15]。Sun等人通过纯度生成细粒度球，独立计算每个细粒度球内特征的重要性[16]。然而，它仍然存在一些局限性。首先，大多数方法依赖于逻辑标签，未能充分利用标签分布中包含的细粒度监督信息。其次，现有的基于细粒度球计算的方法通常在单一质量或纯度阈值下构建细粒度球表示，这可能不足以捕捉不同分辨率下互补的结构信息。第三，层级特征学习与全局特征权重学习之间的关系尚未得到充分研究。事实上，不同的粒度层级可能提供不同但互补的数据信息。由于不同的粒度层级可能描述数据结构的不同方面，仅依赖单一粒度层级可能会削弱所选特征子集的稳定性和判别能力。本文提出了一种集成标签增强和多层次细粒度球表示的多标签特征选择方法。具体而言，首先将原始逻辑标签转换为标签分布，以获得更丰富、更细粒度的监督信息。然后，针对多标签数据设计了一种标签分布引导的细粒度球生成策略。所提方法通过使用一组纯度阈值显式构建多个粒度层级。每个纯度阈值对应一个层级特定的细粒度球空间。这些空间共同构成原始数据的多层次粒度表示。基于这些层级特定的表示，在每个粒度层级上学习特征权重矩阵，并施加一致性约束将其与原始数据空间中的全局特征权重矩阵联系起来。这样，全局特征选择过程可以由不同粒度层级的互补结构信息引导。此外，将标签相关性纳入嵌入学习过程，以保留标签之间的依赖结构。因此，所提方法在一个统一的特征选择框架内共同利用了标签分布监督、多层次细粒度球结构信息和标签相关性正则化。图1是所提方法的框架。首先，原始逻辑标签矩阵通过标签增强转换为标签分布。然后，从原始数据构建多层次细粒度球表示，以不同粒度分辨率描述样本空间。对于每个粒度层级，基于对应的细粒度球标签分布构建层级特定的标签相关图，并学习层级特定的特征权重矩阵Wg。同时，FS-MLGB还在原始特征空间中学习全局特征权重矩阵W。为了整合不同粒度层级的信息，引入多层次一致性约束将全局权重矩阵W与各层级特定的权重矩阵{Wg}g=1G对齐。最后，优化后的全局权重矩阵W用于计算特征重要性评分并选择最具判别力的特征。本工作的主要贡献总结如下。(1)为多标签数据提出了一种标签分布引导的细粒度球构造策略。所提策略根据增强标签分布之间的成对散度定义细粒度球的纯度，从而使生成的细粒度球同时保留特征空间的紧凑性和标签分布的一致性。(2)通过使用多个纯度阈值构建了多层次细粒度球表示框架。每个阈值诱导一个细粒度球空间，使原始数据能够从不同的结构分辨率进行表征。这样，粗粒度空间捕捉样本的全局组织，而细粒度空间则为局部复杂区域提供额外的描述。(3)提出了一种特征权重学习模型，以协调层级特定结构信息和全局特征选择。设计了一个具有一致性正则化的全局特征选择模型，将层级特定细粒度球空间的结构信息转移到原始特征空间中，从而提供了一种协调局部细粒度结构和全局多标签判别的原则性方法。本文其余部分组织如下。第2节回顾多标签特征选择和细粒度球计算。第3节详细介绍所提方法。第4节报告实验结果并进行分析。第5节对针刺治疗FD的大脑成像进行案例研究。最后，第6节总结本文的工作。部分摘要多标签特征选择与标签分布学习逻辑标签广泛用于多标签学习，以指示某个标签是否与实例相关。例如，Yang等人提出了一种用于部分多标签学习的双空间和双策略特征选择框架，其中潜在真标签恢复、特征冗余减少、子组去噪和动态标签相关性建模被共同考虑，以增强对无关候选标签和噪声特征的鲁棒性[17]。Liu等人提出了一种本文提出的方法本节提出了基于标签分布的多层次细粒度球表示的多标签特征选择方法(FS-MLGB)。其核心思想是将原始样本级监督与从多个粒度层级提取的结构信息集成在一起。具体而言，首先将逻辑标签转换为标签分布，以提供更丰富的监督信息。基于这些增强标签，在多个粒度度阈值下构建多个细粒度球空间。数据集为验证所提方法的有效性，从Mulan库1和KDIS2中选择了12个基准多标签数据集。这些数据集涵盖多个应用领域，在实例数、特征数和标签数方面各不相同。详细的数据集信息见补充表A.1。实验设置共选择了八种具有代表性的多标签特征选择方法作为对比对针刺治疗功能性消化不良的fMRI数据集的案例研究在生物医学研究中，神经影像和跨模态数据分析对于理解疾病机制和治疗相关模式日益重要。例如，多模态神经融合已被用于表征中枢-外周神经系统激活[40]，跨模态表示学习也被探索用于潜在治疗模式推荐[41]。受这些进展的启发，我们进一步将所提方法应用于针刺功能结论在本文中，我们提出了一种用于多标签学习的标签增强多层次细粒度球特征选择方法。与传统的通常依赖单一粒度层级的基于粒度的特征选择方法不同，所提方法在不同纯度阈值下构建多个粒度球空间。通过用其中心和平均标签分布表示每个细粒度球，将原始样本级数据转换为紧凑的球级CRediT作者贡献声明赵雨欣：写作——审阅与编辑，写作——初稿撰写，可视化，验证，方法论，形式分析，数据管理，概念化。张鹏飞：监督，资源，项目管理，资金获取，数据管理，概念化。肖茂林：可视化，调查，形式分析。曾子锐：写作——初稿撰写，数据管理。罗川：形式分析，数据管理。温金玉：形式分析，数据管理。丁卫平：形式未引用的参考文献图4利益冲突声明作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。致谢本工作得到国家自然科学基金区域创新发展联合基金(NO.U25A20160)、国家杰出青年科学基金(No. 82225050)、国家自然科学基金(62406044)以及四川省天府青城计划的资助。赵雨欣|张鹏飞|肖茂林|曾子锐|罗川|温金玉|丁卫平|曾芳