基于加权模糊概念认知学习的多标签分类

《International Journal of Approximate Reasoning》：Multi-label classification based on weighted fuzzy concept-cognitive learning

　　

• •
  构建了一种基于MLC-WFCC的多标签分类的新型模糊概念认知学习模型。
• •
  通过推导属性重要性，MLC-WFCC有效地表征了属性-属性、标签-标签和属性-标签之间的依赖关系，并提出了一种用于多标签分类的特征选择方法。
• •
  我们证明，一个集成框架用于整体特征和标签相关性建模，能够有效解决高维多标签场景中传统方法的局限性。

引言

在传统的监督学习中，通常假设每个实例与单个标签相关联。实际上，许多数据实例具有多个标签，并且这些标签之间存在一定的相互关系，这促成了多标签学习（MLL）[1]，[2]领域的发展。到目前为止，MLL已成功应用于文本分类[3]、图像注释[4]、计算生物学[5]等领域。

现有的MLL方法大致可以分为两类：一类专注于分类，另一类专注于特征选择。在第一类方法中，通过扩展传统的机器学习算法（如ML-KNN[6]、Rank-SVM[7]和BP-MLL[8]）开发了多种模型。Zhang等人[9]进一步通过结合朴素贝叶斯分类器和PCA以及GA扩展了MLL框架。近年来，标签相关性研究成为一个重要的研究方向。Huang等人[10]提出了LPLC方法，该方法采用贝叶斯框架结合KNN策略，同时挖掘和利用局部标签内的正向和负向依赖关系进行分类。在第二类方法中，在高维设置中，有效利用特征-标签和标签-标签相关性已成为MLL中的一个挑战[11]，[12]。通过有效捕捉标签依赖关系，模型可以更高效地进行特征选择，从而降低计算成本、减轻过拟合，并最终提高多标签分类性能[13]。Zhang等人[14]引入了一种嵌入式特征选择方法，该方法结合流形正则化来捕捉复杂的局部和全局特征-标签依赖关系。类似地，Huang等人[15]提出了MRDM，该方法最大化标签之间的依赖性。Zhang等人[16]将邻域粗糙集应用于特定标签的特征选择。

为了更好地描述特征和标签之间的相关性，研究人员将模糊粗糙集理论应用于MLL。Dai等人[17]结合了强标签增益和标签互助来完成特征选择。Cai等人[18]提出了一种结合模糊粗糙集、度量学习和标签增强的MLL方法。Lin等人[19]，[20]将邻域互信息应用于标签的动态特征选择，并进一步将互信息扩展到动态多标签数据[21]。Mohanrasu等人[22]提出了一种基于多尺度模糊互信息的多标签特征选择方法。Liu等人[23]通过联合建模模糊互信息和标签依赖关系来解决动态标签流下的特征选择问题。此外，Li等人[24]将模糊粗糙集与多核学习结合，旨在进行多标签特征选择，引入了一个基于核化的模糊粗糙集模型。然而，在建模特征-特征依赖关系、标签-标签依赖关系和特征-标签依赖关系时，这些方法往往只关注一两个维度，未能充分捕捉所有三个维度上的依赖关系，这最终会损害模型的泛化性能。

值得注意的是，概念认知学习（CCL）在知识挖掘中显示出独特的优势。作为一种受认知启发的新人工智能范式，它已成为大数据智能信息处理中的重要方法。CCL以概念作为基本的认知单元，其理论基础基于Wille等人[25]提出的形式概念分析理论。通过构建认知模型来模拟人类大脑的概念学习过程，这种方法可以从线索中识别和学习概念，从而揭示数据下的知识结构，并有效处理复杂问题[26]。为了在复杂的认知任务中提高信息处理和决策效率，已经开发了各种CCL模型，并在监督学习下展现出良好的泛化能力。Mi等人[27]，[28]和Shi等人[29]将CCL引入机器学习并将其应用于分类任务。Deng等人[30]构建了一种利用模糊CCL的层次分类方法。Yan等人[31]提出了一个用于半监督节点分类的图网络CCL模型。最近，多样化的实际需求推动了各种CCL模型的发展。Zhang等人[32]通过模糊熵来测量属性重要性，提出了一种加权模糊CCL分类模型。Xu等人[33]将多注意力机制引入CCL系统以开发分类模型。Guo等人[34]提出了一种新颖的模糊三向CCL方法，该方法结合了记忆和遗忘机制用于动态数据的分类。Guo等人[35]最近提出了一种自适应的颗粒球CCL框架用于分类。

基于这些优势，许多研究人员将CCL融入MLL中，以揭示潜在的标签依赖关系，从而提高模型的泛化性能。Wu等人[36]通过构建标签和特征的 Concept 和相关性空间以及正负颗粒概念空间，构建了一个CCL模型，从而提高了预测准确性和泛化能力。这项研究促进了CCL在MLL中的探索。Liu等人[37]为缺失标签场景提出了一种广义的多粒度随机概念认知系统。然而，这些方法无法直接处理连续的多标签数据。Wu等人[38]开发了一种基于三向CCL的多级MLL方法，该方法捕捉标签层次结构并揭示标签-特征依赖关系。然而，它没有考虑特征之间的依赖关系，也没有解决特征冗余问题，这可能限制在高维多标签数据上的性能和泛化能力。换句话说，上述将CCL与多标签分类结合的研究假设所有属性的重要性相同。然而，在实际情况下，人类并不会平等对待所有信息，他们倾向于更加关注感兴趣或被认为更重要的属性。

鉴于前述分析，我们提出了一种基于加权模糊概念认知（MLC-WFCC）的多标签分类方法。首先，计算模糊互信息以表征属性-属性、标签-标签和属性-标签之间的依赖关系，据此推导出属性重要性以选择最优属性子集。然后，通过结合属性重要性构建加权多标签模糊颗粒概念。基于这些加权多标签模糊颗粒概念，我们进一步构建了一个加权概念聚类空间，在该空间中，概念权重作为重要性因素生成融合的加权伪概念。最后，通过融合加权伪概念对多标签样本进行标签预测，并通过一系列实验验证了其整体有效性。通过这种方式，所提出的方法可以更好地利用标签-属性依赖关系并提高预测性能。主要贡献总结如下：

• •
  构建了一种基于MLC-WFCC的新型加权模糊概念认知学习模型。
• •
  通过推导属性重要性，MLC-WFCC有效地表征了属性-属性、标签-标签和属性-标签之间的依赖关系，并提出了一种用于多标签分类的特征选择方法。
• •
  我们证明，一个集成框架用于整体特征和标签相关性建模，能够有效解决高维多标签场景中传统方法的局限性。

下文提供了本文结构的概述。第2节提供了与本工作相关的基础知识。第3节介绍了通过模糊互信息选择属性、构建加权多标签模糊颗粒概念以及融合它们的信息的过程。第4节介绍了使用融合加权伪概念的分类方案。第5节报告了MLC-WFCC的实验结果和分析，第6节提出了结论。

章节片段

初步介绍

本节回顾了模糊形式概念分析（FFCA）、模糊粗糙集信息测量和多标签学习的初步知识。

加权模糊概念认知学习

在模糊形式背景下，传统的模糊概念构建通常假设属性权重相等。然而，在实际的认知学习中，人们倾向于关注感兴趣或被认为更重要的属性。因此，一个关键步骤是不同地权重化属性，以反映它们的相对重要性，以便更好地与人类认知保持一致。在本节中，我们为多标签数据开发了一种加权模糊概念认知学习方法。

基于融合加权伪概念的多标签分类

如前一节所述，在模糊多标签决策背景下计算WMF颗粒概念。在对它们进行概念聚类和信息融合后，获得了WMF颗粒概念聚类空间和融合的加权伪概念。本节将利用获得的融合加权伪概念来预测多标签数据，该模型称为MLC-WFCC。为了解决标签预测问题，我们随机划分了对象集U

实验分析

本节对MLC-WFCC模型进行了实验评估。首先，我们进行参数分析以确定MLC-WFCC模型的最佳配置。随后，为了展示其分类性能，我们将MLC-WFCC模型与9种现有的MLL算法在12个开放数据集上进行了比较。

结论

本文构建了一种名为MLC-WFCC的加权模糊概念认知学习方法，用于多标签分类任务。通过全面分析三种类型的依赖关系：属性-标签、标签-标签和属性-属性，我们通过模糊互信息评估属性重要性，以探索属性和标签之间的依赖关系，从而完成属性重要性评估和最优属性子集选择。随后，WMF颗粒概念

CRediT作者贡献声明

Yunshan Li：撰写——原始草稿、软件开发、方法论、数据 curation。Zhiming Liu：撰写——审稿与编辑、监督、调查、资金获取。Jinhai Li：撰写——审稿与编辑、调查、资金获取。Mengyu Yan：撰写——审稿与编辑、监督。Huilai Zhi：撰写——审稿与编辑、监督、资金获取。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

Yunshan Li|Zhiming Liu|Jinhai Li|Mengyu Yan|Huilai Zhi