可解释风格的Takagi-Sugeno-Kang模糊聚类

《Neurocomputing》:Interpretable Style Takagi-Sugeno-Kang Fuzzy Clustering

【字体: 大 中 小 】 时间:2026年05月03日 来源:Neurocomputing 6.5

编辑推荐:

  苏航顾|叶旺|周永新|丛金良|卢明利|焦竹青 中国苏州技术大学电气工程与自动化学院,苏州215500 **摘要** 聚类是一种高效且不可或缺的技术,用于探索数据的潜在知识。然而,大多数聚类算法检测到的簇的可解释性却未受到足够的重视。此外,在给定的数据集中,样本通常以

  苏航顾|叶旺|周永新|丛金良|卢明利|焦竹青
中国苏州技术大学电气工程与自动化学院,苏州215500

**摘要**
聚类是一种高效且不可或缺的技术,用于探索数据的潜在知识。然而,大多数聚类算法检测到的簇的可解释性却未受到足够的重视。此外,在给定的数据集中,样本通常以组的形式出现,每组都表现出独特的同质性风格。本文考虑了上述两个方面,并提出了一种可解释的Takagi-Sugeno-Kang(TSK)模糊聚类(IS-TSK-FC)算法。IS-TSK-FC的聚类过程完全由TSK模糊推理指导。具体而言,样本被分组到由所有无监督学习得到的模糊规则的相应结果向量所表示的簇中。这可以详细解释簇是如何生成的,从而使IS-TSK-FC的底层决策过程具有可解释性。此外,引入了一系列风格矩阵来数学编码簇的风格以及不同风格之间的细微差别。这有助于IS-TSK-FC中模糊规则的结果。因此,IS-TSK-FC中的所有模糊规则都具有增强的数据表示能力。在确定所有模糊规则的前提条件后,IS-TSK-FC的优化问题可以通过迭代方式解决。通过在十四个UCI/KEEL基准数据集(例如Balance、Phoneme、Yeast)和八个风格明确的数据集(例如WikiPainting、Hipster Wars、Columbia对象图像)上的验证,证明了IS-TSK-FC的有效性。IS-TSK-FC的性能与八种基线方法(例如模糊子空间聚类FSC、可解释的基于模糊规则的聚类算法TSK-FC和FRBC、最先进的基于风格的聚类S-KPC)相当,评估指标包括准确率(ACC)和标准化互信息(NMI)。

**引言**
聚类是一种重要的无监督学习技术[1],已应用于许多领域,如模式识别[2]、图像分割[3]和数据挖掘[4]。通过解决聚类问题,可以探索不同类型数据的固有结构和有意义的知识。在安全、隐私和智能医疗诊断等复杂现实世界应用中遇到聚类问题时,研究人员总是希望对其建议提供详细的解释[5]、[6]。此外,大多数聚类算法的重点是高效的簇分配,包括高准确性和对噪声数据的鲁棒性等方面,而很少有研究关注簇的可解释性。因此,用户可能难以理解大多数聚类算法是如何生成簇的,以及每个生成的簇与其他簇有何不同,使得整个聚类过程难以解释。

此外,在给定的数据集中,样本往往来源于共同的来源/起源,并形成不同的组[7]、[8]、[9]、[10]。每个组内的样本表现出同质性,并共享隐式或显式的同质模式[7]、[8]、[9]、[10]。在本文中,这种同质模式被称为“风格”。典型的例子包括艺术风格识别[11]、[12],不同的绘画具有独特的风格,如图1(a)所示;时尚风格识别[13]、[14],根据服装风格(如波西米亚或哥特)将服装图像分为不同的组,如图1(b)所示;以及建筑风格识别[14]、[15],根据建筑风格(如乔治亚或安妮女王风格)对建筑物进行分类,如图1(c)所示。在机器学习中,传统算法通常假设样本是独立同分布的(i.i.d.)[9]、[15]。然而,数据的风格并不是独立同分布的,这是基于风格的算法与传统算法的重要区别[9]、[15]。

为了便于理解聚类分析,已经有一些相关研究,主要可以分为四类。第一类通过引入决策树方法[5]、[6]、[16]、[17]、[18]来解决可解释的聚类问题。由于原始决策树是一种监督方法,需要将其转换为无监督方法[5]。然后,每个簇可以由一个或多个叶节点表示[5]、[6]、[16]、[17]、[18]。此外,基于无监督决策树,从根节点到叶节点的路径可以被视为一条规则[17]、[18]。凭借这类聚类算法的这两个特点,可以解释实例是如何被分类到簇中的,因此构建的簇本质上是可解释的。

第二类认为在高维数据中,簇只在少数相关维度上密集,不同的簇存在于不同的子空间中[19]、[20]、[21]、[22]。这类聚类算法为每个簇输出一个特征权重向量或特征子集,解释哪些特征定义了这个簇。然而,这类算法的底层机制通常是复杂的数学过程,用户只能观察到最终的聚类结果,例如簇1由特征{A, B, C}定义[19]。

第三类的核心思想是每个簇由一个或多个“原型”表示,这些原型可以是质心[4]、[23],或者是从簇中选出的真实样本[24]。如果这类聚类算法本质上基于原型分配(例如K-means[4]、[23]、K-medoids[24]),决策规则非常直接,因为它们将每个样本分配给最近的原型所在的簇。虽然这似乎提供了过程上的可解释性,但这种解释的语义层次较浅,因为它本质上归结为几何上的最近邻计算。

第四类旨在通过引入模糊规则[25]、[26]、[27]、[28]、[29]、[30]来生成可解释的聚类结果。例如,在[25]中,提出了一种快速模糊规则聚类算法,该算法使用IF-THEN模糊规则描述输入特征,并通过迭代进行粒度计算来进行聚类。在[26]中,提出了一种基于模糊规则的聚类(FRBC)算法。FRBC将输入数据作为主要数据,同时生成均匀分布的样本作为辅助数据。然后,这两种数据被视为具有分配标签的两个类别,聚类分析转化为基于模糊规则的分类任务。在[27]中也发现了将无监督聚类问题转化为监督分类问题的策略。在[28]和[29]中,提出了两种用于无线传感器网络中精确聚类的模糊聚类算法。前者使用预定义的模糊规则来优化簇头(每个簇中的领导者)的竞争半径调整,而后者则专注于通过修改克隆选择算法来确定每个模糊规则的遗传模糊输出函数。在[30]中,提出了一种新颖的Takagi-Sugeno-Kang(TSK)模糊聚类(TSK-FC)算法。TSK-FC的特点是模糊规则的结果通过无监督学习确定,其聚类过程直接由TSK模糊推理指导,从而实现可解释的聚类过程。

前三类都可以为构建可解释的簇提供有价值的解释。然而,它们提供的解释性质与本文研究的可解释聚类过程不同。一般来说,第一类需要将无监督学习问题转化为监督学习问题,并涉及额外的步骤来优化特征分割和决策路径[5]、[6]、[16]、[17]、[18],这在一定程度上阻碍了对整个聚类过程的直接和全面理解[5]。此外,第二类和第三类本质上提供了事后和结果层面的解释,即回答“这个簇是什么?”的问题,而样本分配的具体决策过程通常基于不透明的距离计算或复杂的优化[5]。

与前三类相比,第四类更有可能提供透明的聚类过程,因为基于模糊规则的算法使用带有语言术语的模糊集进行模糊推理,而模糊规则本质上是可解释的[31]。然而,除了TSK-FC[30]之外,第四类聚类算法引入的模糊规则仅作为支持聚类分析的中间工具,这意味着相应的聚类过程并未完全由模糊推理指导。这导致簇的可解释性有限,这也是本文要解决的两个主要问题之一。对于TSK-FC来说,由于其整个聚类过程完全由TSK模糊推理主导,因此可以获得可理解的聚类结果[30]。因此,在本文中,我们专注于TSK-FC来设计一种可解释的风格聚类算法,因为其决策过程完全由一系列IF-THEN模糊规则驱动,使我们能够回答更深入的问题:“为什么这个样本被分配到这个簇?”

一些工作尝试利用数据的风格进行高效学习,它们可以分为三类:1)基于风格描述符的算法,2)基于统计依赖性的算法,3)基于风格矩阵的算法。根据[11]、[12]、[13]、[14]、[32]、[33]、[34]、[35],第一类基于风格的算法通过生成风格描述符来表示数据的风格。特别是,可以使用深度学习方法(如自动编码器[14]、卷积神经网络(CNNs)[11]、[34]、集成模型[32]和生成对抗网络(GANs)[33]、[35]获得数据的判别性风格表示。一般来说,第一类基于风格的算法的性能依赖于风格描述符的准确提取。根据[7]、[15]、[36],由于数据的风格打破了独立同分布的假设,第二类基于风格的算法基于统计依赖性来描述数据的风格。具体来说,每种数据风格被定义为覆盖广泛概率分布的风格概率。第二类算法的一个关键特点是风格可以直接从不同数据组中估计出来。然而,这类基于风格的算法要求风格的分布显示出显著差异[7]。

第三类基于风格的算法旨在使用一系列矩阵(称为风格矩阵)来学习数据的风格,从而确保同一组内的样本具有统一的风格[8]、[9]、[37]、[38]、[39]、[40]、[41]。在[8]和[9]中,通过将风格矩阵引入贝叶斯决策理论和支持向量机(SVM)中,分别提出了场贝叶斯模型和场支持向量机。同样,在[38]和[39]中,基于风格矩阵和相应的正则化术语扩展了原型迁移学习和TSK模糊分类器。因此,衍生的风格迁移学习和风格TSK模糊分类器可以调整源域和目标域之间的风格差异,并生成具有增强表示能力的模糊规则。与[8]、[9]、[38]中的基于监督的基于风格的算法不同,[37]、[40]、[41]中也开发了基于无监督的基于风格的聚类算法,这些算法使用风格矩阵探索数据的风格,在本文中非常重要。例如,在[37]中介绍的模糊风格k平面聚类(S-KPC)算法是第一个无监督的风格聚类方法。它采用基于风格矩阵的双重数据表示,并增强了节点,以灵活编码不同组样本的风格,同时探索不同风格之间的风格差异。因此,基于k平面聚类(KPC)框架[42],S-KPC不仅有效处理具有隐式风格的非独立同分布数据,而且在风格不同的组之间也优于传统的聚类算法(例如模糊c均值(FCM)聚类[23]和KPC[42])。

请注意,所有基于风格矩阵的算法中使用的风格矩阵都是方形的,除了在模糊风格平面聚类[41]中使用的风格矩阵,该算法同时考虑物理特征(如距离、颜色或相似性)和风格特征,因此风格矩阵不是方形的。与第一类和第二类风格学习算法相比,第三类算法中使用的风格矩阵在探索数据风格信息方面更加灵活[8]、[9]、[38]。此外,相应的正则化术语可以用来调整数据的风格并捕捉不同风格之间的细微差别[8]、[9]、[37]、[38]、[39]、[40]、[41]。因此,在这项工作中,我们将使用一系列方阵作为风格矩阵,以潜在地表示给定数据集中不同组的风格(如方程(21)所示),同时特别实现不同组风格信息的编码,从而促进所提出的可解释风格聚类算法。在本文中,我们考虑了可解释的聚类分析和数据风格,并旨在开发一种新颖的可解释风格聚类算法,这一想法是通过对现有可解释聚类研究[5]、[6]、[16]、[17]、[18]、[25]、[26]、[27]、[28]、[29]、[30]以及基于风格的算法[7]、[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]、[32]、[33]、[34]、[35]、[36]、[37]、[38]、[39]、[40]、[41]的回顾而产生的。开发一种可解释的风格聚类是一项非平凡的任务,因为必须保证整个聚类过程的可解释性,并且具有相同风格的样本必须被分组到同一个簇中。为此,我们首先提出以下考虑因素:1) 一种可解释的风格聚类算法应该在具有明确风格的数据上表现良好,例如图1中展示的数据。然而,在对具有隐含风格的数据进行聚类时,即可能具有风格也可能没有风格的数据,设计的可解释风格聚类算法应该作为一个基本的聚类工具,至少能够达到与传统聚类算法相当的性能。2) J. M. Mendel等人[31]声称“模糊模型或更具体地说,基于模糊规则的模型,可以很容易地被人类用户或数据分析师理解和解释。”此外,TSK模糊推理系统(FIS)比其他基于模糊规则的系统更具可解释性和精确性[30]、[31]、[39]、[43]、[44]。因此,我们选择TSK模糊模型作为开发可解释风格聚类模型的起点,并打算基于IF-THEN模糊规则实现一个透明的聚类过程。3) 基于之前关于基于风格的算法[8]、[9]、[37]、[38]、[39]、[40]、[41]的研究,引入风格矩阵来探索数据的风格以提高聚类性能不应影响所提出的可解释风格聚类算法的可解释性。此外,引入的风格矩阵应该成为IF-THEN模糊规则的一部分,而不是独立的组件,以便仔细检查设计的聚类模型。基于上述考虑,提出了一种新颖的可解释风格Takagi-Sugeno-Kang模糊聚类(IS-TSK-FC)算法。IS-TSK-FC源自传统的TSK FIS,与传统TSK FIS类似,IS-TSK-FC旨在通过模糊规则上的模糊推理获得可解释的聚类结果。此外,IS-TSK-FC同时考虑数据的风格,IS-TSK-FC生成的同一簇中的样本具有同质的风格,这与其他簇中的样本不同。值得注意的是,传统的TSK FIS通常用于解决分类或回归问题[30]、[31]、[39]、[43]、[44]、[45]。这意味着TSK FIS中模糊规则的后果部分是以监督方式确定的,如方程(14)所示。然而,IS-TSK-FC中模糊规则的后果部分是以无监督方式确定的,如方程(30)和方程(36)所示。本文的主要贡献可以总结如下:1) 在聚类过程中,所提出的IS-TSK-FC算法的聚类行为直接由模糊规则上的模糊推理指导,而不是将模糊规则视为解决聚类问题的补充措施[25]、[26]、[27]、[28]、[29]。此外,一旦确定了所有模糊规则的前件,每个生成的簇都对应于自己的后果向量,而不是所有生成的簇都对应于所有模糊规则的一个后果向量。因此,与1.1小节中概述的前三种可解释聚类算法不同,IS-TSK-FC提供了一个由一系列IF-THEN模糊规则驱动的可解释的簇分配过程(如方程(15)所示)。2) 通过考虑数据的风格,具有相同风格的样本被分组到同一个簇中。此外,IS-TSK-FC的目标函数中引入了一个用于数据风格的正则化项。通过这个正则化项和相应的正则化参数,可以编码不同簇的风格,并且可以数学计算每个簇对应的每个风格矩阵中的具体风格信息,以反映不同数据风格之间的细微差别。这提高了IS-TSK-FC对具有不同风格样本的区分能力,这是前述四种可解释聚类算法所缺乏的特性。3) 所提出的IS-TSK-FC算法适用于可解释的聚类分析,并且所有模糊规则的后果部分都是以无监督方式学习的,这与传统TSK FIS的学习过程显著不同,在传统TSK FIS中,所有模糊规则的后果部分是以监督方式学习的[30]、[31]、[39]、[43]、[44]。此外,由于引入了风格矩阵,IS-TSK-FC中所有模糊规则的后果部分既包含传统的后果参数(如方程(1)所示),也包含风格矩阵(如方程(15)所示)。因此,为IS-TSK-FC设计了一种新型的模糊规则,每个模糊规则由于风格矩阵而具有强大的表示能力。此外,在确定了所有模糊规则的前件之后,可以通过参考[46]来交替确定所有模糊规则的后果向量和风格矩阵。本文的其余部分组织如下:第2节简要描述了传统的TSK模糊推理系统[43]。第3节详细描述了所提出的可解释风格TSK模糊聚类IS-TSK-FC算法,第4节报告了IS-TSK-FC的广泛实验结果。第5节总结了本文。

由于选择TSK FIS [43]作为开发IS-TSK-FC的起点,我们首先简要回顾TSK FIS。作为最广泛使用的基于模糊规则的推理系统之一,TSK FIS能够使用模糊逻辑表示不确定和语言术语,如高、低、快和慢,从而类似于人类推理[43]、[45]。此外,TSK FIS可以在精确性和可解释性之间取得良好的平衡[44]。TSK FIS包括一系列IF-THEN模糊规则。在本节中,详细解释了所提出的可解释风格TSK模糊聚类IS-TSK-FC。一方面,IS-TSK-FC的整个聚类过程由模糊规则上的模糊推理主导。另一方面,IS-TSK-FC将具有同质风格的样本分组到同一个簇中。基于这两个特点,我们尝试设计一种新型的TSK模糊规则。

在本节中,IS-TSK-FC与几种比较算法进行了比较,并报告了广泛的实验结果以验证IS-TSK-FC的有效性。特别是,在具有明确风格的数据集上展示了IS-TSK-FC的独特潜力。在4.1小节中描述了比较算法和实验设置的详细信息。在4.2小节中,基于十四个基准数据集检验了IS-TSK-FC作为基本聚类工具的可行性。

在本文中,提出了一种可解释风格TSK模糊聚类算法IS-TSK-FC,该算法旨在通过考虑数据的风格来生成可理解的簇。由于引入了数据的风格,形成了一种新型的TSK模糊规则,其后果部分不仅包含传统的后果参数(如方程(1)所示),还包含风格矩阵(如方程(15)所示)。这使得IS-TSK-FC具有增强的数据表示能力。

作者声明:他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。

本工作部分得到了江苏省333高层次人才培养项目(项目编号2024-3-0408)、国家自然科学基金(项目编号62106025)、江苏省自然科学基金(项目编号BK20210940)、苏州市科技计划项目(项目编号SYG202351)以及张家港市科技计划项目(项目编号ZKYY2447)的支持。

致谢:我们的论文没有使用任何Suhang Gu(M’20)的贡献。Suhang Gu于2012年在中国苏州工业大学电子与信息工程学院获得学士学位,2015年在中国常州大学信息科学与工程学院获得硕士学位,2020年在中国江南大学数字媒体学院获得博士学位。他于2021年加入中国常熟理工学院电气工程与自动化学院,目前担任副教授。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号