基于置信度加权学习的多粒度宽度模糊Apriori分类器

《Electronics》:A Multi-Granularity Broad Fuzzy Apriori Classifier Using Confidence-Weighted Learning

【字体: 大 中 小 】 时间:2026年09月19日 来源:Electronics 2.9

编辑推荐:

  本研究提出一种新型的多粒度宽度模糊Apriori分类器(multi-granularity broad fuzzy Apriori classifier, MGB-FAC),旨在解决模糊Apriori分类器(fuzzy Apriori classifier,

  
本研究提出一种新型的多粒度宽度模糊Apriori分类器(multi-granularity broad fuzzy Apriori classifier, MGB-FAC),旨在解决模糊Apriori分类器(fuzzy Apriori classifier, FAC)的高计算复杂度和低泛化能力问题,同时保持FAC的高语言可解释性(linguistic interpretability)和强不确定性处理能力。MGB-FAC的基本思想如下:首先,MGB-FAC利用改进的特征子集(improved feature subsets)创建其FAC子分类器(sub-classifiers),并对每个子分类器随机丢弃部分规则。其次,MGB-FAC根据规则长度将每个子分类器的规则集拆分为若干具有不同规则粒度的新子分类器。最后,MGB-FAC使用置信度加权学习(confidence-weighted learning)聚合所有子分类器的输出以获得最终输出。MGB-FAC具有三个明显优势:(1) 它在保持每个FAC子分类器可接受学习能力的同时,显著降低了计算负担;(2) 它构建了许多具有更大多样性的多粒度FAC子分类器,仅需少量额外计算成本且不增加模糊规则(fuzzy rules)数量;(3) 它通过基于置信度值(confidence value)和在输入数据上的性能对每个FAC子分类器的贡献进行加权,在准确率(accuracy)、精确率(precision)、召回率(recall)和F1分数(F1 score)方面实现了良好的宽度集成(broad ensemble)。所提出的MGB-FAC的有效性通过在十个基准数据集(benchmarking datasets)上与七种对比方法进行的大量实验得到验证。
**论文解读:多粒度宽度模糊Apriori分类器——基于置信度加权学习的集成创新**

**一、研究背景与问题提出**

模糊Apriori方法(fuzzy Apriori method)是数据挖掘领域的经典方法之一,它用具有语言术语的模糊集(fuzzy sets)替代传统Apriori方法的清晰集(crisp sets)来离散化连续输入特征,因而具备高语言可解释性和强不确定性处理能力。在此基础之上发展而来的模糊Apriori分类器(fuzzy Apriori classifier, FAC),已广泛应用于推荐系统(recommendation systems)和疾病诊断(disease diagnosis)等任务。FAC的核心思路是利用模糊Apriori方法挖掘模糊关联规则(fuzzy association rules),再以这些规则进行预测。与Takagi–Sugeno–Kang(TSK)模糊系统等其他模糊系统不同,FAC通过统计满足假设后件的训练样本来计算后件参数(consequent parameters),并依据支持度(support)和置信度(confidence)这两个衡量规则重要性的指标来判断一条模糊规则是否可以保留用于后件规则生成。由于FAC的规则挖掘从短规则开始,并逐步扩展为长规则(通过共享短规则的前件部分),因此FAC能够生成后件简洁、长度各异且语言可解释性更高的模糊关联规则。

然而,受模糊Apriori方法规则扩展机制的限制,FAC面临两大困境。其一,高计算负担(high computational burden)。FAC的计算复杂度随输入特征数量呈指数增长,达到O(N × d × Md),其中N为训练样本数、d为特征维度数、M为模糊集数量。虽然支持度阈值和置信度阈值可在一定程度上减少挖掘出的规则数量并阻止规则继续扩展,但为确保不遗漏潜在有用规则,通常采用较低阈值,因此通过提高阈值来降低计算复杂度的效果并不明显。这一困境使FAC难以处理多维甚至高维输入数据,因为相应的训练时间会变得不可接受。其二,低泛化能力(low generalization capability)。该弱点主要由两个因素导致:首先,FAC中模糊关联规则的后件部分是通过比较所有可能类别的置信度值来确定,而非针对标签进行优化,因而其表示能力通常逊于在规则后件上使用复杂优化技术的模糊规则;其次,在FAC的规则扩展过程中,每条(l+1)长度规则的前件部分由两条满足前件和阈值要求的l长度规则的前件部分组合而成,尽管新规则可能具有不同的后件类别,但前件部分的高度相似性使其与相应l长度规则高度相关。这种短规则与长规则之间的相关性会随规则长度增加而日益严重,最终产生大量相关规则,削弱FAC的泛化能力。

集成学习(ensemble learning)通过聚合若干弱学习器(weak learners)的输出以获得更优的最终预测,因此在模糊分类器领域受到越来越多关注。然而,集成学习面临一个关键挑战:它需要一组多样化的学习器来保证良好的聚合性能,但学习器增多通常意味着模糊规则增多、可解释性降低,这削弱了集成学习在模糊分类器上的实际效果。粒计算(granular computing, GrC)作为一种使用粒(granules,如类、簇、子集、组和区间)为复杂应用构建高效模型的计算范式,可为解决上述困境提供新的思路——在不同粒度级别上形成的粒提供了对同一知识库的多个部分独立视图,每个视图具有不同的泛化-特化偏差,这为创建子分类器之间的多样性提供了一种原则性机制。

**二、研究内容与核心方法**

本研究聚焦于有效运用集成学习来解决FAC的上述缺陷,据此提出了多粒度宽度模糊Apriori分类器(multi-granularity broad fuzzy Apriori classifier, MGB-FAC)。MGB-FAC的核心思想是:充分利用规则集中不同粒度级别,在不增加模糊关联规则总数的情况下增加子分类器的数量。MGB-FAC的构建包含三个主要阶段:第一阶段,通过将模糊Apriori方法应用于改进的特征子集,显著降低创建FAC子分类器的计算成本;第二阶段,按规则长度将相同长度的规则集划分为独立的子分类器,从而明显增加子分类器数量;第三阶段,使用置信度加权学习综合评估每个子分类器的贡献。

在关键技术方法上,MGB-FAC的训练流程包括四个步骤。第一步,利用随机子空间方法(random subspace method)和改进装袋法(improved bagging)从原始输入特征生成n个改进的特征子集,每个子集大小约为原始特征数的一半,改进装袋法根据输入特征特性在平衡分布装袋(balanced-distribution bagging)和同分布装袋(same-distribution bagging)两种模式间选择。第二步,使用预定义的统一参数(支持度阈值、置信度阈值、模糊划分数M和规则数K)在各改进特征子集上并行构建n个FAC子分类器,并根据伯努利分布B(p)以较小概率p随机丢弃少量规则以增强多样性。第三步,根据规则长度将每个FAC子分类器中的模糊关联规则拆分为新的子分类器——每条规则的前件长度l(r)决定其所属的粒度级别k,由此定义信息粒(information granule)gk = {r ∈ R | l(r) = k},每个信息粒构成一个仅在相同长度规则上运行的新子分类器。第四步,通过置信度加权学习聚合所有子分类器的输出:每个子分类器的权重w由其训练准确率与规则置信度值(取均值或求和两种模式)的乘积决定,最终输出Y通过累加各类别对应子分类器的加权结果并选择最大权重类别来确定。

**三、实验结果**

**5.1 数据集与对比方法。** 实验采用10个UCI基准数据集(包括PID、WBC、SAT等,特征维度从3到60不等)和7种对比方法进行评估,对比方法包括FAC、CBA、CMAR、RCAR+、WTD-FAM、FA2M和EAC。各方法参数通过网格搜索在验证子集上确定最优设置。由于FAC和FA2M无法在可接受时间内处理多维数据集SAT和CON,对应结果以"——"表示。

**5.2 实验结果与讨论。** 在准确率、精确率、召回率和F1分数四项指标上,MGB-FAC在HSU、BLA、WIN、HEA、AUS和CON六个数据集上取得最佳性能,平均测试排名为1.7至2.0(越低越好),而平均训练排名仅为3.8至4.6,表明其具有训练性能适中而测试性能突出的强泛化能力。MGB-FAC在所有10个数据集上(除MOV和WBC外)的测试性能均优于单一FAC,验证了宽度集成学习对FAC性能提升的有效性;且在与共享相同参数设置的WTD-FAM的对比中,MGB-FAC在除PID外的9个数据集上表现更优,证明从FAC子分类器派生新子分类器这一策略的有效性。此外,MGB-FAC在除MOV、PID和WBC外的数据集上均优于CBA及其变体CMAR和RCAR+,表明选择FAC作为宽度集成学习的基分类器是有效策略。在训练时间方面,MGB-FAC在BLA、WBC和HEA上取得最短训练时间,其训练速度远快于FAC(例如在WIN数据集上,FAC需328.72秒而MGB-FAC仅需0.34秒),平均训练时间在全部方法中排名第二。在规则数量方面,MGB-FAC虽比单一FAC需要更多规则,但其新子分类器中的规则仅为FAC子分类器中规则的拷贝,规则总数与WTD-FAM相当,未实质性增加。Friedman检验及post-Holm检验(显著性水平α=0.05)的统计结果表明,MGB-FAC在测试准确率、精确率、召回率和F1分数上均显著优于除WTD-FAM外的所有对比方法(p<0.05),且与WTD-FAM统计性能相当但实际表现更优。

**5.3 消融研究。** 通过逐步添加三个核心组件(改进特征子集、新子分类器生成、置信度加权学习)构建MGB-FAC的三个变体(MGB-FAC-1仅含改进特征子集、MGB-FAC-2额外添加新子分类器生成、完整MGB-FAC再添加置信度加权学习),实验结果显示:单独使用改进特征子集不能稳定提升FAC性能,因特征子集构建的子分类器学习能力明显低于使用全部特征的FAC;在此基础上生成新子分类器可在多数数据集上提升测试性能,但在WBC等数据集上反而下降,提示新子分类器的质量依赖于对应FAC子分类器的质量;最终引入置信度加权学习后,MGB-FAC在所有10个数据集上均达到优于或与FAC相当的测试性能,验证了三个组件的有效性。

**5.4 语言可解释性。** 以PID数据集(皮马印第安人糖尿病数据集,含8个物理含义明确的输入特征)为例,展示了MGB-FAC中置信度最高的模糊关联规则:"若年龄非常低(very low)、体重指数非常低(very low)且两小时血清胰岛素非常低(very low),则诊断为健康"。该规则与医学常识一致——非常年轻、BMI很低且血清胰岛素很低的人不易患糖尿病。通过分析不同长度规则对具体样本决策的影响发现,短规则有助于用户聚焦于个别关键特征(如BMI),长规则则帮助用户综合考虑不同特征的联合影响(如舒张压、皮肤厚度和BMI),从而提供更深层的数据洞察。

**5.5 参数敏感性。** MGB-FAC的测试性能随FAC子分类器数量n和每个子分类器中规则数量K的增加而稳步提升,并最终趋于稳定,表明n和K取值不宜过大,以在性能与可解释性之间取得平衡。

**5.6 训练开销。** 在所有10个数据集上以统一参数设置(支持度阈值0.05、置信度阈值0.5、模糊划分数5、规则数30、子分类器数5)进行的训练开销对比显示,FAC的训练时间和内存消耗随特征维度增加而急剧上升,而MGB-FAC的上升趋势明显更缓,显著降低了训练成本和内存占用。MGB-FAC的推理时间和规则数虽略高于FAC,但差距远小于训练时间和内存消耗的差距。

**5.7 子分类器多样性。** 使用Q统计量(Q-statistic)、内部前件重叠度(internal antecedent overlap)、重复规则比例(proportion of duplicated rules)、短-长规则相关性(short-long rule correlation)和原始-新子分类器预测一致性(prediction agreement)五项指标评估MGB-FAC的子分类器多样性。结果表明,MGB-FAC在所有数据集上具有很高的Q统计量值(指示高多样性)和较低的内部前件重叠度及短-长规则相关性(指示低相关性),验证了MGB-FAC的集成学习方法有效降低了FAC的高相关性问题;同时高预测一致性表明通过聚合子分类器输出可获得良好的集成性能。但在HSU和MOV等数据集上重复规则比例较高,证实存在大量冗余规则。

**四、讨论与结论**

综合上述实验结果,MGB-FAC通过仅使用部分输入特征构建FAC子分类器、从这些FAC子分类器生成新子分类器以及通过置信度加权学习聚合所有子分类器,成功地在泛化能力、训练速度和语言可解释性三个维度上展现出优越性。与传统FAC相比,MGB-FAC显著加快了训练过程,有效增加了可用于集成的子分类器数量而不实质性增加模糊规则总数,并为每个子分类器对最终决策的贡献提供了合理评估。消融研究进一步从实证角度确认了各核心组件的有效性。

然而,MGB-FAC仍存在三方面不足:第一,缺乏理论结果支撑;第二,存在大量冗余规则,尤其在大规模数据集上更为突出;第三,其在PID之外数据集上的可解释性尚待验证。基于上述局限性,未来工作将聚焦于以下方向:为MGB-FAC的泛化能力提供理论证明;减少不同FAC子分类器之间出现的冗余规则以提升整体可解释性并保持可比性能;将可解释性分析扩展至更多数据集以进一步验证MGB-FAC的可解释性。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号