用于连续分类的类冲突感知模糊决策树

《Expert Systems with Applications》：Class-Conflict-Aware Fuzzy Decision Tree for Continuous Classification

　　

提出了一种面向连续分类的类冲突感知模糊决策树；利用模糊邻域证据量化局部类冲突；类冲突增益指导贪心自顶向下分裂选择；在18个基准数据集上的实验表明分类性能得到提升。

**引言**

决策树（Blockeel, Devos, Frénay, Nanfack, & Nijssen, 2023）因其坚实的理论基础和具有竞争力的实际性能而被广泛应用于分类任务。其预测性能在很大程度上取决于自顶向下树归纳过程中候选分裂的评估方式（García, 2025）。传统的自顶向下决策树主要通过类频率统计量的变化来评估候选分裂。典型准则包括信息增益（Quinlan, 1986）、增益率（Quinlan, 2014）和基尼指数（Loh, 2011），它们根据候选划分前后的类标签分布来衡量节点的不纯度。从信息粒度的角度看，这类基于频率的准则通过聚合类频率统计量来表征节点（Priyanka & Kumar, 2020），并未显式表达特征空间中个体样本之间的局部关系。因此，它们可能忽略仅靠类频率统计量无法反映的局部结构差异，即使邻域结构存在显著差异，具有相似类比例的节点也可能被同等对待。

在连续分类中，这种局限性尤为突出，因为特征空间中样本的几何排列携带了超越类频率统计量的重要信息。在此类特征空间中，类的模糊性通常集中在边界区域，不同类的样本彼此接近且邻域关系不稳定。因此，混合标签节点可能对应截然不同的邻域组织和边界配置。尽管这些情况可能具有相似的类比例，但它们代表节点内部模糊性的不同来源和分布。不利的候选分裂可能进一步破坏局部样本分布，迫使后续贪心归纳从更不连贯的邻域配置出发，使后续分裂选择更加困难。

为了刻画此类局部组织的模糊性，分裂评估需要从节点级类比例转向样本级邻域关系。对于节点内的一个样本，同类的邻近样本提供支持性证据，而不同类的邻近样本提供竞争性证据。当竞争性证据与或强于支持性证据时，该样本更可能位于高冲突局部区域。因此，候选分裂的评估不仅应依据其产生的类比例，还应考察它如何改变子节点内这些局部关系。从这个角度看，减少局部类冲突为评估候选分裂提供了超越传统类频率纯化的另一种基础。

模糊集理论为表征连续特征空间中的不确定性提供了一种有效手段。模糊相似性通过分级的相似程度来表示成对关系，而非硬包含，从而将不确定性表达为关系强度的连续变化。这种表示尤其适用于类边界区域，因为在这些区域中，同类和不同类的邻居可能表现出相当的相似程度。由此产生的模糊邻域证据为评估候选分裂提供了一个有用的基础，超越了仅依靠硬邻域计数或类频率统计量的方式。

基于上述观察，本文提出了一种面向连续分类的类冲突感知模糊决策树（CCFDT）。其核心思想是通过模糊邻域关系来刻画局部模糊性，并使其在贪心树归纳过程中直接可用于分裂评估。为此，从模糊支持度和模糊竞争度中量化样本级类冲突，然后聚合为节点级度量。随后开发了类冲突增益来评估候选划分在减少子节点内残余模糊性方面的能力。通过最大化该增益，CCFDT在不改变其递归学习范式的前提下，将类冲突建模融入标准的贪心自顶向下归纳中。

本文的主要贡献总结如下：

- 从模糊支持度和模糊竞争度出发，开发了一种样本级类冲突度，用于在个体样本层面量化类冲突。对其有界性、正尺度不变性、单调性和保序性进行了分析，以确立所提度量的数学性质。
- 开发了一种类冲突增益作为贪心决策树归纳的分裂选择准则。通过将样本级冲突聚合为节点级冲突，所提准则根据候选划分对子节点内局部支持—竞争结构的影响来评估候选划分。这使得CCFDT能够区分具有相同或相似类频率结果但不同局部冲突模式的候选分裂。理论分析进一步确立了其在均匀邻域条件下与经典基于类频率评估的关联。
- 通过在每个非叶节点上直接最大化类冲突增益，开发了一种贪心自顶向下CCFDT学习算法。在18个基准数据集上的实验证明了其有效性，与基于频率的ID3准则相比，平均准确率提升了2.0个百分点。

本文其余部分组织如下：第2节回顾相关工作并进行问题分析；第3节介绍所提的CCFDT方法；第4节报告实验结果；第5节总结全文。

**决策树学习**

关于决策树学习的现有研究（Costa & Pedreira, 2023）可归为贪心自顶向下归纳内的方法改进和超越该范式的发展两大类。在贪心自顶向下归纳内，一条核心研究路线涉及分裂准则的设计。经典决策树方法使用不同的不纯度度量和信息论准则来评估候选划分。ID3（Quinlan, 1986）选择具有最大熵的分裂……

**样本级类冲突建模**

在递归树构建过程中，每个节点对应一个样本子集 S?U，其中根节点对应 U。对于样本 x ∈ S，S 内保留的邻域关系提供了表征其类冲突状态所需的局部关系信息。这些关系由以下定义的模糊邻域信息颗粒来表示。

**定义 3.1** 给定一个决策信息表 ?U, A, D?，一个节点 S?U，以及一个样本 x ∈ S，诱导的模糊邻域信息颗粒……

**实验设置**

所提CCFDT方法在18个公开可用的基准数据集上进行了评估，这些数据集主要取自UCI机器学习库。这些数据集涵盖了具有不同样本规模、特征维度和类别数的多样化分类场景。详细统计信息汇总于表2。

为了更好地刻画数据集的局部结构，引入两个简单指标用于分析。

重叠度 = 1 ? max_{C_t∈U/D} |U∩C_t| / |U|

不匹配度 = 1/|U| · Σ_{x∈U} (1/|N(x)| · Σ_{z∈N(x)} I(y(z)≠y(x)))

**结论**

本文提出了一种面向连续分类的类冲突感知模糊决策树。从信息粒度的角度看，CCFDT利用更细粒度的样本级邻域证据来丰富传统的节点级类频率评估。基于此局部证据，开发了一种类冲突增益作为新的分裂选择准则，根据候选划分在减少子节点内残余冲突方面的能力来评估候选划分。理论……

**作者贡献声明**

王余泰：概念构思、方法论、软件、验证、调查、撰写。张清华：监督、项目管理、经费获取、审阅与讨论。沈立锋：监督、项目管理、审阅与讨论。周星然：形式分析、审阅与讨论。洪承鑫：形式分析、审阅与讨论。

**利益冲突声明**

作者声明不存在可能影响本文所报道工作的已知竞争性经济利益或个人关系。

王余泰 | 张清华 | 沈立锋 | 周星然 | 洪承鑫