《Machine Learning and Knowledge Extraction》：Classifying with the Fine Structure of Distributions: Leveraging Distributional Information for Robust and Plausible Na?ve Bayes
编辑推荐：
本文提出了一种新颖的朴素贝叶斯（Na?ve Bayes）分类器PDENB，它通过无参数的帕累托密度估计（PDE）来捕捉特征的复杂分布结构（如多峰、偏态），避免了传统方法（如高斯朴素贝叶斯GNB）对数据分布的先验假设。该方法还引入了基于ABC分析的“合理性”校正（Plausible Bayes），以处理低证据观测值的误分类问题。研究显示，PDENB在多个基准数据集上展现了与先进分类器相媲美甚至更优的稳健性能（马修斯相关系数MCC ≥ 0.95），同时其可视化的类条件似然和二维后验Voronoi图极大地增强了模型的可解释性，为生物医学数据（如流式细胞术细胞种群区分）提供了强大的基线分析工具。
在机器学习领域，贝叶斯分类器是理论上最小化分类错误的最优解。然而，估计高维概率密度在实际中往往不可行，因此出现了各种简化近似方法，如朴素贝叶斯（Na?ve Bayes）和k近邻（k-Nearest Neighbor, kNN）。尽管这些方法简单，但它们需要用户做出关键的设计选择，例如kNN中的距离度量，或朴素贝叶斯中的特征独立性假设。特别是，朴素贝叶斯通常依赖于高斯混合模型或单变量核密度估计器，这些选择隐含着对数据分布的假设，往往无法捕捉不同特征间异质的分布结构。
针对这些挑战，本研究提出了一种灵活的朴素贝叶斯分类器（PDENB），其核心是采用帕累托密度估计（Pareto Density Estimation, PDE）。PDE是一种无参数、数据驱动的方法，它不预设任何数据分布形式，其核半径根据信息论原则自动确定，旨在最大化信息收益与计算努力的帕累托最优。研究表明，PDE在探索性统计分析中能比标准核方法更有效地揭示分布的精细结构，如多峰性、偏态和截断范围。
PDENB方法的另一大贡献是解决了贝叶斯定理中的一个已知缺陷：对低证据观测值的误分类。当某个观测点落在所有类别的概率密度都极低的区域时，经典贝叶斯分类器可能会将其分配给一个方差较大、概率密度衰减较慢的类别，即使该观测点实际上更接近另一个类别的密度中心。例如，在根据身高区分性别时，若女性身高的方差大于男性，一个极高（巨人）的身高可能会被错误地分类为女性，因为男性身高的概率密度衰减更快。为了解决这个问题，本研究引入了基于ABC分析（Activity Based Costing）的“合理性”校正概念。该方法自动确定一个证据阈值ε，当观测点的联合似然低于此阈值时，则视为不确定案例，并考虑将其分配给模式（密度中心）更接近的类别，从而做出更符合直觉的分类决策。
在技术实现上，PDENB对每个特征独立地进行PDE估计，获得原始的类条件似然离散函数。为了避免原始PDE的粗糙性（由于均匀核和有限采样）对后验概率估计造成的不稳定影响，研究采用了一种平滑处理流程。该流程首先通过快速傅里叶变换（FFT）将PDE输出与以帕累托半径为带宽的高斯核进行卷积，以抑制高频噪声。随后，使用单调Hermite样条对平滑后的密度进行插值，得到连续且平滑的类条件似然函数，用于后续的贝叶斯分类计算。整个流程设计考虑了数值稳定性，例如在计算对数似然时进行截断处理以防止溢出。
为了评估PDENB的性能，研究在14个公开数据集上进行了广泛的基准测试，包括来自UCI仓库的经典数据集和一个涉及流式细胞术细胞种群识别的生物医学数据集。参与比较的算法包括多种朴素贝叶斯变体（如高斯朴素贝叶斯GNB、非参数朴素贝叶斯NPNB）以及k近邻（kNN）等。性能评估采用马修斯相关系数（MCC），并通过100次重复的保持集验证或重采样技术来确保结果的可靠性。
基准测试结果表明，PDENB在大多数数据集上表现出色，其平均排名位居前列。特别值得注意的是，在分布形态复杂（如具有长尾、多峰、偏斜特性）的数据集（如Satellite）上，PDENB凭借其无参数密度估计的优势，显著优于假设数据为正态分布的高斯朴素贝叶斯方法。这验证了PDENB在处理真实世界复杂数据分布时的稳健性。同时，研究也指出，特征间的高相关性（通过皮尔逊相关系数、斯皮尔曼等级相关系数、肯德尔τ系数和Xi相关系数等多种度量评估）并不总是导致朴素贝叶斯性能下降，PDENB在存在特征相关性的数据集（如Cell populations）上依然能取得高性能。
除了分类性能，PDENB的一个突出优势是其卓越的可解释性。研究提供了两种主要的可视化工具：
- 1.
类条件似然镜像密度图（MD Plots）： 对于每个特征，可以绘制不同类别的条件似然函数曲线。通过将这些曲线旋转90度并镜像排列，用户可以直观地比较不同类别在该特征上的分布差异，例如观察分布的中心趋势、离散程度、重叠区域以及是否存在多峰等复杂结构。这种可视化有助于理解哪些特征对区分不同类别最具判别力，以及分类器决策的依据。例如，在Iris和Penguins数据集上的可视化清晰地展示了不同类别在特征空间中的分离趋势。
- 2.
二维后验Voronoi图： 为了展示高维空间中的决策边界，研究提出了基于特定两个特征维度的自定义Voronoi镶嵌图。该图将二维平面根据训练数据点的位置划分为Voronoi细胞，每个细胞根据PDENB计算出的后验概率进行着色（例如，深红色表示后验概率接近1，白色表示接近0）。通过观察特定类别的后验概率图，可以识别出在所选两个特征构成的子空间中，哪些区域对该类别具有高置信度。例如，在流式细胞术数据中，使用CD14和CD16两个标记物绘制的Voronoi图，可以清晰地显示出非典型单核细胞和经典单核细胞各自的高后验概率区域，这与流式细胞术分析中的常规设门策略相符，从而为分类结果提供了直观的解释。
为了展示PDENB在生物医学领域的应用潜力，研究将其应用于一个实际任务：区分外周血（pB）和骨髓（BM）样本的流式细胞术数据。该任务对于临床诊断（如评估微小残留病MRD）至关重要，因为骨髓抽吸物若被外周血稀释会影响结果判读。使用德累斯顿队列的流式细胞术数据（包含44个样本文件，每个文件有数十万至近百万个细胞事件），PDENB通过分析由ALPODS算法自动识别出的细胞种群频率，在样本级别上实现了高达99.3%的分类准确率（MCC为0.988），优于之前报道的基于可解释AI流程的96.8%的准确率。相关的后验Voronoi图进一步揭示了哪些细胞种群频率的组合能够有效区分血与骨髓样本。
综上所述，本研究提出的PDENB分类器通过结合无参数帕累托密度估计和合理性校正，实现了对复杂数据分布的灵活建模和稳健分类。它不仅在各种基准测试中表现出强大的竞争力，更重要的是，通过其独特的可视化能力，为机器学习模型提供了宝贵的可解释性洞察，使其特别适合于需要可靠基线和决策解释的生物医学数据分析等领域。研究者已将该方法封装为开源的R软件包（PDEnaiveBayes），便于同行使用和验证。未来的工作可以进一步探索其在更广泛数据类型（如类别型变量）上的扩展，以及将其可视化工具更深入地整合到可解释AI工作流中。
