《Data Mining and Knowledge Discovery》：Extending PPCEF: probabilistically plausible counterfactual explanations for regression and heterogeneous tabular data
编辑推荐：
PPCEF（Probabilistically Plausible Counterfactual Explanations，概率合理反事实解释）是研究人员在早前会议论文中提出的方法，其贡献在于将无约束优化目标与条件归一化流（Normalizing Flow）密
PPCEF（Probabilistically Plausible Counterfactual Explanations，概率合理反事实解释）是研究人员在早前会议论文中提出的方法，其贡献在于将无约束优化目标与条件归一化流（Normalizing Flow）密度估计相结合，为可微分类器在数值型表格数据上生成概率合理的反事实解释。本文从三个方向扩展该框架：第一，将有效性目标适配到回归任务，使反事实能够面向连续结果，同时满足基于密度的合理性条件；第二，通过去量化（dequantization）、Gumbel-Softmax松弛以及优化后量化（post-optimization quantization）处理类别特征，从而支持异构表格数据；第三，引入针对不可变特征和单调特征的可选可行动性约束（actionability constraints）。研究人员在五个额外的混合类型分类数据集和五个回归数据集上评估了回归扩展与混合数据扩展，使用线性与非线性预测器以及相应的混合数据和回归基线，并提供了新的回归正则化与密度阈值敏感性分析。在所有新增设置中，PPCEF普遍能达到较高的有效性和概率合理性。
该文在会议论文提出的PPCEF框架基础上，扩展了概率合理反事实解释（Probabilistically Plausible Counterfactual Explanations, PPCEF）方法，以支持回归任务和异构表格数据。反事实解释（Counterfactual Explanation, CF）是一种黑箱模型事后解释方法，通过寻找最小特征改动使模型输出达到期望结果，可用于贷款、保险、招聘、医疗和化学发现等场景。已有方法主要针对分类问题，回归任务很少被研究；类别特征与连续特征混合的表格数据也使梯度优化方法难以保持类别语义；现有概率合理性方法多依赖核密度估计或高斯混合模型，受限于严格凸约束，难以适应高维复杂分布。
为此，研究人员在原有数值型分类PPCEF基础上做了三方面扩展：第一，将有效性目标适配为回归中的容忍误差形式，使反事实能逼近连续目标值；第二，通过去量化（dequantization）、Gumbel-Softmax松弛与优化后量化（post-optimization quantization）支持类别特征；第三，通过梯度掩码实现不可变特征和单调方向约束。研究在多个公开数据集上开展，使用逻辑回归（Logistic Regression, LR）、多层感知机（Multilayer Perceptron, MLP）、神经混淆决策集成（Neural Oblivious Decision Ensembles, NODE）和线性回归等预测器，并与Artelt and Hammer方法、Wachter方法、CBCE、CEM、CEGP、C-CHVAE、DiCE、CEARM等方法比较。主要结论是：PPCEF在几乎所有数据集和预测器上都接近完美地同时满足有效性和概率合理性，而多数基线无法兼顾；在回归和混合数据场景中同样如此；批处理优化使其计算效率接近无需优化的方法。
关键方法包括：采用条件归一化流（conditional Normalizing Flow）中的掩码自回归流（Masked Autoregressive Flow, MAF）估计条件密度；使用无约束梯度优化，将距离、有效性损失与合理性损失加权组合并以批处理优化；通过去量化（dequantization）、Gumbel-Softmax松弛和优化后量化（post-optimization quantization）处理类别特征；通过梯度掩码实施不可变与单调可行动性约束；回归有效性损失采用容忍阈值形式。数据来源包括数值分类数据集Law、Heloc、Audit、Moons、Blobs、Digits、Wine，混合分类数据集Lending Club、Give Me Some Credit、Bank Marketing、Credit Default、Adult，回归数据集Synthetic、Concrete Compressive Strength、Diabetes、Yacht Hydrodynamics、SCM20D。
研究结果如下。
5.2.8 概率合理反事实解释方法比较：在Moons、Law、Audit、Heloc、Blobs、Digits、Wine等数值数据集上，与Artelt and Hammer方法比较，PPCEF几乎总能返回满足概率合理性条件的结果，而Artelt方法在高维数据上难以满足；PPCEF在局部离群因子（Local Outlier Factor, LOF）和孤立森林（Isolation Forest, IF）指标上多为内点，且运行时间更短，并能支持MLP和NODE等非线性分类器。
5.2.9 反事实解释方法比较：与Wachter、CBCE、CEM、CEGP等基线比较，PPCEF在有效性、概率合理性、离群点指标和计算效率上占优，距离指标略逊于CEGP，但CEGP概率合理性低、MLP有效性低、耗时更长，反映不同方法对反事实质量的侧重不同。
5.2.10 混合数据反事实解释方法比较：在Lending Club、Give Me Some Credit、Bank Marketing、Credit Default、Adult五个混合数据集上，与C-CHVAE和DiCE比较，PPCEF几乎全覆盖并达到很高有效性；概率合理性一致优于DiCE，与C-CHVAE各有优劣；基线距离更小但牺牲了合理性和有效性；PPCEF耗时略高但换来更可靠的反事实。不可变特征约束实验表明，Adult Census与Credit Default生成的反事实中不可变特征违规数为0。
5.3.7 回归实验：在Synthetic、Concrete Compressive Strength、Diabetes、Yacht Hydrodynamics、SCM20D五个回归数据集上，与WACH和CEARM比较，PPCEF的概率合理性接近1.00，平均绝对误差（Mean Absolute Error, MAE）接近0.01，显著优于基线；CEARM和WACH生成的反事实常为离群点；SCM20D上CEARM不适用。距离略大是追求合理性与有效性带来的权衡。
6.1 分类损失函数消融研究：与二元交叉熵和交叉熵损失相比，PPCEF损失在达到分类阈值后置零分类项，使反事实更接近原始样本，距离更小。
6.2 正则化超参数λ分析：在Moons、Law、Audit上λ=5或10已能较好满足约束，λ≥100几乎总能满足；回归λ分析同样显示λ=100使概率合理性接近1.00；更高λ会略微增大距离，体现严格性与邻近性的权衡。
6.3 密度阈值δ分析：在Moons、Law、Audit上改变训练样本密度的分位数q，从0.05到0.75；q≤0.5时有效性和合理性保持较高，Audit上有效性从0.90升至0.97；q=0.75时Audit有效性和合理性分别降至0.69和0.77，说明过严阈值会使约束集不可行；中位数q=0.5是合理默认值。
总结讨论部分，研究人员指出，PPCEF在有效性和概率合理性之间的平衡优于现有方法；距离略大和计算耗时略高是追求高合理性与有效性的代价，也是方法权衡的固有属性。结论部分可翻译为：在会议论文引入的数值型分类PPCEF基础上，本文通过容忍有效性损失、去量化与Gumbel-Softmax变换以及梯度掩码，将方法扩展至回归、混合数据和可行动性约束。实验表明，PPCEF在所有评估的数据集和分类器架构上均能接近完美地同时满足有效性和概率合理性，而竞争方法经常无法同时满足；在混合数据上，PPCEF在有效性和合理性方面一致优于C-CHVAE和DiCE；在回归设置中，PPCEF成功生成达到连续目标值并保持概率合理性的反事实；批处理还使计算效率接近非优化方法。
