《Machine Learning and Knowledge Extraction》:Beyond Predictive Accuracy: Reference-Aligned Evaluation of Explainable AI in Distribution Networks
编辑推荐:
特征归因可以描述已拟合的预测器,但可能与已声明的工程参考不一致。本研究开发了一种参考对齐审计,将预测性能、归因一致性、估计器精度和参考证据状态分开处理。两个公开的配电网络数据集提供了精确的加性对照:53,567条瑞士电表记录和240条厄瓜多尔公用事业月度记录。
特征归因可以描述已拟合的预测器,但可能与已声明的工程参考不一致。本研究开发了一种参考对齐审计,将预测性能、归因一致性、估计器精度和参考证据状态分开处理。两个公开的配电网络数据集提供了精确的加性对照:53,567条瑞士电表记录和240条厄瓜多尔公用事业月度记录。在共同的有限背景边际博弈下,瑞士多层感知器(multilayer perceptron, MLP)达到R2=0.99979,归一化归因距离为0.037;而梯度提升和随机森林保持R2>0.97,距离分别为0.480和0.706。在厄瓜多尔,对所有16个联盟的精确枚举得出MLP的R2=0.99846和距离0.399,尽管四个特征的秩完全一致。在一个双组博弈中联合替换三个计费及输送出流变量,结果保持不变(0.405)。针对MLP的聚类自助法显示,预测误差与零和归因差异之间的关联在瑞士为ρs=0.238(95% CI [0.025,0.440]),在厄瓜多尔为ρs=0.071(95% CI [?0.361,0.460]);这些估计不能确立独立性。按公司均衡的分析暴露了被合并性能掩盖的CNEL-Sucumbíos失效,而样本量与多随机种子审计则保持定性的归因距离排序。一项覆盖全部电表的电压审计未将观测性回归认定为物理地面真值。结论仅限于声明的加性参考和归因博弈,不构成一般性的物理验证。
可解释人工智能(Explainable AI, XAI,即旨在使模型决策可被人理解的AI方法)的特征归因方法(即解释输入特征对预测结果的贡献)可以描述已拟合的预测器,但归因结果可能不同于工程上明确声明的参考。针对这一问题,本研究提出参考对齐审计(reference-aligned audit,即考察归因是否与既定工程参考一致的审计方法),将预测性能、归因一致性、估计器精度与参考证据状态四个维度分开评估,以避免仅凭预测精度或直观解释判断可解释AI的可靠性。
研究人员使用两个公开的配电网络数据集作为精确加性对照:瑞士53,567条电表记录和厄瓜多尔240条公用事业月度记录。在统一的有限背景边际博弈(finite-background marginal game,一种基于有限特征背景的博弈论归因设定)下,他们评估了多层感知器(multilayer perceptron, MLP)、梯度提升和随机森林等模型,并以归一化归因距离度量归因与工程参考的偏差。结果显示,高预测精度并不保证归因对齐:瑞士MLP的R
2=0.99979、归因距离0.037,而梯度提升和随机森林R
2均大于0.97、距离分别为0.480和0.706。这表明将预测精度与归因质量分开审计具有重要价值,为配电网络等工程场景提供了更严格的XAI评估范式。
主要技术方法包括:构建有限背景边际博弈实现归因的加性控制;对厄瓜多尔数据精确枚举全部16个联盟;用聚类自助法估计预测误差与零和归因差异的关联;进行按公司均衡的分析(即按公司平衡样本后再进行性能分析)、样本量审计和多随机种子审计;实施覆盖全部电表的电压审计(即使用所有电表电压数据的审计)。样本队列即上述两个公开数据集。
研究结果如下。
瑞士数据集结果:在共同有限背景边际博弈下,瑞士MLP达到R
2=0.99979、归一化归因距离0.037;梯度提升与随机森林的R
2均大于0.97,距离为0.480、0.706,说明预测精度高不一定归因对齐。
厄瓜多尔数据集结果:精确枚举全部16个联盟后,MLP的R
2=0.99846、归因距离0.399,尽管四个特征的秩完全一致;在双组博弈中联合替换三个计费及输送出流变量后,结果保持为0.405,说明完全秩一致仍可能存在数值性归因偏差。
误差-归因差异关联结果:聚类自助法显示,MLP的预测误差与零和归因差异之间的关联在瑞士为ρ
s=0.238(95% CI [0.025,0.440]),在厄瓜多尔为ρ
s=0.071(95% CI [?0.361,0.460]),均为弱相关,但不能据此确立二者独立。
按公司均衡与稳健性审计结果:按公司均衡的分析暴露了CNEL-Sucumbíos在合并性能下被掩盖的失败;样本量审计和多种子审计均保持归因距离的定性排序。
覆盖全部电表的电压审计结果:该审计未将观测性回归认定为物理地面真值,提示参考对齐并不等同于物理验证。
讨论部分强调,弱相关估计不能证明预测误差与归因差异独立;合并性能可能掩盖局部公司层面的失败;电压审计提醒不应将观测性回归视为物理真值。研究结论可翻译为:本研究的结论仅限于所声明的加性参考和归因博弈,不构成一般性的物理验证。