机器学习高风险决策系统的统一治理框架：预测、可解释性与模型审计的综合评估

《Scientific Reports》：An integrated explainable machine learning framework for prediction explanation and audit in high stakes binary classification

　　

摘要

机器学习分类器越来越多地被部署在高风险决策系统中，然而其不透明性造成了治理风险，损害了问责制和信任。本研究提出了一个统一的综合框架，将预测建模、可解释性和模型审计融为一体，并在一个主要公共表格数据集（Lending Club）和一个独立基准数据集（Give Me Some Credit）上进行了评估，两者均取自消费信贷领域。该框架强制执行严格的决策时特征可用性策略，在该策略下所有贷款发放后的还款变量均被排除，在固定的24个月结果窗口上定义违约，并整合了类别不平衡处理、七个基准分类器（包括传统评分卡）、概率校准评估、带有量化SHAP–LIME一致性的全局和局部可解释性分析，以及一个涵盖性能稳定性、特征合理性、误差结构、子群公平性筛查、阈值政策和缺失输入鲁棒性六个维度的审计。在时间上保留的Lending Club测试集上，LightGBM取得了最强的区分能力，AUC-ROC为0.8451（95% CI 0.8421–0.8481），AUC-PR为0.6118，F1分数为0.6097，KS统计量为0.5127；其相对于CatBoost的优势在统计上不显著，而两者均优于非提升基线。在独立基准数据集上观察到类似的排序，由于严重的类别不平衡，AUC-PR比准确率更具信息量。SHAP解释识别出利率、贷款等级、循环使用率、债务收入比、信贷历史长度和收入为主要预测因子，并且在系统性评估样本中SHAP–LIME归因高度一致（平均Spearman相关系数为0.84）。审计揭示了稳定的交叉验证性能、轻微的时间漂移、校准后的充分可靠性和低收入和短信贷历史子群中较高的假阳性率；由于数据集中没有直接观察到的受保护属性，这些结果构成了社会经济子群筛查，而非人口统计公平性的证明。本研究表明，预测性能、可解释性、校准和可审计性可以在一个可复现的工作流中联合评估，提供了一个运营技术审计模板，该模板补充但不替代法律和机构审查。