利用机器学习和集成技术对信用违约风险进行预测建模 Mofoka Rebuseditsoe Mathibela 和 Daniel Maposa

《Mathematical and Computational Applications》：Predictive Modelling of Credit Default Risk Using Machine Learning and Ensemble Techniques Mofoka Rebuseditsoe Mathibela and Daniel Maposa

　　摘要：本研究开发了一个混合框架，将集成学习与可解释人工智能相结合，以解决在信用风险模型比较中平衡预测准确性和可解释性这一方法论挑战。利用德国信用数据集，我们实施了一个全面的预处理流程，包括特征编码、缩放以及用于处理类别不平衡的SMOTE方法。四种基础模型——逻辑回归、随机森林、XGBoost和多层感知器——通过堆叠集成与逻辑回归元学习器相结合。该集成模型表现出色，获得了0.761的AUC值、0.783的精确度、0.806的召回率和0.794的F1分数，这些指标在所有测试模型中均处于最高水平。值得注意的是，随机森林（AUC = 0.749）的表现超过了XGBoost（AUC = 0.733），这挑战了传统的算法层次结构。SHAP分析提供了透明的全局和局部可解释性，识别出当前账户状态（SHAP = 0.153）、贷款期限（0.064）和储蓄账户（0.063）为主要预测变量。通过处理类别不平衡和优化阈值，将误报率从39%降低到16%，从而更符合金融风险的优先级。该框架提供了一种可复现的方法论流程，用于系统地比较信用评分方法，展示了如何在基准数据集背景下评估预测性能和可解释性。

1. 引言
信用风险指的是借款人未能履行其合同还款义务的可能性。这是对金融服务行业最严重的威胁之一[1]。在贷款过程中对信用风险的错误评估会导致贷款人遭受重大损失，不良贷款率上升，在极端情况下甚至可能导致银行业系统性崩溃。不良贷款在全球信用风险管理中是一个重大挑战。尽管信用评分方法必须考虑模型的透明度，但本研究重点关注使用现有基准数据进行的方法论开发和比较。传统的信用风险评估方法基于统计分析，如逻辑回归和线性判别分析。这些方法仍然受欢迎，因为它们通过了监管审查，并被认为具有透明性和可解释性[2]。然而，所有这些模型都假设预测变量之间存在线性和独立性，而在受非线性社会和经济趋势影响的借款人行为背景下，这种假设很少成立[3]。由于新计算技术的出现、大型金融数据集以及机器学习算法速度的提高，信用风险建模已经发展起来。新的算法能够发现借款人数据中的复杂关系，包括随机森林、梯度提升机、极端梯度提升和多层感知器神经网络[4]。尽管这些算法在预测方面比传统模型更精确，但它们引发了关于可解释性、可解释性和可信度的担忧[5]。这些挑战需要既易于理解又能处理现实世界复杂性的建模平台。本研究提出了一种基于堆叠集成方法的混合架构，用于系统地测试简单和复杂的机器学习模型，并采用Shapley加性解释模型来解决这一问题，同时遵守伦理准则[6,7]。

1.1. 理由
金融机构所需的信用评分模型必须对各种类型的数据提供公平、透明和正确的预测。这在很大程度上是由于随着机器学习解决方案的普及，金融行业面临着实施自动化决策的日益增加的压力[4]。一个技术上可靠的模型除非能够证明其预测的合理性，否则无法通过监管机构的审查或获得公众的信任。最近的研究表明，可解释的人工智能可以在保持准确性的同时保持透明度[5,8]。此外，当数据不平衡且存在噪声时，集成学习已被证明可以显著提高预测性能[9]。然而，很少有研究人员（如Begenau等人[5]、Farboodi和Veldkamp[8]以及Ribeiro等人[6]）系统地使用多种学习器和事后可解释性方法来评估堆叠集成模型。这将是本研究的重点。

1.2. 文献综述
历史上，信用风险建模依赖于传统的统计方法，如逻辑回归和线性判别分析。这些方法仍然受欢迎，因为它们对监管机构来说是透明的且易于解释的，但它们依赖于线性和独立性的假设，而这些假设在真实的借款人行为中往往不成立[2,10]。随着金融数据集规模和复杂性的增加，这些经典模型在捕捉非线性关系和交互作用方面显示出局限性[11]。因此，机器学习方法变得更为重要，多项研究表明，随机森林、梯度提升机和深度神经网络等算法在预测准确性方面优于传统模型[4,12]。然而，这些模型的可解释性较差，给透明度、风险管理和合规性带来了挑战[13]。准确性的提高往往以可解释性为代价，而可解释性在信用决策中仍然是一个关键要求。最近的方法论调查显示，人们正朝着平衡预测准确性和合规性的混合方法转变。Tang等人[14]系统地回顾了信用评分中的公平意识机器学习，发现像SHAP和LIME这样的可解释性技术不仅用于解释，还用于偏见检测和缓解。同样，Barocas等人[13]记录了监管机构越来越期望金融机构“在设计时考虑可解释性”，而不是将其视为事后事项。这些发展为信用风险建模创造了机会和挑战，需要将最先进的预测性能与稳健、可审计的决策过程相结合的框架。

1.2.1. 金融领域表格机器学习的最新进展
近年来，将机器学习应用于结构化的表格金融数据在方法论上取得了显著进展。虽然深度学习在图像和文本领域占据主导地位，但信用应用的表格数据具有独特的挑战，包括混合数据类型、缺失值和异构特征空间[15]。最近的比较研究表明，基于树的集成方法，特别是梯度提升变体，在表格数据集上始终优于深度学习方法，这挑战了关于神经网络在所有数据模式中都具有优越性的假设[12]。在信用评分方面，Yang等人[12]证明，卷积神经网络并没有比精心调整的梯度提升机带来显著优势，这强调了根据数据特征选择算法的重要性，而不是技术趋势。

1.2.2. 信用风险中的集成学习发展
集成方法已经超越了传统的装袋和提升技术，包括了利用模型多样性的复杂堆叠和混合技术。Kou等人[4]的最新工作对信用评分中的集成技术进行了全面的元分析，发现当基础学习器表现出互补的错误模式时，堆叠集成始终优于单个模型。然而，他们指出复杂性-准确性之间的权衡日益增加，需要仔细验证。自动化机器学习框架的出现进一步普及了集成构建，尽管仍存在关于可解释性和合规性的担忧[16]。值得注意的是，Lessmann等人[11]发现，当应用于中等规模的信用数据集时，较简单的集成模型往往能够达到或超过更复杂模型的性能，这表明复杂性的收益递减。集成学习，包括装袋、提升和堆叠，作为一种强大的替代方案出现，因为它结合了多个模型的优势来提高预测性能[11,17]。特别是堆叠在信用评分中显示出强大的结果，但往往会增加模型的复杂性，使得决策过程更难以解释。尽管堆叠集成越来越受欢迎，但很少有研究为其提供清晰的可解释性框架。

1.2.3. 金融机器学习中的可解释性
金融服务中对可解释性的需求推动了事后可解释人工智能（XAI）技术的快速发展。SHAP（Shapley加性解释）由于其博弈论基础和与多种模型架构的兼容性而成为主导框架[7]。最近在信用评分中的应用表明，SHAP在全局特征重要性和单个决策解释方面都非常有用，满足了欧盟通用数据保护条例（GDPR）中的解释权要求[18]。然而，Demirgü?-Kunt等人[19]有力地论证了在高风险领域（如金融）中需要本质上是可解释的模型，这在准确性和透明度之间创造了持续的紧张关系。结合可解释模型和局部解释的混合方法代表了有前景的中间路径，在金融应用中越来越受到关注[16]。像LIME[6]这样的技术提供了补充的局部近似，但缺乏SHAP在全局特征重要性方面的理论一致性。

1.2.4. 公平和伦理考虑
公平性和伦理考虑进一步复杂化了信用评分。机器学习模型可以通过代理变量或偏置数据分布复制或放大历史不平等[14]。尽管可解释性可以支持公平性分析，但公平性、类别不平衡处理和集成可解释性的结合仍然研究不足。

1.2.5. 当前文献中的空白
尽管取得了这些进展，信用风险建模研究中仍存在几个空白。首先，很少有研究在单一框架内系统地结合类别不平衡处理、阈值优化和集成可解释性。其次，比较研究往往忽略了性能差异的适当统计测试，仅报告数值优势而不进行显著性评估[20]。第三，许多出版物中关于实现透明度和可复现性的记录不足，限制了实际应用。最后，很少有研究考察不同建模范式中特征重要性的稳定性。本研究旨在通过开发一个全面的、经过统计验证的、可解释的集成框架来填补这些空白，该框架具有完整的方法论透明度。

1.2.6. 本研究的定位
总体而言，现有文献存在明显的空白。很少有研究开发出能够识别类别不平衡的堆叠集成模型用于信用风险，使用SHAP解释组合系统，并评估性能、可解释性和公平性。本研究旨在通过设计一个可解释的集成框架来填补这一空白，该框架在预测能力和透明度以及合规性之间取得平衡。

1.3. 本研究的主要贡献
本研究构建并评估了一个考虑类别不平衡的堆叠集成框架，用于信用违约预测，并结合了基于SHAP的解释来提高模型透明度。使用德国信用数据集作为方法论测试平台，我们展示了如何在统一的信用评分方法评估框架内系统地比较预测性能、可解释性和方法论严谨性。该研究引入了一个包含类别不平衡处理的堆叠框架，以反映信用风险中错误分类的不平等后果。它提供了少数几个将SHAP应用于完整堆叠集成的应用之一，在基础学习器和元学习器层面都提供了可解释性。此外，该工作还实现了一个完整的、可复现的流程，用于比较具有可解释性的集成信用评分方法，为类似评估提供了方法论基准。

2. 方法
2.1. 研究设计
本研究采用比较实验设计，系统地评估用于信用违约预测的机器学习模型。设计框架包括三个连续阶段。第一阶段涉及模型开发，包括四个基础分类器（逻辑回归、随机森林、XGBoost和多层感知器）以及一个堆叠集成的单独训练，每个模型都优化了超参数。第二阶段通过使用准确性、精确度、召回率和AUC-ROC等多个指标进行严格的性能评估，并通过McNemar检验和Friedman检验进行统计显著性测试。第三阶段侧重于解释，使用SHAP（Shapley加性解释）值来分析全局特征重要性和局部单个预测层面的模型可解释性。该设计通过在整个模型中应用相同的预处理流程、验证策略和评估标准，确保了控制的比较。这种方法论一致性将算法差异作为主要研究对象，同时最小化了与数据准备或评估程序相关的混淆因素。这种比较方法使得可以直接将集成方法与单个分类器进行基准测试，并便于分析信用评分领域内预测性能、计算复杂性和模型可解释性之间的权衡。

2.2. 数据来源和预处理
本研究使用了Lessmann等人[11]提供的德国信用数据集，其中包含1000个信用实例和20个预测变量，包括人口统计、财务和信用历史变量。二元目标变量表示违约（1）或非违约（0）。数据集采用70-30的比例进行分层训练-测试分割，确保两组数据保持原始的30:70违约/非违约比例。这种方法在信用评分文献中很常见，但它提供的性能估计可能比重复分割或交叉验证具有更高的方差。数据集包含1000个信用申请，违约率为30%（300个违约，700个非违约）。关键预测变量包括借款人人口统计信息（年龄、就业状况）、财务指标（当前账户状态、储蓄账户、信贷金额）和信用历史信息。所有分类变量在分析前都进行了适当的编码（二进制变量编码为0/1，有序变量保持自然顺序）。缺失值非常少（<2%），通过中位数/众数插补方法进行处理。为了确保数据质量和模型的准备就绪，我们实施了一个结构化的预处理流程：

**数据清洗：**
- 对于数值预测变量，使用中位数插补处理缺失值；
- 对于分类特征，使用众数插补处理缺失值；
- 对数值特征中的异常值，采用四分位数范围（IQR）方法进行处理。

**特征编码：**
- 对于名义特征，使用独热编码（One-hot encoding）进行转换：
$$ \mathbf{X}_{\text{encoded}} = \text{OneHotEncode}(\mathbf{X}_{\text{categorical}} $$ （1）
这为每个类别创建了二进制列，同时避免了人为的序数关系。

**特征缩放：**
- 使用Z分数标准化（Z-score normalization）对数值特征进行缩放，以确保特征之间的尺度一致：
$$ \mathbf{Z} = \mathbf{X} - \bar{\mathbf{x}} \cdot \sigma $$ （2）
其中 $\bar{\mathbf{x}}$ 是均值，$\sigma$ 是标准差。这种转换将数据中心化为零，并具有单位方差，从而提高了基于梯度的算法的收敛性。

**类别平衡：**
- 为了解决信用违约数据中固有的类别不平衡问题，我们应用了合成少数样本过采样技术（Synthetic Minority Over-sampling Technique, SMOTE）[21]：
$$ \mathbf{x}_{\text{new}} = \mathbf{x}_{\text{i}} + \lambda \cdot (\mathbf{x}_{\text{z}} \cdot \mathbf{x}_{\text{i}} - \mathbf{x}_{\text{i}}) $$ （3）
其中 $\lambda \sim U(0,1)$ 是一个介于0和1之间的随机数，$\mathbf{x}_{\text{z}}$ 是从少数类别中随机选择的最近邻样本。这种方法在特征空间中生成了合成少数样本。

**2.3 预测模型**
我们评估了四种不同的分类器类型，以涵盖多种建模方法：

**2.3.1 逻辑回归（Logistic Regression, LR）**
逻辑回归作为一种可解释的基线模型，在信用评分中得到了广泛应用，因为它具有概率框架并且得到了监管机构的认可[2]。该模型使用Sigmoid函数估计违约概率，将预测变量的线性组合映射到[0,1]区间：
$$ P(\mathbf{Y} = 1| \mathbf{X}) = \frac{1}{1 + e^{-\sum_{i=1}^{p} \beta_{i} \mathbf{x}_{i}} $$ （4）
其中 $\beta_{i}$ 是特征系数，$\mathbf{x}_{i}$ 是预测变量。这些系数直接解释了特征对违约概率的影响。在信用风险应用中，这些系数提供了每个借款人特征如何影响违约可能性的直接可解释度量。这种透明度对于监管合规性和向申请人解释决策特别有价值。然而，该模型假设对数几率（log-odds）是线性的，可能无法完全捕捉借款人行为中的复杂交互作用。

**2.3.2 随机森林（Random Forest, RF）**
随机森林是一种集成学习方法，通过自助聚合（bagging）构建多棵决策树来减轻过拟合问题——这是历史数据有限时信用评分中的一个常见挑战[15]。每棵树都是使用观测值和预测变量的随机子集（通过自助法）生成的，引入了多样性，从而增强了泛化能力。给定申请人的最终预测是通过所有树的多数投票确定的：
$$ \hat{\mathbf{y}} = \text{mode}\{\mathbf{h}_{1}(\mathbf{X}), \mathbf{h}_{2}(\mathbf{X}), \ldots, \mathbf{h}_{T}(\mathbf{X}) \} $$ （5）
其中 $\mathbf{h}_{t}(\mathbf{X})$ 表示第t棵树的预测，T是森林中树的总数。每棵树都是在特征的随机子集和数据样本上训练的。对于信用风险评估，随机森林有几个优点：它可以自然处理混合数据类型（分类和数值），需要最少的预处理，并提供了内置的变量重要性度量[22]。该方法特别擅长捕捉借款人特征之间的非线性关系和交互作用，尽管与简单模型相比，它牺牲了一些可解释性。

**2.3.3 极端梯度提升（Extreme Gradient Boosting, XGBoost）**
极端梯度提升（XGBoost）是一种高性能的梯度提升实现，它通过顺序构建决策树来纠正前几次迭代的错误[23]。这种方法在现代信用风险预测中表现出特别的有效性，因为它能够巧妙处理类别不平衡和金融数据中常见的复杂预测变量交互作用。目标函数结合了可微分的损失项和正则化来控制模型复杂性：
$$ \ell(\mathbf{t}) = \sum_{i=1}^{n} \lambda_{i} [l(\mathbf{y}_{i}, \hat{\mathbf{y}}_{t-1})^{(i)} + f(\mathbf{x}_{i}) + \Omega(\mathbf{f}_{t}) $$ （6）
其中 $l$ 是可微分的损失函数，$f(\mathbf{x}_{i})$ 是第t次迭代时构建的树，正则化项 $\Omega(\mathbf{f}_{t}) = \frac{\lambda}{\sqrt{T}} + \lambda \cdot \sum_{i=1}^{n} \| \mathbf{x}_{i} - \mathbf{x}_{\text{avg}}^{2}$ 通过 $\lambda$（最小损失减少）、T（叶子节点数）和 $\lambda$（L2正则化）来控制模型复杂性。在信用评分背景下，XGBoost的提前停止机制有助于防止过拟合，而其对缺失值的处理方式与现实世界的信用应用数据相符，因为其中一些信息可能是不完整的。该算法还提供了预测变量重要性的度量，尽管这些度量的可解释性不如逻辑回归系数那么直接。

**2.3.4 多层感知器（Multilayer Perceptron, MLP）**
多层感知器（MLP）是一类前馈人工神经网络，特别适合信用风险预测，因为它能够捕捉借款人特征与违约概率之间的复杂非线性关系[24]。在信用评分背景下，MLP可以模拟线性方法可能忽略的财务指标之间的复杂交互作用。其架构包括一个输入层，接收p个预测变量；一个或多个隐藏层，通过加权连接转换输入；以及一个输出层，生成估计的违约概率。第l层中神经元j的激活值计算如下：
$$ a_{lj} = \sigma \sum_{i=1}^{n} w_{ij} x_{ij} a_{l-1}^{(i)} + b_{l} $$ （7）
其中 $a_{lj}$ 是第l层中神经元j的激活值，$w_{ij}$ 是连接权重，$b_{l}$ 是偏置项，$\sigma$ 是ReLU激活函数 $\sigma(\mathbf{x}) = \max(0, \mathbf{x})$。

**2.4 超参数调整和验证策略**
表1详细列出了通过系统优化为每个模型选择的特定超参数配置。逻辑回归最终采用了L2惩罚和1.0的正则化强度（C），表明这种约束水平对于这个数据集是最优的。随机森林在100个估计器和最大树深度为10的情况下表现最佳，这表明在模型复杂性和防止过拟合之间取得了平衡。XGBoost调整到了0.1的学习率，最大深度为6，并且每轮提升使用了90%的数据（子样本 = 0.9），这些参数在保持泛化能力的同时促进了强大的性能。多层感知器的最佳架构包括一个包含100个神经元的全局隐藏层和0.001的L2正则化（alpha），这种结构能够在不增加过多复杂性的情况下捕捉非线性。

**2.5 实施和计算环境**
所有分析都是在Python 3.9中进行的，使用了专门用于机器学习、统计分析和数据可视化的库。核心机器学习框架使用scikit-learn 1.2.2构建，它提供了逻辑回归、随机森林和多层感知器的实现。极端梯度提升算法使用XGBoost版本1.7.4实现。模型可解释性通过SHAP版本0.42.1实现，用于生成全局和局部解释。数据操作和预处理使用pandas 2.0.3和NumPy 1.24.3进行，以实现高效的数组操作。科学计算功能依赖于SciPy 1.10.1。为了处理类别不平衡，我们使用了imbalanced-learn库版本0.10.1中的合成少数样本过采样技术（SMOTE）。超出标准指标的统计比较由scikit-posthocs 0.7.0辅助完成，它提供了Friedman检验和Nemenyi事后分析。结果可视化使用Matplotlib 3.7.1和Seaborn 0.12.2创建，以增强视觉呈现效果。

计算环境由一台配备Intel Core i3处理器和32 GB RAM的标准工作站组成，运行Ubuntu 22.04 LTS操作系统。为了确保可重复性，我们在所有实验中保持了一致的算法设置，并记录了所有预处理转换。完整的分析流程，包括数据预处理、模型训练、评估和可视化脚本，已经结构化，以便于复制和扩展本研究。

**2.6 统计分析**
进行了严格的统计分析，以确保对模型性能的稳健评估，并确定分类器之间观察到的差异的显著性。该分析包括两个主要部分：性能指标的不确定性量化和对分类结果的正式假设检验。

**2.6.1 通过自助法进行不确定性量化**
所有报告的性能指标（准确性、精确度、召回率和AUC）的置信区间是使用非参数自助法估计的，从保留的测试集中抽取了1000个重采样样本。这种方法不做任何分布假设，提供了可靠的抽样变异性度量。对于从原始测试集大小n计算出的给定指标$\hat{\theta}$，自助程序通过有放回抽样生成$\mathbf{B} = 1000$个复制数据集。这些复制中的指标$\hat{\theta} \cdot \mathbf{b}$的分布近似于$\hat{\theta}$的抽样分布。然后使用百分位数方法得出95%置信区间：
$$ \text{CI}_{95\%} = [\hat{\theta} \cdot (0.025), \hat{\theta} \cdot (0.975)] $$
其中$\hat{\theta}(0.025)$和$\hat{\theta}(0.975)$是自助分布的2.5%和97.5%百分位数。这种方法清楚地表明了每个性能估计的稳定性和可靠性，从而有助于在模型之间进行更有根据的比较。

**2.6.2 通过McNemar检验进行比较假设检验**
为了评估模型对之间观察到的分类结果差异是否具有统计学意义，我们在表2中应用了McNemar检验。这种检验特别适合配对名义数据，并且在比较同一测试集上的两个分类器时被广泛使用[25]。该检验关注不一致的对，即分类器意见不一致的实例。列联表的结构如下。表2显示了McNemar检验的列联表。在表2中，$n_{01}$表示模型A正确分类样本而模型B未正确分类的实例数量；相反，$n_{10}$表示模型B正确而模型A错误的实例数量。这两个单元格包含了与检验相关的不一致对，因为它们直接捕捉了两个分类器之间的分歧。在零假设下，即两个分类器的错误率相同的情况下，检验统计量遵循自由度为1的卡方分布：
$$ \chi^{2} = \frac{(n_{01} - n_{10})^{2}}{n_{01} + n_{10}} $$
连续性校正用于改进近似。显著的p值（通常$p < 0.05$）导致拒绝零假设，表明两个模型之间的分类性能存在统计学上的显著差异。该检验应用于关键模型比较，例如堆叠集成模型与表现最好的基础模型（随机森林），以客观确定集成的改进是否超出了偶然性所能预期的范围。结合使用自助置信区间和McNemar检验提供了一个全面的统计框架，既解决了性能估计的不确定性问题，也解决了比较差异的显著性问题，从而加强了本研究结论的有效性。

**2.6.3 通过Friedman检验和Nemenyi事后分析进行多分类器比较**
为了补充McNemar检验提供的成对比较，我们使用了Friedman非参数检验，随后进行了Nemenyi事后分析，以全面比较所有五个竞争模型。这种方法解决了同时评估多个分类器时固有的多重比较问题，同时对性能指标的潜在分布不做任何假设[26]。Friedman检验特别适合在同一数据集上比较多个模型，因为它考虑了在相同数据分区上评估所有分类器引入的依赖性[20]。该程序根据它们的相对性能对模型进行排名（最佳性能的模型排名1，最差的模型排名5，每个指标）。设$\mathbf{r}_{ji}$表示第j个模型在第i个性能指标上的排名，其中$j = 1, \ldots, k$且$k = 5$个模型，$i = 1, \ldots, m$个性能指标。模型j在所有性能指标上的平均排名计算如下：
$$ \mathbf{r}_{j} = \frac{1}{m} \sum_{i=1}^{m} \mathbf{r}_{ji} $$
然后计算Friedman检验统计量：
$$ \chi^{2}_{F} = \frac{1}{2m(k+1)} \sum_{i=1}^{m} (\mathbf{r}_{ji} - \mathbf{r}_{j-1})^{(k+1)} $$
在零假设下，即所有模型的性能相当（即它们的平均排名相等）的情况下，$\chi^{2}_{F}$遵循自由度为$k - 1$的卡方分布。显著的p值（通常$p < 0.05$）表明至少有一个模型与其他模型有显著差异。当Friedman检验拒绝零假设时，我们继续进行Nemenyi事后检验，以确定哪些具体的成对差异具有统计学意义。在$\alpha$水平上两个平均排名之间的临界差异（CD）为：
$$ CD_{\alpha} = \frac{\mathbf{q}_{\alpha} \cdot \sqrt{k(m+1)}{6} $$
其中$\mathbf{q}_{\alpha}$是来自学生化范围分布的临界值，k为模型数量，自由度为无穷大。对于$\alpha = 0.05$和$k = 5$，$\mathbf{q}_{0.05} \approx 2.728$。如果两个模型的平均排名之间的绝对差异超过CD0.05，则认为它们的表现有显著差异。这种结合Friedman–Nemenyi的方法提供了一个严谨的统计框架，补充了McNemar成对检验。虽然McNemar检验针对特定的模型对具有高敏感性，但Friedman检验提供了对所有模型性能排名的整体视图，同时控制了多重比较中的家族误差率[27]。这项综合分析的结果在第3节中呈现。

**2.7 集成框架**
**2.7.1 堆叠集成（Stacked Ensemble）**
为了利用各个模型的互补优势，我们根据异构集成学习的最新进展构建了一个两级堆叠架构[16]。基础模型的预测结果通过逻辑回归元学习器进行组合，这种方法被证明能够有效捕捉非线性决策边界，同时保持可解释性[28]：??final=???(??0+??∑??=1?????????) （11）其中????代表来自基础模型m的预测概率，????是通过在验证集上使用最大似然估计得到的元学习器系数，??=4是基础模型的数量。2.7.2. 通过加权处理类别不平衡问题考虑到信用风险中误分类的不对称财务影响（假阴性的成本高于假阳性），我们开发了一个能够识别类别不平衡的变体。类别权重被纳入损失函数中：????=??2·???? （12）其中N是训练样本的总数，????是类别j中的样本数量。这种加权方案在训练过程中增加了少数类（违约）实例的影响[28]。2.8. 模型评估和阈值选择 2.8.1. 性能指标模型在保留测试集上使用综合指标进行评估：准确率 = ?????+??????????+?????+?????+?????；精确度 = ??????????+?????（假阳性率的度量）；召回率 = ??????????+?????（假阴性率的度量）；F1分数 = 2 ·??????????????????????????·召回率+精确度（调和平均值）；ROC-AUC：接收者操作特征曲线下的面积，用于衡量整体区分能力。2.8.2. 阈值优化使用Youden’s J统计量对每个模型的默认0.5分类阈值进行了优化[29]：??=Sensitivity+Specificity?1 （13）选择使J值最大的阈值，这代表了在识别真实违约者（敏感性）和正确分类非违约者（特异性）之间的最佳权衡，适用于信用风险应用。2.9. 模型可解释性 为了提高模型的透明度和可解释性，我们采用了Shapley加性解释（SHAP）[7]。SHAP值提供了一种基于合作博弈论的统一方法来衡量预测变量的重要性：????=∑??????{??}|??|!(|??|?|??|?1)!|??|!?[????∪{??}?(????∪{??})??????(????)] （14）其中F是所有预测变量的集合，S是排除i的预测变量子集，[????∪{??}?(????∪{??}) ??????(????)]的差值表示将预测变量i添加到子集S时的边际贡献。这提供了全局预测变量重要性和个别预测的局部解释。3. 结果 3.1. 基础模型性能所有模型在基线条件下的比较性能总结在表3中。堆叠集成模型展示了卓越的整体区分能力，获得了最高的曲线下面积（AUC：0.761），这是我们的主要性能指标。它还获得了最高的召回率（0.806），表明其识别实际违约者的能力最强，同时保持了稳健的精确度（0.783）。随机森林模型获得了最高的准确率（0.736），使其在标准条件下成为一个可靠的分类器，尽管其AUC略低（0.749）。这些基线结果假设I型和II型错误的成本相等。表3. 基础模型的性能比较。3.2. 对成本敏感的模型性能为了反映信用风险评估中的不对称财务现实，即未检测到的违约者（假阴性）的成本远高于错过的贷款机会（假阳性），我们应用了成本敏感学习。表4中的结果显示了模型行为的战略性重新调整。随机森林模型成为最敏感的违约者检测器，获得了最高的召回率（0.823）。重要的是，堆叠集成模型保持了其作为最佳性能模型的地位，基于主要的AUC指标（0.761），同时在精确度（0.783）和召回率（0.806）之间提供了出色的平衡。逻辑回归模型演变成一个高度保守的分类器，具有最高的精确度（0.825），使其适用于需要高置信度预测的场景，尽管违约者的覆盖率较低。表4. 对成本敏感的模型性能比较。3.3. 集成模型性能对于需要最高风险预测置信度的场景，例如监管合规或资源密集型催收过程，我们将成本敏感学习与阈值优化相结合。表5中的结果显示，这种方法产生了具有卓越精确度的模型。随机森林模型获得了最高的精确度（0.877），表明其大约88%的高风险预测是正确的。值得注意的是，堆叠集成模型再次展示了卓越的整体区分能力，在所有模型中保持了最高的AUC分数（0.761），同时也实现了非常高的精确度（0.872）。这种在不同评估框架中的一致性能确认了堆叠集成模型是最稳健的模型，能够最佳适应不同的风险管理优先级。表5. 集成成本敏感和阈值优化模型的性能。3.4. 基础模型错误分析基础模型的混淆矩阵分析（表6）显示，堆叠集成模型实现了平衡的性能，有141个真阳性和36个真阴性。逻辑回归展示了最保守的方法，假阳性最少（24个），而随机森林获得了最高的真阳性数量（144个）。表6. 基础模型的混淆矩阵。3.5. 对成本敏感的模型错误分析在成本敏感学习和阈值优化之后（表7），错误发生了显著的重分布。堆叠集成模型将假阳性减少到16个，同时将假阴性增加到66个。同样，随机森林将假阳性减少到15个，同时将假阴性增加到68个，表明向风险规避分类的战略性转变。表7. 对成本敏感模型的混淆矩阵。3.6. ROC曲线分析ROC分析（图1）确认了堆叠集成模型在所有实验条件下的卓越和一致的区分能力（AUC = 0.761）。随机森林（AUC = 0.749）和逻辑回归/XGBoost（AUC = 0.733）展示了有竞争力的但较低的性能，在整个优化过程中保持了稳定的排名。图1. 展示模型之间一致区分能力的ROC曲线。3.7. 通过Friedman检验的统计显著性表8展示了Friedman检验在性能指标上的平均排名。堆叠集成模型获得了最佳的平均排名（1.4），其次是随机森林（2.8）。Friedman检验得出??2 =11.68（?? =0.019896），表明性能存在显著差异。事后分析显示，堆叠集成模型的表现显著优于MLP，但不如随机森林。表8. Friedman检验的平均排名。3.8. 全局SHAP可解释性SHAP分析（图2）确定当前账户状态（平均|SHAP| = 0.153）是所有模型中最主要的预测因子，其次是贷款期限（0.064）和储蓄账户（0.063）。信用历史（0.046）和信用金额（0.038）显示出中等的影响，在模型变体中观察到了一致的重要性模式。图2. 对成本敏感的堆叠集成模型的全局SHAP特征重要性图。3.9. 局部SHAP可解释性对于高风险申请者的个别案例分析（图3）显示，负面的当前账户状态、有限的储蓄、高分期付款率、大额信用金额和不良的信用历史共同导致了违约预测。这种可解释性在所有模型配置中保持一致，提供了透明的决策依据。图3. 高风险借款人的局部SHAP解释。4. 讨论本研究表明，堆叠集成方法比单个基线模型提供了更有效的信用违约预测框架。这支持了现有研究，这些研究表明，集成方法通过减少单个模型中的方差和偏差来提高泛化能力[2,4]。集成模型的强AUC（0.761）和召回率（0.806）表明，结合不同的建模方法，从可解释的逻辑回归到基于树的复杂模式识别方法和神经网络，创建了一个更加稳健和敏感的预测系统。通过Friedman检验的统计显著性分析为这些性能比较提供了重要的细微差别。虽然堆叠集成模型获得了最高的平均排名，但其相对于随机森林的优势并未达到传统的统计显著性（?? >0.05）。这一发现对信用风险建模具有实际意义：如果堆叠带来的边际预测收益不足以证明额外的复杂性和降低的透明度，金融机构可能会选择更简单、更易解释的随机森林模型。这一结果挑战了越来越复杂的集成模型在信用评分应用中总是能带来显著更好性能的假设。SHAP可解释性分析提供了关于模型如何做出决策的清晰、实用的见解。它显示，即时流动性指标，特别是当前账户状态和储蓄账户余额，是违约风险的最强预测因子，其次是贷款期限。这种重要性顺序符合信用分析的核心原则，即当前的财务健康状况通常比历史因素或贷款规模更重要。信用金额的相对较小作用与一些先前的研究不同，突显了特定预测变量的重要性在不同数据集和贷款环境中的变化。这项工作的一个关键贡献是它直接涉及信用风险评估中必要的权衡。正如[14]所指出的，选择模型不仅仅是一个技术任务，而是一个平衡财务风险与社会和商业目标的战略任务。我们的结果使这一点具体化：逻辑回归以其高精确度和低假阳性率，作为一个保守的工具，适用于不良贷款成本严重的情况。相比之下，堆叠集成模型和随机森林都实现了比传统模型更高的召回率，这可能更适合那些优先考虑风险控制的机构，即使这意味着最初会拒绝一些信用良好的申请者。信用评分中的方法选择涉及风险敏感性和特异性之间的权衡，不同的机构优先级可能会偏好不同的模型特征。我们的实施细节虽然技术性很强，但对信用评分研究具有重要的可重复性影响。通过指定确切的软件版本，我们促进了我们结果的可重复性，鉴于信用模型的监管敏感性，这是一个关键的考虑因素。未来的研究也应同样重视可重复性，以便进行适当的基准测试和监管审查。研究还揭示了算法性能的高度情境性。随机森林（AUC = 0.749）在这个特定数据集上的表现优于通常更受青睐的XGBoost（AUC = 0.733），这一结果质疑了算法之间存在固定层次结构的假设。它表明，数据集大小、噪声和特征之间关系的性质可以使更简单的、更稳健的集成方法比复杂的提升技术更有效。这强化了需要进行实证、详细模型选择的必要性，而不是依赖于理论偏好。我们在验证中使用的单一分层分割虽然在计算上高效，但代表了一个方法论上的限制，未来的工作应该解决这个问题。信用申请本质上具有时间依赖性，一个更严格的验证方案，包括时间分割或向前验证，将更好地模拟现实世界的部署条件。尽管如此，我们在多个性能指标上的一致发现为评估方法的相对排名提供了信心。5. 结论 5.1. 研究概述本研究解决了在信用风险模型评估中平衡预测准确性和可解释性的方法论挑战。它开发并测试了一个结合了堆叠集成模型和基于SHAP的可解释人工智能的混合框架。该框架通过加权和阈值优化处理了类别不平衡问题，以检查不同的评估优先级如何影响模型性能。使用德国信用数据集作为标准基准，本研究提供了一个系统比较信用评分方法的方法论框架，该方法可能适用于其他具有适当验证的数据集。5.2. 关键发现的综合分析分析得出了一些重要的教训。最重要的是，堆叠集成模型在多个评估指标上实现了最佳的平均性能，结果表明，结合不同的算法可以通过互补学习减少方差和偏差。令人惊讶的是，这与迄今为止发表的大多数文献相反，其中梯度提升技术被认为是最佳模型，在我们的数据集中，随机森林的表现优于XGBoost。这一差距突显了算法性能的情境依赖性；换句话说，数据集大小、特征噪声和类别不平衡可能是决定性能的关键参数。使用Friedman检验和Nemenyi事后比较的统计分析表明，虽然堆叠集成模型实现了最高的平均性能，但其相对于随机森林的优势并未达到0.05水平的统计显著性。这些发现通过单一分层保留方法得到了验证，确认了性能排名的可靠性。通过Friedman检验引入的统计严谨性和全面的性能指标为这些结论提供了有力的证据。值得注意的是，排名前两位的模型（堆叠集成和随机森林）之间缺乏统计显著性，这表明从业者在选择信用评分模型时可能会优先考虑模型的可解释性和计算效率，特别是考虑到更复杂的集成模型提供的边际预测收益可能不大。SHAP可解释性分析提供了关于模型如何做出决策的清晰、实用的见解。它显示，即时流动性指标，特别是当前账户状态和储蓄账户余额，是违约风险的最强预测因子，其次是贷款期限。这种重要性顺序符合信用分析的核心原则，即当前的财务健康状况往往比历史因素或贷款规模更重要。信用金额的相对较小作用与一些先前的研究不同，突显了特定预测变量的重要性在不同数据集和贷款环境中的变化。这项工作的一个关键贡献是它直接涉及信用风险评估中必要的权衡。正如[14]所指出的，选择模型不仅仅是一个技术任务，而是一个平衡财务风险与社会和商业目标的战略任务。我们的结果使这一点具体化：逻辑回归以其高精确度和低假阳性率，作为一个保守的工具，适用于不良贷款成本严重的情况。相比之下，堆叠集成模型和随机森林都实现了比传统模型更高的召回率，这可能更适合那些优先考虑风险控制的机构，即使这意味着最初会拒绝一些信用良好的申请者。信用评分中的方法选择涉及风险敏感性和特异性之间的权衡，不同的机构优先级可能会偏好不同的模型特征。我们的实施细节虽然技术性强，但对信用评分研究具有重要的可重复性影响。通过指定确切的软件版本，我们促进了我们结果的可重复性，鉴于信用模型的监管敏感性，这是一个关键的考虑因素。未来的研究也应同样重视可重复性，以便进行适当的基准测试和监管审查。研究还揭示了算法性能的高度情境性。随机森林（AUC = 0.749）在这个特定数据集上的表现优于通常更受青睐的XGBoost（AUC = 0.733），这一结果质疑了算法之间存在固定层次结构的假设。它表明，数据集大小、噪声和特征之间关系的性质可以使更简单的、更稳健的集成方法比复杂的提升技术更有效。这强化了需要进行实证、详细模型选择的必要性，而不是依赖于理论偏好。我们在验证中使用的单一分层分割虽然在计算上高效，但代表了一个方法论上的限制，未来的工作应该解决这个问题。信用申请本质上具有时间依赖性，一个更严格的验证方案，包括时间分割或向前验证，将更好地模拟现实世界的部署条件。尽管如此，我们在多个性能指标上的一致发现为评估方法的相对排名提供了信心。5. 结论 5.1. 研究概述本研究解决了在信用风险模型评估中平衡预测准确性和可解释性的方法论挑战。它开发并测试了一个结合了堆叠集成模型和基于SHAP的可解释人工智能的混合框架。该框架通过加权和阈值优化处理了类别不平衡问题，以检查不同的评估优先级如何影响模型性能。使用德国信用数据集作为标准基准，本研究提供了一个系统比较信用评分方法的方法论框架，该方法可能适用于其他具有适当验证的数据集。5.2. 关键发现的综合分析分析得出了一些重要的教训。最重要的是，堆叠集成模型在多个评估指标上实现了最佳的平均性能，结果表明，结合不同的算法可以通过互补学习减少方差和偏差。令人惊讶的是，这与迄今为止发表的大多数文献相反，其中梯度提升技术被认为是最佳模型，在我们的数据集中，随机森林的表现优于XGBoost。这一差距突显了算法性能的情境依赖性；换句话说，数据集大小、特征噪声和类别不平衡可能是决定性能的关键参数。使用Friedman检验和Nemenyi事后比较的统计分析表明，虽然堆叠集成模型实现了最高的平均性能，但其相对于随机森林的优势并未达到0.05水平的统计显著性。这些发现通过单一分层保留方法得到了验证，确认了性能排名的可靠性。通过Friedman检验引入的统计严谨性和全面的性能指标为这些结论提供了有力的证据。值得注意的是，排名前两位的模型（堆叠集成和随机森林）之间缺乏统计显著性，这表明从业者在选择信用评分模型时可能会优先考虑模型的可解释性和计算效率，特别是考虑到更复杂的集成模型提供的边际预测收益可能不大。这种统计视角与SHAP分析提供的实用见解相结合，共同提供了在受监管的金融环境中选择模型的平衡视角。当应用了额外的类别不平衡处理和阈值优化后，出现了一个重要的观察结果：ROC-AUC最高的模型并不是预期财务成本最低的模型。这种差异表明，仅凭预测准确性无法完全反映错误分类对运营的影响，而考虑成本的评估为信贷贷款的决策提供了更现实的基础。这也是可解释性分析的重点，它进一步揭示了模型的行为特征。SHAP值的结果显示，与流动性相关的因素（如当前账户和储蓄账户的余额、还款期限以及信用历史）是违约的主要预测因素。然而，在其他研究中被认为具有重要预测作用的信贷金额，在当前数据中并不显著。这些发现强调了根据自身数据来调整信用风险模型的必要性，因为在某个模型中被认为是决定性的因素，在另一个模型中可能并不具有同样的预测能力。在局部层面上，SHAP解释说明了借款人的具体特征如何影响个体预测结果，从而提高了透明度，并增强了人们对使用人工智能的决策系统的信任。此外，分类分析中的错误也提供了额外的见解。研究结果表明，模型必须在做出误判的业务成本（导致贷款机构遭受损失）与做出负面决策的社会和经济成本（使符合条件的借款人无法获得应有的信贷）之间找到平衡。逻辑回归的准确性较低，但较为保守，即会产生较多的误判（假阳性）和漏判（假阴性）；而集成模型则实现了更平衡的权衡，这适用于那些旨在优化风险（包括信贷风险）的机构。这些发现说明了在信用评分模型开发中的方法论权衡，表明不同的评估优先级可能导致不同的模型选择。阈值优化结果进一步支持了这些权衡，表明0.50的违约决策边界很少是最优的。根据模型结构的不同，优化后的阈值可以提高敏感性或特异性，从而证明谨慎选择阈值对于使模型输出与机构的风险承受能力相匹配至关重要。

**5.3. 限制**
本研究存在一些局限性需要承认。首先，虽然德国信用数据集是一个标准的基准，但它具有历史性且样本量较小（1000个实例），这可能会影响研究结果在更大、更现代的数据集上的泛化能力。其次，尽管SHAP提供了模型的可解释性，但它并不构成正式的公平性审计；没有使用人口统计平等或均衡几率等指标进行定量公平性评估。第三，类别加权方法是一种简化的成本敏感建模方式；更严格的方法应该涉及特定机构的成本矩阵。最后，尽管置信区间具有信息价值，但它们基于单个测试集的自举重采样；重复交叉验证可以提供更可靠的不确定性估计。我们采用了常见的70-30分层训练-测试分割方法，但这仅提供了一个性能估计值，其方差可能高于多次分割或交叉验证的结果。这种方法还假设数据是独立同分布的，而这可能不适用于时间序列的信用申请数据。由于样本量仅为1000个实例，我们的研究有足够的统计能力检测到中等至较大的效应，但在检测表现最佳的模型之间的细微差异（例如堆叠集成模型与随机森林模型）时可能不够有力。这一局限性体现在Friedman检验的结果不显著上。我们的实现使用了特定的库版本，如果新版本引入了算法变更，可能会影响结果的精确可复现性。我们提供了固定的环境配置文件以解决这一问题。

**5.4. 研究的贡献**
本研究在理论、方法论和实践领域都做出了贡献。从理论上讲，它在可解释的集成框架内对主要建模方法进行了比较评估，从而挑战了信用风险算法之间存在固定层次结构的假设。方法论上，它提供了一个全面且可复制的Python框架用于信用评分。该框架结合了堆叠集成技术的高级预测建模与稳健的统计验证（包括Friedman检验和单层保留法评估），并通过基于SHAP的可解释性和阈值优化来支持成本敏感的决策制定。我们还提供了完整的实现文档，以确保透明度和便于复制。在实际应用中，这种方法为金融机构提供了一种结构化的方法，可以帮助他们开发出稳健、透明且符合战略目标的信用评估系统。这不仅有助于合规性和内部模型验证，还能为申请人提供有意义的解释，从而增强对自动化贷款决策的信任。

**5.5. 未来研究方向**
未来的研究可以沿着几个有用的方向进行。首先，将公平性约束直接纳入集成学习过程，可以确保强大的预测不会对受保护群体产生不公平的结果。其次，利用生存分析或循环神经网络来建模借款人风险随时间的变化，可以提供比单一快照更动态的视角。第三，在处理类别不平衡时使用特定机构的实际成本结构，可以使模型训练更加符合实际情况。最后，在不同经济和地区背景下的大规模数据集上测试所提出的框架，可以全面评估其通用性和有效性。未来的研究应采用更稳健的验证方法（如嵌套交叉验证或时间序列向前验证），以更好地估计模型性能的方差并模拟实际部署场景。结合特定机构的成本矩阵也将提高模型评估的实际相关性。

**5.6. 最终反思**
总之，这项研究表明，在信用风险建模中，预测准确性、可解释性和公平性并非非此即彼的对立关系。在高级机器学习与可解释性模型的交叉领域，已经取得了令人瞩目的进展。所提出的方法论框架为评估信用评分系统提供了一种结构化的方法，尽管将其应用于具体的运营环境需要适当的领域数据和验证。因此，本文提出的框架是迈向技术卓越和责任感的回归的一步，可以为所有未来的研究和实践奠定基础。本文引入的额外方法论元素（特别是处理类别不平衡的建模和阈值优化）进一步证明了机器学习系统可以根据机构需求进行定制，同时保持透明性和公平性。这些改进表明，技术创新不仅可以提升信用评分模型的实际价值，还能增强其伦理合理性。