《Entropy》：Explainable Deep Tabular Learning for Credit Risk Assessment: An Information-Theoretic Cross-Attentional Transformer Approach
编辑推荐：
摘要
信用风险评估是金融决策的核心组成部分。本研究开发了一个可解释的机器学习框架，用于对异质表格数据建模贷款审批决策，该框架以交叉注意力表格Transformer（Cross-Attentional Tabular Transformer）为核心，在数值型
摘要
信用风险评估是金融决策的核心组成部分。本研究开发了一个可解释的机器学习框架，用于对异质表格数据建模贷款审批决策，该框架以交叉注意力表格Transformer（Cross-Attentional Tabular Transformer）为核心，在数值型和类别型特征组之间应用双向交叉注意力。预测目标是历史贷款审批状态，作为借款人违约风险的代理而非直接度量；研究还报告了在具有真实违约标签的数据集上的补充验证。类别不平衡通过焦点损失（focal loss）处理，事后可解释性通过SHAP分析提供。研究人员在5000样本信用数据集上评估了随机森林（Random Forest）、梯度提升（Gradient Boosting）和所提出的Transformer三种分类器，使用准确率、精确率、召回率、F1分数、ROC-AUC和平均精确率（average precision）。梯度提升实现了最佳性能（准确率0.9640，F1分数0.9189），随机森林接近；所提出的Transformer达到0.9530准确率和0.8949的F1分数，未超越集成方法且计算成本显著更高。五次分割鲁棒性比较还评估了XGBoost、LightGBM、CatBoost和校准逻辑回归（calibrated logistic regression）：所有三种梯度提升变体及两种经典集成方法在每项指标上均超过Transformer，而校准逻辑回归则未超越。评估的基准集排除了TabNet、FT-Transformer、SAINT和TabPFN风格方法等深度表格架构。在三个主要分类器中，SHAP识别出信用评分、就业状态和收入为主导特征，与领域预期一致。结果表征了在所评估数据条件下，集成方法与基于注意力的表格学习之间观察到的性能-效率权衡。
**基于可解释深度表格学习的信用风险评估：交叉注意力Transformer方法——论文解读**
**研究背景、问题与意义**
信用风险评估是现代金融决策的核心，直接影响贷款审批、资本配置与机构稳健性。传统方法（如逻辑回归、决策树、随机森林、梯度提升）在结构化数据上表现优异，但受限于对异质特征间非线性、高阶交互关系的建模能力。信用数据通常包含数值型（年龄、收入、信用评分）和类别型（教育、雇佣类型）变量，其风险形成往往依赖于变量间的条件耦合效应，而非简单的线性叠加。此外，类别不平衡（低风险或获批样本占多数）和模型透明性要求（金融机构需可审计、可解释的决策逻辑）进一步增加了建模难度。现有研究虽在预测性能、重采样策略或事后解释上分别取得进展，但缺乏将异质表格表示、不平衡优化和可解释性统一整合的框架。为此，研究人员开发了一种基于交叉注意力表格Transformer（Cross-Attentional Tabular Transformer）的可解释深度学习框架，并结合焦点损失（focal loss）处理和SHAP分析，旨在同时实现异质特征交互建模、类别不平衡鲁棒性和决策透明性。该论文发表在《Entropy》上。
**主要技术方法**
研究主要采用以下关键技术方法：（1）**交叉注意力机制**：在数值型与类别型特征组之间应用双向交叉注意力，显式建模异质特征间的依赖交换；（2）**焦点损失**：通过调整难分类样本的损失权重，缓解类别不平衡对少数类（获批样本）识别的影响；（3）**SHAP分析**：作为模型无关的事后解释工具，提供全局和局部特征贡献归因。研究基于一个5000条贷款申请记录的结构化信用数据集（来源为公开基准，非特定金融机构），包含年龄、收入、贷款金额、信用评分、工作经验、性别、教育、城市、雇佣类型等9个原始特征，目标变量为历史贷款审批状态（作为违约风险的代理）。额外补充验证在UCI信用卡违约数据集（约30000样本，真实违约标签）上进行。
**研究结果**
**4.1. 实验设置**：采用80%/20%训练/测试分割，在原始类别不平衡条件下评估，主要比较随机森林、梯度提升和所提出的Transformer。扩展比较包括XGBoost、LightGBM、CatBoost和校准逻辑回归。
**4.2. 基线性能比较**：梯度提升在固定阈值性能上最优（准确率0.9640，F1分数0.9189），随机森林紧随其后（准确率0.9630，F1分数0.9169，ROC-AUC最高0.9407），Transformer达到0.9530准确率和0.8949的F1分数，未超越集成方法且训练时间高出两个数量级（约130秒 vs 几秒）。五次分层分割的鲁棒性比较中，所有五种树基/梯度提升方法均超越Transformer的单一分割性能，而校准逻辑回归在所有指标上低于Transformer。
**4.3. 双向交叉注意力机制的消融研究**：与普通TabTransformer相比，交叉注意力机制使F1分数从0.8865提升至0.9043，ROC-AUC从0.9274提升至0.9386，假阴性从35降至28，表明显式建模数值-类别交互有助于少数类识别。
**4.4. 工程化金融比率特征的消融研究**：加入贷款收入比、信用经验比和风险指数三个比率特征后，F1分数从0.8840提升至0.9043，ROC-AUC从0.9251提升至0.9386，假阴性从36降至28，证实领域信息特征提供互补风险信息。
**4.5. 敏感性与训练行为分析**：Transformer训练曲线稳定，损失和准确率快速收敛且无过拟合迹象，表明性能差距源于表示能力未在中等规模表格数据上转化为可测量增益，而非优化失败。
**4.6. 可解释性结果**：SHAP分析表明，信用评分（CreditScore）是主导特征，其次为失业状态（EmploymentType_Unemployed）和收入（Income），三者合计占模型全局归因的80%-90%。依赖图显示信用评分具有阈值性非线性效应，且其贡献受失业状态调节；失业状态和收入也均受信用评分条件影响，表明模型学到的决策规则具有条件交互性，而非纯加性。
**4.7. 真实违约数据集上的补充验证**：在UCI信用卡违约数据集（约30000样本，真实违约标签）上，随机森林和梯度提升在所有六项指标上均优于Transformer，且训练时间更短（随机森林<2秒，梯度提升<0.5秒，Transformer约7.38秒），重复了主数据集上的定性发现。
**4.8. 对缺失率和类别偏斜的敏感性**：树基和梯度提升方法在增加缺失率和严重训练类别偏斜（10%正类）下，F1分数仅下降2-4个百分点，且AUC稳定；校准逻辑回归在严重偏斜下F1下降11.42个百分点，更为脆弱。
**讨论与结论**
**主要发现**：实验结果表明，在中等规模静态单目标信用数据集上，集成方法在预测性能与计算效率上均优于所提出的交叉注意力Transformer。交叉注意力机制和工程化比率特征分别通过消融研究验证了其贡献。SHAP分析揭示信用评分、失业状态和收入为跨架构一致的稳定归因模式。补充验证在真实违约数据集上重复了集成方法优于Transformer的结论。
**研究结论翻译**：本研究开发了一种用于信用风险评估的交叉注意力表格Transformer框架，并在不平衡分类设置下检验了其在结构化贷款申请数据上的性能。实验结果表明，梯度提升取得了最佳的整体固定阈值分类性能，而随机森林获得了最高的ROC-AUC。所提出的基于Transformer的模型保持了竞争力，证实了注意力机制表格学习在异质信用数据上的可行性，但未能在当前实验条件下超越最强的树基基线。分析进一步表明，任务的预测结构由有限数量的金融意义变量主导，特别是信用评分、失业状态和收入。可解释性结果显示，所提出的框架学习了可解释且交互感知的决策模式，而非依赖分散或弱预测因子。两项消融研究进一步确认了各个框架组件的贡献。交叉注意力消融显示，双向交叉注意力设计相比普通TabTransformer基线将F1分数从0.8865提升至0.9043，ROC-AUC从0.9274提升至0.9386，并将假阴性从35降至28。特征消融显示，移除三个工程化比率特征后，F1分数从0.9043降至0.8840，ROC-AUC从0.9386降至0.9251，假阴性从28增至36。这些发现表明，所提出框架的整体性能反映了交叉注意力表示机制和领域信息金融特征构建的共同贡献，而集成方法在中等规模静态表格信用预测中仍然极具竞争力。结论基于一个包含5000条贷款申请记录的结构化基准数据集，具有特定的人口和地理范围。结果刻画了所比较方法在这些条件下的相对特性和权衡。由于贷款审批状态是预测目标，主要模型评估的是历史贷款决策而非实际还款结果。在更大规模、具有真实违约目标的数据集上的补充验证中，两种集成基线再次优于Transformer且训练速度更快，尽管随机森林和梯度提升的相对排名在数据集间有所不同。补充数据集中目标定义和尺度同时变化，因此无法分离各自的影响。
