ECS-VTabNet：一种用于不平衡信用分类的可解释联邦学习方法

《Decision Support Systems》：ECS-VTabNet: An interpretable federated learning approach for imbalanced credit classification

　　摘要
信用分类旨在刻画用户特征并准确预测违约风险，对金融风险管理至关重要。虽然基于多源数据直接聚合的集中式模型能够取得优异性能，但往往忽视数据隐私、类别不平衡以及模型可解释性等问题。为弥补这些缺陷，我们提出了一种示例依赖型成本敏感垂直TabNet（ECS-VTabNet），这是一种用于保护隐私的协作信用分类新框架。该框架将垂直联邦学习与可解释的注意力模型（即TabNet）以及示例依赖型成本敏感（ECS）损失函数相结合。通过这一方法，多个机构无需共享原始数据即可共同构建高精度的信用评分模型。ECS机制通过最小化财务损失使模型更符合业务目标，而TabNet的架构则提供了透明的特征重要性信息。在两个公开信用数据集上的实验结果表明，在诚实但好奇假设下，ECS-VTabNet在处理不平衡数据、提供可解释预测结果以及避免原始数据交换方面均优于现有的联邦学习和集中式方法。这项工作为那些希望构建强大、合规且具备协作能力的风险评估模型，同时避免集中存储敏感客户数据的金融机构提供了实用解决方案。

引言
信用分类是现代金融风险管理的关键组成部分，也是支持高风险贷款决策的重要分析工具。从形式上讲，信用分类问题可定义为一种监督学习任务，其目标是根据借款人的财务和行为特征预测其是否会出现违约[1]、[2]。金融机构依靠信用分类模型来辅助贷款审批、降低潜在违约风险，并维护金融系统的稳定性。随着数字金融的快速发展以及用户特征的日益复杂，信用决策的需求已从单纯提供准确预测转向给出可行的决策建议。传统方法如逻辑回归和决策树因其简单性和可解释性而被广泛采用，但它们难以捕捉金融数据中的复杂非线性关系，在处理大规模、异构且不平衡的数据集时表现不佳[3]。

在现实金融场景中，与信用相关的信息往往分散在不同的机构和企业中。例如，银行记录着客户的交易历史和还款行为，而电子商务平台则掌握着客户的购物模式和消费频率等数据。这些数据源相互补充，能够共同体现借款人的信用状况[4]。对于金融机构而言，外部特征可以弥补单一机构视角下的信息不足，提升违约检测能力和决策的稳健性。与此同时，其他数据持有者，如电子商务和支付平台，也可以利用共同构建的风险画像和违约反馈来优化用户细分、基于风险的定价以及其他业务决策。

然而，诸如欧盟的《通用数据保护条例》（GDPR）和美国加州的《消费者隐私法》（CCPA）等数据保护法规对随意的数据交换和滥用行为施加了严格限制，使得机构间直接共享数据在实践中难以实现。因此，如何在隐私保护约束下整合多源特征以用于信用分类建模，已成为设计和部署协作型信用决策系统时的紧迫研究课题。

联邦学习（FL）[5]作为一种新兴的隐私保护技术，近年来被引入金融领域。尤其是垂直联邦学习（VFL）[6]，它允许不同机构在无需共享原始数据的情况下，基于共同的用户数据协同训练模型。例如，微众银行已成功运用开源的FATE框架部署了垂直联邦学习商业系统，从而弥合了商业银行、企业发票处理平台与地区税务部门之间的信息差距。从部署角度而言，VFL更符合金融机构的实际数据治理需求——各参与方保留本地数据存储和控制权，仅在训练过程中交换中间表示、梯度信息或协议规定的统计量，从而大幅降低了跨领域传输原始敏感数据所带来的风险。因此，垂直联邦信用分类可被视为多方之间互惠互利的协作决策机制，在跨机构信用分类任务中展现出巨大潜力。尽管现有的VFL方法已证明其可行性，但仍面临若干挑战。

第一个挑战与表示能力限制有关。深度神经网络（DNN）[7]凭借其强大的表示学习能力和模块化结构，已成为许多联邦学习框架的核心。然而，传统DNN往往无法捕捉复杂表格数据中的高阶特征交互，导致其性能不如基于树的模型。另一方面，基于树的模型在信用分类任务中表现出良好的性能，一些研究已将它们扩展到联邦学习环境之中[8]、[9]，但在垂直分区的环境中，这类方法仍存在局限。要捕捉分布在不同机构间的弱信号之间的高阶交互，往往需要更深的树结构以及反复的跨方分割搜索，这可能导致模型偏向于那些具有更大局部信息增益的单方特征。此外，它们基于直方图的分割标准也不适合示例依赖型成本敏感（ECS）学习，因为在这类学习中，不同样本的借款人特定财务成本是连续变化的。将此类示例级权重纳入分割优化过程会带来较高的计算负担，而被动方在没有访问标签或成本参数的情况下也无法评估分割带来的收益，进而增加额外的隐私风险。

第二个限制是成本不敏感性。目前大多数基于VFL的信用分类模型对成本并不敏感，它们仅追求整体误分类率的最低化，隐含地假设所有类型的误分类错误带来的成本都是相同的。但实际上，这一假设忽视了以成本最小化为核心的现实业务目标[10]、[11]。对于金融机构而言，模型的优化目标不应仅限于统计精度，还应综合考虑利润、损失和风险控制等实际业务因素。此外，现有研究通常仅关注单个机构内的全局或类别级成本调整，而非在包含异构参与方的垂直分区协作环境中对示例级的误分类成本进行建模。因此，在垂直环境中实现不平衡学习的一个关键挑战在于，如何在不聚合原始特征的前提下，将示例级的经济成本纳入协作训练目标之中。

第三个限制是缺乏可解释性。信用风险管理不仅需要高的预测精度，还需要透明的风险驱动因素以支持决策制定[12]。目前大多数主流的VFL方法依赖于深度神经网络，而这些模型往往可解释性较差。因此，各参与方可能难以评估其所共享特征的贡献程度，也无法识别风险来源，进而降低其协作的意愿。基于树的模型则可以通过分割规则、决策路径和特征增益等方式提供相对直观且结构化的解释，但其可解释性主要依赖于明确的规则。此外，SHAP和LIME等事后解释方法也不适合直接捕捉在样本级预测过程中产生的动态特征依赖关系。

相比之下，TabNet具有结构上的优势，非常适合用于协作信用分类任务：（1）TabNet中的特征转换模块和注意力特征选择机制能够以端到端的方式学习表格数据中的非线性特征交互，使其更易于与示例依赖型成本敏感目标进行联合优化；（2）TabNet中的序列注意力掩码能够在不同的决策步骤中识别出关键特征，这与依赖分割规则或基于增益的统计量进行特征选择的基于树模型有本质区别；（3）在垂直分区的特征设置下，每个方都可以在自身的特征子空间内生成局部注意力权重，从而在无需共享原始特征的情况下保持特征贡献的可解释性。

为解决上述挑战，我们提出了示例依赖型成本敏感垂直TabNet（ECS-VTabNet），该框架整合了VFL、ECS学习机制以及TabNet模型，用于协作信用分类。具体而言，我们利用TabNet强大的表示学习能力和固有的可解释性，构建了一个基于垂直TabNet的协作训练框架。在该框架中，每个机构均可保留自己的本地特征，联合模型则在垂直分区的数据上进行训练，无需暴露原始记录，从而在隐私约束下实现多方风险建模。为提升协作信用分类模型在处理不平衡数据时的性能，我们在垂直TabNet框架中嵌入了ECS学习机制，使得示例级的误分类成本可以直接纳入联邦环境下的训练目标。此外，通过利用TabNet固有的注意力特征选择掩码，我们获得了实例级和全局的特征重要性分析结果，这些结果可通过SHAP等事后解释工具进行验证，进一步提升了所提方法在决策支持方面的透明度和可信度。

本文的主要贡献有四点：（1）我们提出了ECS-VTabNet，这是一种针对具有垂直分布多方特征的信用分类任务的统一框架，它将VFL、TabNet和ECS机制整合为一个完整的协作建模流程；（2）所构建的VTabNet具备强大的表格数据表示学习能力，同时还拥有基于稀疏注意力掩码的可解释机制，为协作信用分类提供了理想的模型基础；（3）所引入的ECS机制能够将示例级的经济成本转化为梯度信号，这些信号可用于多方之间的模型局部更新，从而在隐私约束下实现成本敏感的协作优化；（4）ECS-VTabNet凭借TabNet的稀疏注意力掩码具备内在的可解释性，能够从全局和实例层面揭示协作信用分类模型的风险识别逻辑；（5）我们进行了大量实验来评估所提方法，实验结果表明，与多源特征融合方法相比，该方法在处理不平衡信用数据分布以及提升可解释性方面具有显著优势，而且ECS-VTabNet识别出的重要特征与SHAP方法的结果高度一致，为该方法的内在可解释性提供了实证支持。

本文的其余部分安排如下：第2节回顾相关文献；第3节详细介绍所提出的ECS-VTabNet方法；第4节对实验结果进行分析与讨论；第5节对全文进行总结。他的研究兴趣包括信用评分、数据挖掘、机器学习以及联邦学习。他已在《欧洲运筹学杂志》、《决策支持系统》、《专家系统及其应用》等国际期刊上发表过多篇论文。王忠义|吴艾瑞克·W·T.|张文|田宇航|李思涵中国四川大学商学院，成都610065