面向信用风险建模中类别不平衡的生成式深度学习：合成过采样方法的比较评估与Elastic Oversampling扩展

《Financial Innovation》：Generative deep learning for class imbalance in credit risk modeling: comparative evaluation of synthetic oversampling methods and an elastic oversampling extension

　　

本文应用生成式深度学习——GAN（Generative Adversarial Network，生成对抗网络）、VAE（Variational Autoencoder，变分自编码器）和CVAE（Conditional Variational Autoencoder，条件变分自编码器）——对信用风险建模中的稀有违约样本进行过采样，并引入后验二值化（posterior binarization）程序以保持虚拟特征（dummy features）的边际分布（marginal distribution）。研究人员使用企业层面和个体层面的违约数据集，在多种分类器下将这些方法与SMOTE（Synthetic Minority Over-sampling Technique，合成少数类过采样技术）、SMOTE-Tomek和ADASYN（Adaptive Synthetic Sampling，自适应合成采样）进行比较。实证结果表明，合成过采样提高召回率（recall）并分散特征重要性，而生成式过采样倾向于锐化类别边界、偏好精确率（precision）并集中特征重要性。为平衡这些互补优势，研究人员引入Elastic Oversampling，一种生成式与合成方法的并行混合方法，具有可调混合比例以权衡精确率–召回率（precision–recall trade-off）。Elastic Oversampling通过生成式方法强调有区分度的少数类案例，同时用合成方法约束不现实样本，为类别不平衡的信用风险预测提供一个灵活且政策敏感型框架。

信用风险建模在贷款评估和风险管理中居核心地位，通过可观测财务与行为变量估计违约风险。违约是稀有事件，与非违约相比数量极少，造成严重类别不平衡（class imbalance），使预测困难。金融机构尤其关注低估违约：模型可能整体准确率高，却无法识别关键违约。信用风险数据还存在财务比率等变量在违约与非违约间显著重叠，类别边界模糊；误分类成本不对称，漏报真实违约（假阴性，False Negative，FN）后果远大于将非违约误判为违约（假阳性，False Positive，FP）。早期研究依赖判别分析和Logistic Regression，后续采用机器学习。但多数文献聚焦分类器及预测性能，对过采样策略及其对预测和可解释性的比较效果系统研究有限。因此本文应用生成式深度学习（generative deep learning）——GAN、VAE、CVAE——对少数类进行过采样，与SMOTE、SMOTE-Tomek、ADASYN比较，使用企业和个体公开违约数据集，并引入后验二值化（posterior binarization）处理虚拟特征（dummy features），进一步提出Elastic Oversampling（弹性过采样）。其意义在于提供灵活且政策敏感的类别不平衡信用风险预测框架，将过采样选择与贷款政策中的非对称误分类成本联系起来。

关键技术方法（≤250字）：研究使用两个公开数据集：企业数据集为2007—2017年波兰NewConnect市场571家上市公司的4211个公司—年观测，违约168个，违约率3.98%，含26个财务特征；个体数据集为2005年4—9月台湾信用卡客户29999人，违约6635人，违约率约22.12%，含人口统计、账单、还款和拖欠等特征。合成过采样为SMOTE、SMOTE-Tomek、ADASYN；生成式过采样为GAN、VAE、CVAE；引入后验二值化保持虚拟特征边际分布；提出Elastic Oversampling，通过混合比例λ并行结合合成与生成样本。采用随机森林（Random Forest，RF）、极端梯度提升（eXtreme Gradient Boosting，XGBoost）、轻量梯度提升机（Light Gradient Boosting Machine，LightGBM）、类别提升（Categorical Boosting，CatBoost）及Logistic Regression基线；训练/测试按7:3分层抽样，过采样仅用于训练集至1:1；用主成分分析（Principal Component Analysis，PCA）、统一流形近似与投影（Uniform Manifold Approximation and Projection，UMAP）、精确率、召回率、F1-score、Accuracy、受试者工作特征曲线下面积（Receiver Operating Characteristic – Area Under Curve，ROC-AUC）、精确率–召回率曲线下面积（Precision–Recall Curve – Area Under Curve，PR-AUC）、FP/FN和特征重要性评估。

研究结果：

一、Comparison of generated minority class feature distribution
通过PCA和UMAP对生成少数类特征分布进行比较。原始训练数据中违约与非违约大量重叠，线性可分性有限；个体数据集重叠更大。合成过采样在现有少数类点附近插值，保持混合区域，限制清晰边界或独立簇形成。生成式过采样可在较少观测区域抽取多样少数样本、强调特定结构或重建簇，锐化类别边界；但存在GAN模式崩溃（mode collapse）和VAE/CVAE后验崩溃（posterior collapse）等已知失败模式，可能降低多样性并使样本过度集中于稀疏或不现实区域。生成模型之间差异不明显，研究人员归因于少数类支持稀疏，而非架构限制。

二、Comparison of classification model fit and predictive performance
训练集和测试集评估显示，合成方法更激进预测违约，产生更多正类预测，召回率更高、精确率更低、FP更多；生成式方法更保守，精确率更高、召回率更低、FN更多。企业数据整体差异小，Elastic最好；个体数据合成方法整体最低，尤其PR-AUC低约5%p，因FP约为生成和Elastic两倍。测试集中，少数类F1合成最高、生成最低；考虑两类的ROC-AUC、PR-AUC和Accuracy在各数据集内排序一致：涉及生成过采样的纯生成和Elastic最高，纯合成最低。Elastic在企业数据接近合成，在个体数据更接近生成。无过采样偶尔在测试集优于过采样；企业数据存在过拟合。诊断信号表明生成样本有部分多样性损失，但未灾难性崩溃，因生成过采样在两个数据集获得最高ROC-AUC和PR-AUC。

三、Comparison of feature importance
通过特征重要性比较，所有过采样方法相对无过采样使特征重要性分布更集中。企业数据中盈利能力变量ROE、FS_PS、RT_PS和资本结构NCL_EQUITY为重要预测因子；个体数据中拖欠历史PAY_0_2、PAY3_2、还款行为PAY_AMT6、信用限额和余额LIMIT_BAL占主导。在个体数据随机森林中，合成方法产生类似无过采样的分散重要性；在企业数据XGBoost中，合成方法也分散，除唯一虚拟变量POL_ACC_STD，未出现生成方法的尖锐集中，生成方法将部分特征重要性降至接近零。说明过采样方法不仅影响预测性能，也塑造特征重要性结构。

四、Mixing ratio and methodological implications in elastic oversampling
通过混合比例分析，研究人员回顾生成过采样和混合设计。顺序混合可能将第一阶段限制带入后续生成训练，而Elastic采用并行混合，使合成和生成组件独立作用于原始少数类数据，通过λ控制相对贡献。初步比较显示顺序混合未有效结合两者优势：精确率较高但召回率低于单独SMOTE或GAN，F1最低；并行混合在各混合比下召回率和F1更高。UMAP显示，合成混合比降低时，少数类更多生成在与多数类不重叠区域。随合成混合比增加，FP上升、FN下降。企业数据仅50个违约，生成过采样最多减少FN 6但增加FP 25。λ不是全局优化超参数，而是政策敏感参数，反映决策者对非对称误分类成本的容忍。对每借款人误分类成本C_FN和C_FP，期望误分类成本EC = C_FN × FN(λ) + C_FP × FP(λ)，操作量为κ = C_FN/C_FP。κ增大时较高λ通过优先减少漏报降低期望成本；κ减小时较低λ更可取。大额贷款中漏报损失大于拒绝合格借款人的边际损失（κ>1），小额高量贷款中两成本更接近（κ接近1）。λ可按投资组合操作κ调整。

讨论部分总结：讨论指出合成过采样在现有少数类附近生成数据，维持类别重叠并提高召回率；生成式过采样产生与观测分布一致样本，得到更清晰边界和更高精确率，也倾向更高总体ROC-AUC和PR-AUC及更集中特征重要性，但在极端稀疏少数类设置受根本限制，分布支持缺乏约束样本多样性。互补特征促使混合。并行结合可调节精确率–召回率权衡及聚类分离生成与同化导向插值，强调稀有但有区分度的少数类案例，同时用合成插值约束不现实样本。方法学区别对信用风险决策有意义：漏报违约和误报成本通常不对称，过采样方法选择是贷款政策一部分。召回导向合成适合漏报主导情景；精确导向生成适合拒绝合格借款人成本更突出情景；Elastic通过λ使权衡可操作，可与投资组合成本结构对齐。未来工作包括更全面比较并行和顺序混合、正式定义和量化类别重叠、混合比选择原则、生成模型配置系统调参；VAE和CVAE重建式实现未显示清晰改善，崩溃相关问题需进一步研究；替代后处理策略如固定阈值和二值Bernoulli采样需考察。

研究结论翻译：本文应用生成式深度学习——VAE、CVAE和GAN——作为类别不平衡信用风险建模的过采样技术，使用企业和个体违约数据集将其与合成方法比较，并提出Elastic Oversampling作为并行混合框架。本文有三项贡献。第一，研究人员引入后验二值化程序，在生成式过采样中保持二值虚拟特征的边际分布。第二，研究人员在多种分类器下系统比较生成式和合成过采样方法，考察其对预测、特征分布和特征重要性的影响。第三，研究人员提出Elastic Oversampling，其中可调混合比例λ作为政策敏感机制，校准信用风险决策中的精确率–召回率权衡。为将生成模型用于表格信用风险数据过采样，研究人员引入后验二值化程序，修正潜空间采样产生的伪连续值，保持二值虚拟特征边际分布。合成过采样在现有少数类案例附近生成数据，维持类别重叠并提高召回率；生成式过采样产生与观测分布一致样本，形成更清晰类别边界和更高精确率。生成方法也倾向更高总体ROC-AUC和PR-AUC及更集中特征重要性，但在极端稀疏少数类设置中受根本限制。这些互补特征促使混合方法。通过并行结合合成与生成方法，Elastic Oversampling调节精确率与召回率之间以及聚类分离生成与同化导向插值之间权衡，强调稀有但有区分度少数类案例，同时通过合成插值约束不现实样本。由于漏报违约和误报成本通常不对称，过采样方法选择不仅是技术步骤，也是贷款政策一部分。召回导向合成适合漏报违约主导情景，精确导向生成适合拒绝合格借款人成本更突出情景。Elastic通过混合比例λ使该权衡可操作，λ可与投资组合成本结构对齐。本文为在类别不平衡信用风险建模中进一步整合合成与生成方法提供基础，也为扩展到成本敏感信用决策奠定基础，其中λ可与决策阈值联合校准并依据已实现贷款损失结果验证。未来工作将追求若干方向：更全面比较并行和顺序混合设计、正式定义和量化类别重叠、混合比选择指导、生成模型配置系统调参。尽管VAE和CVAE以重建式实现以缓解GAN模式崩溃，但实证结果未显示清晰改善，需通过超参数调优、分布调整和模拟分析进一步研究；替代后处理策略如固定阈值和直接Bernoulli采样也可进一步考察。