CRAXNet：基于XGBoost与神经网络的两阶段信用评级模型创新研究

本研究针对信用评级中非线性模式难以捕捉的挑战，提出了一种名为CRAXNet的新型两阶段混合模型。该模型通过XGBoost进行特征选择并生成类别概率，再输入神经网络进行非线性模式学习，在两项公开数据集上实现了最高4.74%的准确率和9.86% F1-Score的性能提升，为金融风险评估提供了更精准、可扩展的解决方案。

　　

在金融服务业中，信用风险分析是评估企业信用度的核心标准。传统机器学习模型在捕捉经济特征间的非线性关系方面面临显著挑战，而现有研究多采用单一模型或简单组合模型，缺乏能够协同利用不同模型优势的分层学习架构。随着2008年金融危机后银行业对风险量化需求的提升，开发能够同时处理线性和非线性模式的精准信用评级模型已成为行业迫切需求。

在此背景下，研究人员在《Kuwait Journal of Science》发表了题为"CRAXNet: Credit Rating via Advanced XGBoost and Neural Networks"的研究论文，提出了一种创新的两阶段混合模型。该研究通过结合XGBoost强大的特征选择能力和神经网络的非线性模式学习能力，构建了能够显著提升信用评分预测性能的新型架构。

研究采用了两项公开数据集（Agewerc, 2020和Delwadia, 2021数据集），包含企业财务指标和信用评级数据。关键技术方法包括：基于Pearson相关系数的特征选择方法筛选出25个关键特征；使用XGBoost生成类别概率分布作为神经网络输入；构建包含三个隐藏层（256-128-64神经元）的神经网络架构；采用SMOTE方法处理类别不平衡问题；应用Dropout和早停法防止过拟合；使用5折分层交叉验证评估模型性能。

CRAXNet: A two-staged model for credit rating

研究人员开发了CRAXNet两阶段模型，第一阶段利用XGBoost处理31个财务特征，通过梯度提升算法生成类别概率预测值ρ(y=?/x)。这些概率值作为第二阶段神经网络的输入，经过三个隐藏层（使用ReLU激活函数）的变换，最终通过softmax函数输出精细化后的信用评级概率。该架构的创新之处在于将XGBoost输出的类别概率作为神经网络的输入特征，从而实现了两种模型的优势互补。

Mathematical background of craxnet

研究提供了完整的数学模型推导。XGBoost部分基于梯度提升框架，定义预测值y_n′ = ∑_t=1^Tf_t(x_n)，损失函数? = ∑_i=1ⁿ?(y_i,y_i′) + ∑_t=1^Tζ(f_t)。神经网络部分采用前向传播架构，H₁ = φ(ω₁h₁+β₁), H₂ = φ(ω₂h₁+β₂), H₃ = φ(ω₃h₂+β₃)，最终输出O = softmax(ω₃h₂+β₃)。

Experiments organization

实验采用80%-20%的训练-测试集划分，使用Pearson特征选择方法从31个特征中筛选出25个最相关特征。针对数据集存在的类别不平衡问题（如'BBB'评级占比33%而'D'评级仅出现一次），采用SMOTE方法进行平衡处理。模型训练中还集成了Dropout(0.3)和早停法（10轮无改善则停止）等正则化技术。

Dataset

研究使用了两组公开数据集：Dataset 1包含2010-2016年间美国大公司的31个财务特征；Dataset 2包含2029条样本、30个特征，涉及678家公司的22级信用评级。两组数据集都包含当前比率(currentRatio)、债务权益比(debtEquityRatio)、资产回报率(returnOnAssets)等关键财务指标。

Baseline models

性能对比选择了五种主流模型：KNN、FIKNN（基于随机森林特征选择的改进KNN）、AF（Arbitrary Forests）、Doc2Vec（文档嵌入模型）和CART（分类回归树）。这些模型代表了信用评级领域的不同方法论取向。

Feature selection model

通过比较互信息、Pearson相关性和ANOVA三种特征选择方法，最终选择Pearson相关系数方法，其计算公式为p = [∑(x_n-x′)(y_n-y′)]/[√∑(x_n-x′)²·√∑(y_n-y′)²]，该 method能有效衡量特征与目标变量间的线性关系。

Evaluation metrics

采用准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1-Score和AUC曲线等综合指标评估模型性能。其中F1-Score = 2×(Precision×Recall)/(Precision+Recall)，特别适用于不平衡数据集的评估。

Experimental setup

实验在配置为Intel Core i7-10700K处理器、NVIDIA RTX 3080显卡、32GB RAM的硬件平台上进行，使用Python编程语言和scikit-learn库实现。超参数调优采用GridSearchCV方法，对学习率([0.01,0.1,0.2])、最大深度([3,5,7])、树数量([50,100,200])等参数进行网格搜索。

Preprocessing, EDA and feature selection

数据预处理包括对异常值进行归一化处理（使数值缩放至0-1范围），对类别变量使用Label Encoding转换为数值。EDA分析发现'currentRatio'等特征存在大量异常值，经过归一化后数据分布更加合理。特征重要性分析显示长期特征如'debtRatio'比短期特征具有更大影响力。

Prediction performance comparison

在Dataset 1上，CRAXNet达到71%准确率，相比最佳基线模型AF(68%)提升3个百分点；在Dataset 2上，CRAXNet获得94%准确率和92% F1-Score，显著优于其他模型。Doc2Vec模型表现最差(29%)，表明文本嵌入方法不适合处理数值型金融数据。ROC曲线分析显示CRAXNet的AUC值最高(0.861和0.981)，证明其具有优异的类别区分能力。

Robustness evaluation

鲁棒性测试表明：加入5%高斯噪声后模型仍保持70.4%准确率；使用前15个特征时准确率降至64.2%；训练数据减少30%和50%时性能保持稳定(70.9%)；仅使用单一 sector数据训练仍达到67.8%准确率，证明模型具有良好的泛化能力和抗干扰性。

研究结论表明，CRAXNet通过创新的两阶段架构成功解决了信用评级中的非线性模式学习问题。XGBoost阶段有效捕捉特征与目标变量间的复杂关系，神经网络阶段进一步细化预测结果，两者结合实现了协同增效。实验证明该模型在准确率、F1-Score和AUC等指标上均显著优于现有主流方法，且具有优秀的鲁棒性和泛化能力。

该研究的重要意义在于：首先提出了首个将XGBoost类别概率作为神经网络输入的分层学习架构，为混合模型设计提供了新思路；其次证实了长期财务指标比短期指标对信用评级影响更大，为特征工程提供了理论指导；最后通过全面的实验验证和鲁棒性测试，证明了模型在真实金融环境中的实用价值。研究成果可为银行、信贷机构提供更准确的风险评估工具，有助于降低金融风险和提高决策效率。

未来研究方向包括集成深度学习架构（如LSTM、CNN）处理时序金融数据、开发基于注意力机制的特征加权方法，以及探索更多领域知识驱动的特征工程方案。这些改进有望进一步提升信用评级模型的准确性和可解释性。