《Machine Learning with Applications》：Retrospective mortgage delinquency classification: A matched comparison of direct and two-stage models
编辑推荐：
两阶段模型（two-stage models）将逾期发生（delinquency occurrence）与严重程度（severity）分开建模，但其相对于直接分类（direct classification）的优势需经实证评估。研究人员使用来自第三方抵押贷款文
两阶段模型（two-stage models）将逾期发生（delinquency occurrence）与严重程度（severity）分开建模，但其相对于直接分类（direct classification）的优势需经实证评估。研究人员使用来自第三方抵押贷款文件的291,451笔贷款，比较了六种直接、有序（ordinal）和两阶段模型。回顾性结局组将记录的累计逾期分为零个月、一至两个月和至少三个月。研究人员早期公式中的确定性目标泄漏（target leakage）已得到修正，预测变量被限制为记录在案的贷款发放字段（origination fields）。各模型共享原始开发/测试拆分，使用五个外层和三个内层开发折（folds）进行调参与折外（out-of-fold）预测。在58,291笔测试贷款上，两阶段减直接逻辑回归（logistic regression, LR）的对数损失（log-loss）差为-0.00003（95%置信区间 -0.00029至+0.00022）；Brier分数（Brier score）差为+0.00001（95%置信区间 -0.00012至+0.00014）。在匹配的逻辑回归与XGBoost比较中，直接与两阶段公式之间的观测概率得分差异非常小。这些结果既未确立层次分解（hierarchical decomposition）的优势，也不构成等价性检验。尽管聚合概率得分相似，默认的argmax规则无法识别中间类别。对于基于特征的模型，共同的开发选择偏移（offset）规则通过改变概率到类别的决策规则而非底层概率估计，提高了宏F1（macro F1）。分析文件与已识别的公开分布副本相匹配。其上游观察窗口仍未验证，不平等的观察机会可能影响标签。研究结果适用于该队列中的回顾性分类。
抵押贷款逾期可被表示为单一多分类结局，亦可表示为两个条件结局：是否发生逾期，以及逾期贷款的记录严重程度。两阶段表示分离了这两个问题，但其有效性须与预测同一最终结局的直接分类器进行比较。仅在两阶段系统内部比较不同学习器无法证明架构优势，因为即使分解本身相对匹配的直接模型几乎没有增量预测收益，两阶段系统也可能因其组件学习器或决策阈值而表现良好。因此，建立架构价值需要在相同的预测变量、观测样本和模型选择程序下，与直接模型进行匹配比较。概率准确性和对每个逾期类别的识别能力也需分别评估。
为回答该问题，研究人员使用了包含291,451笔抵押贷款记录的第三方文件，任务是对记录的累计逾期负担（零个月、一至两个月、至少三个月）进行回顾性分类。特征模型采用相同的贷款发放记录字段，输出描述的是这些记录类别，而非固定未来期限内的逾期。研究人员修正了先前公式中的确定性目标泄漏：此前的第二阶段“是否逾期”模型将记录逾期月数作为输入，而该字段本身确定性地蕴含了响应变量。修正后的比较从所有特征模型中排除了两类与履约表现相关的字段。分析文件在修订过程中被识别为公共仓库中某分布副本的匹配项，但该上游观察窗口的构建方式仍未验证。
研究人员比较了六种模型：训练类别比例基线、多项式逻辑回归、比例优势有序逻辑回归、多分类XGBoost、两阶段逻辑回归和两阶段XGBoost。所有模型共享原始开发/测试拆分（开发集233,160笔，测试集58,291笔）；五个外层开发折产生对齐的折外（OOF）概率，三个内层折按多类对数损失选择配置。最终模型在开发池内重拟合，测试集仅用于评估。主要概率评分为多类对数损失和Brier分数（三项求和约定）；主要架构对比为两阶段减直接逻辑回归，采用2000次类分层自助重抽样计算百分位95%置信区间。敏感性分析包括固定模型在计划期限带上的表现、保留DTI零值、仅开发状态分组地理扩展实验，以及仅用MonthsInRepayment字段的诊断模型。样本队列来自第三方抵押贷款文件，被描述为Freddie Mac衍生数据，并匹配到公开分布副本。
4.1 Recorded outcomes and the duration field（记录的结局与期限字段）：全部291,451笔贷款均满足确定性的标签恒等式，且无重复贷款ID。记录的MonthsInRepayment中位数从类别0的47增至类别1的52和类别2的70。在计划字段带内，类别2占比从1–24个月的3.63%升至121–212个月的23.99%。这些是描述性关联，不能证明不平等的随访本身导致了类别差异。
4.2 Architecture and probability evaluation（架构与概率评估）：所有模型在相同的58,291笔测试贷款上比较。两阶段减直接LR的对数损失差为-0.00003（95% CI -0.00029至+0.00022），Brier差为+0.00001（95% CI -0.00012至+0.00014）。XGBoost配对差异为对数损失+0.00002（95% CI -0.00025至+0.00030），Brier +0.00007（95% CI -0.00005至+0.00020）。所有四个bootstrap区间均跨越零，但不构成正式等价界限。在测试配置与队列内，层次分解相对匹配直接分类仅产生非常小的聚合概率得分变化。
4.3 Decision rules and class-specific limitations（决策规则与类别特定局限）：架构比较显示聚合概率得分差异小；但将argmax改为开发选择的偏移规则会改变类别决策，而不改变用于对数损失和Brier评估的概率向量。直接LR的argmax宏F1为0.329，两阶段LR为0.322；在共同偏移规则下，对应值为0.431与0.433。argmax规则下，直接LR类别1召回率为0.0%、类别2召回率为5.6%；两阶段LR分别为0.0%和4.2%。类别0占测试贷款的80.2%，因此加权F1即使在类别比例基线下也较高（0.714）。宏F1的上升应理解为决策行为改变而非概率预测改善；中间类别识别仍极为有限。
4.4 Calibration and sensitivity analyses（校准与敏感性分析）：LR类概率的类别校准曲线显示，稀疏分箱限制了校准精度。两阶段XGBoost减两阶段LR的对数损失差为-0.00240（95% CI -0.00302至-0.00177），表明在测试配置下XGBoost相对LR有适度优势。保留DTI零值时，直接LR和两阶段LR的对数损失均为0.580。在仅开发状态分组实验中，使用主要字段的合并对数损失为0.582，加入地理/卖方扩展后为0.581，合并宏F1分别为0.327和0.328。仅使用MonthsInRepayment的诊断模型（包含贷款发放后信息）不是合法的发放时模型，其对数损失为0.606，Brier为0.323。
讨论部分归纳如下：匹配架构比较中，聚合概率度量非常相似，配对置信区间包含零，表明任何架构效应在测试配置内都很小，但区间亦不足以主张统计等价。偏移分析处理的是将概率估计转化为离散层级决策的问题；由于偏移不改变概率向量，对数损失和Brier不受影响，宏F1变化反映决策行为改变。在拟合模型中，argmax从不预测类别1，因此尽管类别1概率并非可忽略，其召回率仍为零。数据溯源方面，分析文件已追溯至公共分布副本，但历史获取方式、月度聚合规则和审查机制均无法从现有材料验证；记录的逾期负担与MonthsInRepayment强关联，该字段可能反映暴露长度、提前还款、终止事件或上游转换，因此结果被解释为对该记录结局的预测，而非前瞻性风险证据。原始神经网络、森林和提升树结果基于固定配置，神经网络并非始终不如LR；调整后的两阶段XGBoost相对调整后的两阶段LR有适度优势。三个月负担截断是分析性定义，不证明其匹配业务偏好；敏感性分析改变结局和类比例，不能用于选择操作阈值。其他限制包括近单一年份队列、不确定的字段转换、原始测试集重用以及比例优势假设等。
研究结论可翻译为：在共同信息和评估规则下，匹配的逻辑回归与XGBoost比较显示，直接与两阶段表示记录累计抵押贷款逾期的方式在聚合概率得分上几乎没有观察到的差异。这些结果既未确立两阶段优势，也未确立统计等价性。决策规则比较进一步表明，概率准确性和对各逾期层级的识别需要分别评估。研究结果适用于所测试的配置和该回顾性队列；未经证实的上游观察窗口限制了它们作为前瞻性抵押贷款风险证据的解释。
