联合优化决策阈值与梯度提升超参数以降低客户流失预测成本：基于RIME的嵌套代价敏感框架

《Information》：Joint Optimization of the Decision Threshold and Hyperparameters of Gradient Boosting for Cost Reduction in Customer Churn Prediction

　　

留存营销活动依赖识别最可能停止服务的客户，但流失分类器通常以常规决策阈值0.5部署，该规则忽略流失的稀有性以及两类分类错误的成本不相等。本研究提出一个框架，在显式误分类成本下联合优化梯度提升学习器的超参数及其决策阈值，其中霜冰优化算法（rime-ice optimization algorithm, RIME）搜索超参数，而对每个候选配置精确计算成本最小化阈值。该框架嵌入五次重复二折交叉验证的嵌套协议，并在法国电信运营商Orange为KDD Cup 2009发布的50,000名客户上评估，其中7.34%为流失者。在漏判一名流失者的成本为一次不必要留存优惠十倍时，该框架将CatBoost的每客户期望成本从0.7231降至0.5509，将XGBoost从0.7139降至0.5537，将LightGBM从0.7137降至0.5551，均相对于各学习器在常规阈值下的默认配置；三项降低在结合五重复二折交叉验证F检验与Holm校正下均显著。调优后的CatBoost模型达到最低成本、受试者工作特征曲线下面积（area under the receiver operating characteristic curve, AUC）0.7272以及流失类最高F₁分数（F₁ score）0.2488。消融分析定位了该改进的来源。对于CatBoost，仅优化默认配置的阈值即占总降低0.1722中的0.1682，因此成本敏感阈值选择是主导成分，额外超参数搜索贡献较小的进一步增益；对于默认配置对客户排序较差的XGBoost和LightGBM，搜索贡献更大份额。迁移分析显示，将内层选择集选出的阈值应用于重拟合模型时，相对于在评估数据本身最优的阈值，每客户成本为0.0080。在共同评估预算下，六种搜索策略之间未检测到统计学显著差异。

研究背景：订阅制服务提供者面临结构性不对称，保留现有客户显著低于获取替代客户，合同流失造成的边际损失很少能仅靠新获客弥补。电信、流媒体、公用事业和软件供应商因此投入流失预测，以分配有限留存预算；实际关键不是分类本身，而是在“误判为留存者而未干预”和“对不会流失者提供不必要优惠”之间的成本配置。Verbeke et al.已表明，统计标准最高的模型未必最大化留存活动回报。当前问题主要有二：其一，流失为少数结果，且两类错误成本不等，常规阈值0.5会使模型标记极少客户，甚至接近“不标记任何人”的规则；其二，超参数搜索常采用与阈值无关的排序准则，阈值则作为后处理选择，且可能与评估数据同用，带来选择偏差与重采样依赖。由此，本研究的问题是：在将每次选择决策置于评估数据之外的嵌套重采样中，以候选配置在其自身成本最小化阈值处的误分类成本选择梯度提升超参数，能否降低客户流失预测期望成本。研究人员提出联合代价敏感框架，将超参数与阈值按成本共同判定：RIME搜索超参数，阈值对固定预测精确穷举计算；在Orange/KDD Cup 2009的50,000名客户（流失率7.34%）上，以成本比10:1评估CatBoost、XGBoost、LightGBM，并设逻辑回归与可解释提升机（explainable boosting machine, EBM）参照，采用五重复二折交叉验证、组合F检验及Holm校正。结论是三种梯度提升学习器的期望成本均显著降低，CatBoost调优后成本最低、流失类F₁最高；阈值优化是CatBoost改进的主导来源，精确计算阈值优于将其作为搜索坐标，内层选择阈值迁移到重拟合模型仅产生每客户0.0080的额外成本。其意义在于提供了一个可复现的、以运营成本而非阈值无关排序指标为导向的流失预测评估与部署协议。
关键技术方法（不超过250字）：样本队列来源为法国电信运营商Orange为KDD Cup 2009发布的50,000名客户数据，流失率7.34%。主要方法包括：对分类变量作频率编码，对树模型保留缺失值、对逻辑回归用训练中位数插补并加缺失指示；采用五次重复分层二折交叉验证的嵌套协议，外层训练半内再分75%内层拟合集与25%内层选择集；对每个候选超参数配置精确计算成本最小化决策阈值，超参数由RIME搜索，并与粒子群优化、差分进化、灰狼优化、随机搜索和树结构Parzen估计器在相同24次评估预算下比较；用组合5×2交叉验证F检验与Holm校正比较配置；用SHAP、置换重要性和CatBoost内置重要性比较变量排序稳定性。
研究结果：
4.1 相对默认配置的性能（Performance Against the Default Configuration）：通过默认τ=0.5、仅优化阈值、所提框架三配置比较得出，默认CatBoost成本0.7231，仅比“不标记任何人”规则低0.0113，流失召回仅0.0162；框架使CatBoost、XGBoost、LightGBM成本分别降至0.5509、0.5537、0.5551，召回升至0.5184—0.5577，F₁升至0.2407—0.2488；准确率下降是成本结构下以更多假阳性换取更多真阳性的预期结果。
4.2 同等调优下学习器比较（Comparison Across Learners Under Equal Tuning）：在相同预算与阈值程序下，三种提升模型成本接近（0.5509—0.5551），EBM为0.5571，逻辑回归明显较弱（0.6346，AUC 0.6675）；EBM默认配置优于受限于至多5个交互项的调参版本，反映受限搜索空间影响而非EBM本身属性。
4.3 改进来源（Sources of the Improvement）：消融显示CatBoost总降低0.1722中阈值优化贡献0.1682；XGBoost和LightGBM的超参数搜索贡献更大；将阈值作为搜索坐标使成本升至0.5946且折间标准差增大；顺序调参（AUC选超参后再精确算阈值）达0.5496，略低于所提框架；深度消融中深度3—8成本0.5478—0.5497，深度2为0.5570，故在本实验设置中改进不能由降低树深解释。
4.4 搜索选择的配置（Configurations Selected by the Search）：十折中选择深度2—7，其中八折选择深度5及以上；选择阈值0.0727—0.1034，均值0.0892，接近闭式值1/11；深度变化而性能平坦表明多个配置成本近似。
4.5 优化器比较（Comparison Across Optimizers）：六种搜索策略评估成本0.5492—0.5525，内层最佳成本0.5287—0.5306；RIME取得最高F₁ 0.2488及最短单折搜索时间58 s（其他73—89 s），但时间仅属特定软硬件配置；共同24次评估预算下未检测到显著差异，亦不能据此建立形式等价。
4.6 统计评估（Statistical Assessment）：第一族比较中，三种提升学习器相对默认τ=0.5的改善经Holm校正后显著（CatBoost、XGBoost、LightGBM的校正p值分别为1.150×10^?6、7.030×10^?6、2.917×10^?5）；第二族中，所提CatBoost与“不标记任何人”规则及逻辑回归的AUC差异显著，但与其他调优学习器、替代搜索策略和消融的差异不显著（校正p=1.000），故其最低成本和最高F₁为数值优势而非统计确立；p=1.000不证明等价。
4.7 成本比、校准与操作点（Cost Ratio, Calibration and the Operating Point）：成本比5和20下重复评估显示学习器排序随成本比改变；将 isotonic 回归用于选择集预测并应用闭式阈值，与直接阈值优化在各学习器和成本比下成本差不超过0.0008，所提模型在成本比10下均为0.5509；两者概念不同，成本相似不证明一般等价。
4.8 变量归因（Variable Attribution）：比较三种归因方法稳定性得出，内置重要性排序最稳定（十折平均Spearman相关0.752），SHAP为0.739，置换重要性为0.346；Var126在三种方法下均列第一；归因只描述模型内变量与预测概率的关联，不建立改变变量会改变流失概率，且变量匿名化使其不能对应具体客户属性。
4.9 迁移阈值稳定性（Stability of the Transferred Threshold）：十折中迁移阈值均值0.0892，oracle阈值均值0.0855；迁移阈值成本平均高于oracle阈值0.0080，最差折0.0259，相对于框架总降低0.1722保留大部分增益；isotonic路线平均短缺0.0067；选择集估计阈值引入额外变异。
4.10 实践含义（Practical Implications）：基于比较得出两项建议：流失模型不应在0.5部署，三种提升模型在0.5下期望成本距“不联系任何人”规则不超过0.0207，阈值应由留存活动成本推导；超参数搜索应在同一选定阈值成本下进行，对默认配置排序差者收益更大。归因提示的留存措施仍属假设，需随机化活动等因果评估；所用成本为分析设定比而非实测活动量，不能视为已证明财务节省。
4.11 局限与未来工作（Limitations and Future Work）：研究限于单一客户数据库；成本比由论证固定而非特定活动测量；24次评估预算限制优化器效率结论；单变量AUC筛选不能排除多变量联合泄漏，且缺乏时间戳无法确证所有变量在留存决策时可得；嵌套协议防重采样和选择泄漏但不建立时间效度。未来应扩展到更多流失数据库、时间分割验证、由活动数据估计成本结构、更大预算/其他搜索空间及多保真策略。
讨论部分总结：原文讨论强调，成本敏感阈值选择是主要增益来源，且阈值应精确计算而非搜索；阈值从内层选择集迁移到重拟合模型代价较小；在本实验设置内，深度不能解释改进；六种优化器及三种提升库在相同预算下无显著差异，故改善并非仅由RIME取得，但亦未建立形式等价。局限主要涉及单一数据、成本比设定、搜索预算及时间效度；实践上应以运营成本确定阈值并在同成本目标下调参。
研究结论翻译：本研究提出一个框架，其中梯度提升学习器的超参数由其各自成本最小化阈值处所达到的误分类成本来选择，阈值被精确计算，超参数由RIME在五次重复二折交叉验证的嵌套协议内搜索。在Orange的50,000名客户上，相对于常规阈值下的默认配置，该框架使CatBoost、XGBoost和LightGBM的每客户期望成本分别降低0.1722、0.1603和0.1586，且三项降低在考虑重采样依赖与多重性校正后均显著。调优CatBoost模型达到最低成本0.5509和流失类最高F₁分数0.2488，尽管其相对于其他调优学习器的优势未获统计学确立。上述结论描述的是在本研究所采用成本结构下的Orange数据库，对于具有其他流失率或可分程度的数据库，增益幅度可能不同。另有三个结论：第一，成本敏感的决策阈值选择是增益主导来源，CatBoost中占总降低0.1722的0.1682，超参数搜索贡献其余部分，而XGBoost和LightGBM中搜索贡献更大份额；精确计算阈值优于搜索阈值，搜索阈值同时提高成本及折间变异，内层数据选出的阈值迁移至重拟合模型平均成本为每客户0.0080。第二，在本实验设置内，增益不能由树深降低解释，因为深度3—8间性能不敏感且深度2最低；该证据仅涉及本数据库树深，不描述模型容量与流失预测的更广泛关系。第三，在相同预算下六种优化器或三种提升库间未检测到统计学显著差异，故本研究报告的降低并非仅由RIME获得；但实验未建立这些替代方案间的形式等价，RIME较短搜索时间属特定软硬件配置属性。未来工作将把评估扩展到更多流失数据库和由留存活动估计的成本结构。