针对罕见事件并带有内置不确定区间的鲁棒逻辑回归方法

《Results in Applied Mathematics》：A robust logistic regression method for rare events with built-in uncertainty bands

　　

对于具有罕见二元事件的逻辑回归，由于训练数据中存在的近似分离现象，常常会出现估计不稳定的情况。研究人员提出了SS-REL + CLCB框架，该框架解决了逻辑回归中分离情况下的估计不稳定问题，并提供了有限样本有效的量化不确定性。SS-REL使用软间隔框架来识别训练数据中近似分离的方向，并仅沿这些方向对参数进行正则化。此外，SS-REL使用稳定性预算来确定正则化参数，使得训练数据的对数几率预测在幅度上受到限制。在稳定性预算的构建下，训练数据上的拟合对数几率在幅度上是有界的，这防止了训练数据上概率崩塌的发生。CLCB构建了保形校准区间，这些区间对于稳定的基础模型预测在有限样本中是有效的。因此，SS-REL和CLCB提供的解在模型拟合上是稳定的，并且在有限样本中具有有效的量化不确定性。基于真实协变量矩阵构建的半合成基准上的模拟研究和实验表明，与强基线方法相比，SS-REL + CLCB能够产生明显更窄的有限样本有效校准区间，同时保持稳定的概率估计。

在机器学习的众多实际应用中，如医疗筛查、安全监控和工业故障检测等，经常需要为极少出现的类别标签分配概率。处理这类罕见事件最常用的方法是逻辑回归，但该方法在数据存在分离现象时会面临极大困难。分离现象指模型参数的线性组合能将正类实例与负类实例完美分开，此时似然函数不存在极大值，导致优化算法无法收敛，或估计概率趋于0或1，产生虚假的确定性。常见补救措施如Firth惩罚或岭惩罚回归虽能全局稳定模型，但缺乏针对性，无法区分分离方向与包含有用信号的方向。此外，现有不确定性量化方法多依赖大样本渐近假设，缺乏在有限样本且无分布假设下的有效性保证。为填补这两项空白，研究人员开展了提出SS-REL + CLCB集成框架的研究，旨在解决近似分离下的几何适应性稳定问题，并提供有限样本边际有效的概率区间。该项研究得出结论，该框架不仅避免了概率崩溃，还生成了显著更窄的有效不确定区间，这对提升罕见事件分类模型的鲁棒性与可解释性具有重要意义，该论文发表在《Results in Applied Mathematics》上。

为开展此项研究，作者主要采用了以下关键技术方法：首先是基于软间隔凸优化程序计算分离方向和严重性指数s?，以诊断是否存在分离或近似分离；其次是基于稳定性预算B和二分搜索算法确定方向性正则化参数λ，构建SS-REL估计器；最后采用分步拆分协议，利用非一致性得分计算层内和类内分位数，构建基于保形预测的CLCB概率区间。模拟与半合成实验数据来源于威斯康星乳腺癌诊断数据集和UCI手写数字数据集的真实特征矩阵。

研究方法中详细介绍：为解决逻辑回归中的分离问题，SS-REL被设计为分离安全的罕见事件逻辑回归估计引擎。在该框架下，Relaxing the separability constraint引入松弛变量，研究人员构建了非负的分离严重性指数s?=max{0,m?}+max{0,τ?ξ?}，当数据处于不确定的接近分离状态或完全可分离状态时，通过开关机制激活正则化。模型构建了方向性分离激活惩罚，通过正交投影仅在分离方向u上进行最强收缩，同时利用稳定性预算B>0和二分法搜索求解约束S(λ)≤B下最小的λ。为验证该估计器，通过凸分析标准结果证明了当λ>0时，SS-REL目标函数的强凸性确保了估计器的唯一存在性及线性预测的有限有界性，从根本上避免了概率崩塌。为提供有限样本下的不确定性量化，CLCB被设计为保形逻辑回归校准区间。采用分步协议，将数据分为训练集和校准集，定义概率尺度残差S(p,y)=|y?p|作为非一致性得分。通过固定分箱并进行类内和概率区间内的分层， CLCB计算了具有标签感知能力的分位数q_1?α。通过定理证明，在数据可交换性假设下，CLCB能够提供边际有效的有限样本覆盖率保证Pr(Y_new∈[L(X_new),U(X_new)])≥1?α。将SS-REL与CLCB结合而成的单一过程，联合优化了概率估计稳定性与无分布假设的区间校准目标。

分离不稳定性与为什么需要SS-REL（Separation instability and why SS-REL is needed）：通过在A/B/C三种数据状态及0.01和0.05罕见事件发生率下的实验，研究发现标准最大似然估计在分离状态下完全无法收敛或产生线性预测极大值。SS-REL大幅缓解了不稳定性，在0.05发生率的分离状态下将线性预测极大的幅度控制在11.57内，而岭回归达到164.55，证明了其能精确控制分离驱动的崩溃。

CLCB的边际有效性：经验覆盖接近名义水平（CLCB marginal validity: empirical coverage near nominal）：通过评估经验覆盖率发现，目标α=0.05时，最差平均有效性达到0.949，而α=0.10时为0.899。这表明CLCB区间在各状态和发生率下，均保持了接近名义水平1?α的边际有效性。

结果：最小的有效概率区间（Results: smallest valid probability bands）：在现代高难度罕见事件压力测试中，MLE被剔除。SS-REL在满足目标边际有效性α=0.05的所有方法中，实现了最小均值和90百分位区间宽度，同时具有最低的ECE。尽管在排名指标上略有劣势，但SS-REL证明了其作为生成最小且有效概率区间首选方法的实力。

在半合成罕见事件基准上的评估：使用真实特征矩阵和设定的罕见事件发生率，实验表明Firth回归在线性预测上产生了超10⁸的极度不稳定值，而SS-REL在所有数据集上保持了接近稳定性预算的控制水平。显著性测试证明，SS-REL产生的区间比岭回归紧缩3至6倍，同时保持了最低的LogLoss和最高的PR-AUC。

讨论部分总结了该方法的实际指南与局限性。作者指出SS-REL不适用于以排名为主要目的的应用，因为其PR-AUC可能不如其他启发式方法。在应用时，需标准化非截距特征，计算严重性指数s?，并仅在超过阈值时利用二分法搜索λ，使得S(λ)≤B。CLCB需设定固定概率分箱，并在样本稀少时采用保守的1截断值。研究的局限在于，尽管保证了边际有效性，但无法保证针对X_new的条件有效性，同时稳定指数s?主要基于启发式构建，目前仅在单一分离轴上进行收缩。

结论部分翻译如下：在本文中，研究人员探讨了罕见事件分类中系数估计和极端事件预测概率变得不稳定的问题。研究人员提出了SS-REL + CLCB方法，这不仅解决了罕见事件分类的失败模式，还提供了在概率尺度上带有不确定性区间的稳定概率预测。SS-REL包含一种适应近似分离几何特征的方法，具有严重性诊断以及在特定方向的规则化和拟合对数几率边界。生成的算法在极大似然估计不可靠甚至未定义的情况下依然稳定性良好。SS-REL不仅确保系数有限，更防止了概率崩塌至0或1，避免了虚假确定性导致的下游问题。CLCB在概率尺度上提供了经过校准的保形区间。层内CLCB变体不需要具体的逻辑模型，仅假设层内具有可交换性。这两种方法相互独立：SS-REL帮助稳定基础概率，使CLCB能有效校准它们。经验研究得出了高度一致的结论：在施加压力的各罕见事件场景下，SS-REL模型均证明了其在保持预测能力的同时缓解分离的能力。此外，在包含CLCB模块的所有测试中，该模型展现出在同等有效性水平下最窄的概率区间。稳定概率估计对提升分类模型的可解释性和鲁棒性至关重要，这也天然有利于在概率尺度上有效的不确定性量化方法的效率。因此，SS-REL + CLCB为现代分类应用中的概率估计提供了一项极具价值的工具。