不平衡回归中的双场景损失优化：统计先验校准与残差反馈聚焦

《Neurocomputing》：Dual-scenario loss optimization for imbalanced regression: Statistical prior calibration and residual feedback focusing

　　

回归分析是机器学习中的基础工具，广泛应用于各个领域。然而，现实世界的回归任务通常面临标签不平衡问题，表现为响应值的非均匀分布：某些区间包含大量样本，而其他区间仅覆盖有限观测。对这些罕见但通常至关重要的样本进行准确预测尤为重要，但由于频繁数据点的压倒性主导，标准回归算法在此类情况下通常表现不佳。本文指出，不平衡回归中的样本重要性可以通过两种不同方式确定：利用统计规则或领域知识在训练前预定义的（显式设置，Explicit Setting），或在训练过程中从模型反馈中动态涌现的（隐式设置，Implicit Setting）。虽然显式设置已被现有工作广泛采用，但隐式设置仍相对未被充分探索。进一步针对两种场景开发了两种有针对性的损失优化策略。对于显式设置，统计先验优化（Statistical Prior Optimization，SPO）结合可解释、可调的基于箱线图（boxplot）的先验，将模型注意力重定向至关键的稀疏区域。对于隐式设置，残差反馈优化（Residual-Feedback Optimization，RFO）利用预测残差作为内部学习线索，动态捕获难以拟合的罕见实例。两种策略均通过完整的二阶导数推导集成到XGBoost中，产生两种新颖算法：SPO-XGB和RFO-XGB。在24个基准数据集上的大量实验表明，SPO-XGB在罕见区域指标（SERA、LMSE和F1?）上实现了卓越性能，而RFO-XGB在MSE方面提供了具有竞争力的总体预测误差，并在不同数据集特征上保持了鲁棒性能。

该研究发表于《Neurocomputing》。研究背景方面，回归是机器学习中的基础工具，广泛应用于各领域的预测与数据驱动决策。许多现实应用中训练数据在目标域分布不均，部分范围密集而部分稀疏，对这些稀疏区域的准确预测往往至关重要，因其常对应高影响结果，此类场景被称为不平衡回归（imbalanced regression），标准模型常无法优先关注这些关键稀疏区域。与具有明确类别边界的不平衡分类不同，不平衡回归因目标变量连续及频繁值与罕见值划分模糊面临独特挑战。算法层面方法在不平衡回归中日益受关注，因其直接使学习目标偏向重要样本且不改变数据分布。当前样本优先级可从两视角：一是训练前用统计先验或领域知识确定重要性（显式设置，Explicit Setting）；二是训练中从模型反馈动态涌现重要性（隐式设置，Implicit Setting）。但现有方法几乎专为其显式设置设计，如SERA及DenseLoss依赖训练前固定的预计算相关性或密度函数，无先验时无法适应，针对隐式设置的动态驱动方法鲜有探索，此关键方向仍是研究空白，近期综述也强调需动态学习范式缓解静态方法局限。为此，研究人员开展两项针对性场景损失优化策略：统计先验优化（Statistical Prior Optimization，SPO）用于显式设置，编码基于Tukey箱线图原则的可解释统计规则以强调关键区域，含透明严重程度参数可控校准；残差反馈优化（Residual-Feedback Optimization，RFO）用于隐式设置，以预测残差为内部反馈机制自动发现并强调难拟合样本，填补隐式设置空白。主要贡献包括识别显式与隐式两优化场景；提出SPO用透明基于boxplot的参数k实现可解释可控样本校准；引入RFO作为首个隐式设置残差引导自适应损失，无先验动态聚焦难样本；提供两方法完整二阶导数推导稳定集成XGBoost得SPO-XGB与RFO-XGB；24真实数据集实验验证各方法在其预期场景出色，证场景特定设计必要。作者为Ying Guan、Ying-Zi Fu、Guang-Hui Fu，单位昆明理工大学理学院。

研究人员用到的主要关键技术方法包括：区分显式设置（Explicit Setting，训练前用统计先验或领域知识预定义样本重要性）与隐式设置（Implicit Setting，训练中从模型反馈动态涌现重要性）两类不平衡回归优化场景；提出统计先验优化（Statistical Prior Optimization，SPO），基于Tukey箱plot原则编码可解释统计规则，含可调严重程度参数k重定向模型至稀疏关键区；提出残差反馈优化（Residual-Feedback Optimization，RFO），以预测残差为内部反馈动态捕获难拟合罕见实例；提供SPO与RFO完整一阶及二阶导数推导，集成至XGBoost框架得SPO-XGB与RFO-XGB算法；在24个基准数据集上实验，采用MSE、SERA、LMSE、F₁^?等指标评估，对比XGBoost、SERA-XGBoost、DW-XGBoost等基线。

研究结果部分保留小标题说明如下。

Related work：不平衡回归渐成机器学习前沿，Branco等定义其两核心条件：预测精度在目标域非均匀重要；高重要样本代表性不足。核心挑战是开发兼顾整体精度与捕获罕见值的模型，困难包括不平衡分布提供信息少等。

Proposed approaches：提出两正交损失级优化策略，先形式化两场景（样本重要性确定方式异），均兼容梯度提升框架尤其是XGBoost，提供完整一阶与二阶导数推导。SPO用于显式设置，以可解释可调基于boxplot先验重定向至稀疏关键区；RFO用于隐式设置，以预测残差为内部反馈动态捕获难拟合罕见实例，填补隐式设置研究空白。

Evaluation metrics：为全面评估不平衡回归任务性能，采用多样指标涵盖不同预测能力方面，含传统回归与专用不平衡数据指标。均方误差（Mean Squared Error，MSE）作基线指标，量化平均平方差异以测整体预测精度；另用SERA、LMSE、F₁^?等罕见区域指标。

Experiments：实验设三研究问题：Q.1 SPO中k与RFO中γ两核心超参如何影响不同数据集性能及实用推荐范围？Q.2 SPO-XGB与RFO-XGB是否在多指标优于现有不平衡回归基线（含XGBooot、SERA-XGBoost、DW-XGBoost）？Q.3 SPO-XGB与RFO-XGB是否达预期设计目标？在24基准数据集实验表明，SPO-XGB在罕见区域指标（SERA、LMSE、F₁^?）卓越；RFO-XGB在MSE具竞争力总体预测误差且跨数据集特征鲁棒。

Discussion：实验证SPO-XGB与RFO-XGB有效。优势在场景特定设计，区分显式与隐式设置提供比现有方法更广的实用不平衡回归任务解；SPO-XGB具可解释统计（基于boxplot）与可控参数k；RFO-XGB无先验以残差反馈动态聚焦难样本填隐式设置空白。潜在局限未详述。结论为：不平衡回归样本重要性可分显式设置（训练前预定义）与隐式设置（训练动态涌现），后者欠探索；SPO用于显式设置以boxplot基先验与参数k重定向至稀疏关键区；RFO用于隐式设置以预测残差动态捕难拟合罕见实例；两策略完整二阶导数导集成XGBoost得SPO-XGB与RFO-XGB；24数据集实验示SPO-XGB在罕见区域指标（SERA、LMSE、F₁^?）优，RFO-XGB在MSE具竞争力总体误差且鲁棒，证场景特定设计必要。