方差自适应自正则集成学习用于小数据情境下的鲁棒预测

《Electronics》：Variance-Adaptive Self-Regularizing Ensemble Learning for Robust Predictions in Small-Data Regimes

　　

小数据情境仍然是机器学习中最重要且紧迫的问题之一。当训练集中仅有几百个样本点时，传统集成方法可能不可靠，因为它们具有高方差、低泛化能力，且对数据集中的单个点敏感，这对任何消费应用或安全关键应用都会产生负面影响。当前的正则化方法逐一解决这些问题，但没有一种方法能够根据训练过程中集成模型的统计信息灵活调整正则化水平。本文提出SelfReg-Ensemble，一种方差自适应自正则集成学习框架，该框架在所有基础学习器的每个训练步骤中跟踪方差，并动态调整正则化强度，使集成预测的方差保持在可接受水平。该框架由三个互补组件组成：(i) 方差监控模块（Variance Monitoring Module, VMM），用于监控集成成员预测的方差；(ii) 自正则化控制器（Self-Regularization Controller, SRC），通过基于Sigmoid函数界定的自适应学习计划，将观测到的方差自适应地映射为正则化系数；(iii) 多样性保持聚合层（Diversity-Preserving Aggregation Layer, DPAL），基于带熵正则化Softmax投票机制的加权堆叠，以避免集成坍缩。研究人员对提出的框架进行了严格的理论分析，保证了收敛性并提供了方差界。这些保证是针对凸的、基于梯度的学习器形式建立的；对于实验中使用的基于树的学习器，它们作为定性指导，并通过经验验证而非形式证明。SelfReg-Ensemble在来自医疗、金融和物联网领域的12个基准数据集上进行了测试，每个数据集总样本数少于500个（N表示总数据集大小；分层90/10分割后，每折有效训练大小N_tr范围为52到432个样本），并始终优于十种最先进的基线方法，平均AUROC比XGBoost v2.0.3高6.8%，比实际最强平均基线Sub-Network Ensemble（平均AUROC 85.6%）高5.2%，预测方差降低9.3%，F1分数提高4.1%。提出的框架轻量、模块化，易于部署在资源受限的消费电子环境中。

**论文解读：SelfReg-Ensemble——小数据情境下的方差自适应自正则集成学习框架**

**研究背景与问题**

在机器学习中，小数据情境（训练样本数少于500）是实际应用面临的严峻挑战。消费电子设备（如可穿戴健康监测仪、智能家居传感器、边缘部署的临床决策支持系统）以及医疗诊断、工业故障检测、个性化推荐系统等领域，受限于隐私、标注成本或事件稀缺性，常只能获得少量标注样本（数十到数百个）。传统集成方法（如Bagging、Boosting）虽能降低单个模型方差，但在小数据下，自举样本相关性急剧上升，导致成员间协方差增大、多样性增益下降，甚至使整体预测方差上升。现有正则化方法（如L1/L2惩罚、Dropout、早停）虽能控制模型复杂度，但均使用固定正则化强度，无法根据训练过程中集成模型的方差动态调整。此外，迁移学习、数据增强、贝叶斯方法等各有局限（如域偏移、生成伪影、计算开销大）。因此，亟需一种能在训练过程中自动根据集成方差信号实时调整正则化强度、同时保持多样性的框架。该论文发表在《Electronics》。

**主要技术方法**

研究人员提出了SelfReg-Ensemble框架，包含三个核心模块：(1) 方差监控模块（Variance Monitoring Module, VMM），通过指数移动平均（EMA）实时跟踪每个训练小批次中所有基础学习器（K个梯度提升决策树，如XGBoost v2.0.3）预测输出的方差，并计算归一化方差指数（NVI）；(2) 自正则化控制器（Self-Regularization Controller, SRC），利用Sigmoid有界函数将NVI映射为自适应正则化系数λ_t，该系数在[λ_min, λ_max]范围内，并且严格单调递增，然后通过弹性网络惩罚（L1/L2混合）作用于每个基础学习器的训练目标；(3) 多样性保持聚合层（Diversity-Preserving Aggregation Layer, DPAL），基于加权堆叠和熵正则化Softmax投票机制，求解成员权重，防止强正则化下集成坍缩。实验在12个来自医疗、金融和物联网领域的小样本基准数据集（总样本数N<500）上评估，使用嵌套交叉验证（外层5次重复10折，内层5折贝叶斯超参数优化）。所有样本队列来源均为公开基准数据集，具体包括Pima Diabetes、Hepatitis、ECG Arrhythmia、Heart Disease、Banknote Authentication、WDBC、Credit Default等12个数据集。

**研究结果**

**4.1 实验设置**：研究人员在12个基准数据集上评估SelfReg-Ensemble，与10种基线方法（随机森林、XGBoost、LightGBM、CatBoost、标准堆叠、RRMSE投票回归器、DL-Reg、深度集成、TabPFN、子网络集成）对比，采用嵌套交叉验证和严格超参数调优。

**4.2 主要分类结果**：通过AUROC指标对比，SelfReg-Ensemble在12个数据集中的10个上取得最佳性能，平均AUROC比最强基线（XGBoost）高6.8%（p<0.001），比次强基线（子网络集成）高5.2%。在类别不平衡严重的数据集（如Hepatitis、Credit Default）上增益显著。

**4.3 F1分数与精确率-召回率分析**：SelfReg-Ensemble的宏F1分数和PR-AUC也优于所有基线，在Hepatitis数据集上展示了高召回率下的高精确率。

**4.4 训练过程中的方差动态**：通过可视化训练过程中集成方差和自适应正则化系数λ_t的变化，证实VMM→SRC闭环反馈机制：当方差峰值出现时，λ_t在5-10个周期内响应上升，有效抑制方差至理论下限。Granger因果检验确认方差信号对λ_t的预测性（p<0.001）。

**4.5 消融研究**：依次移除VMM、SRC和DPAL，发现SRC贡献最大（+4.3% AUROC），VMM贡献+1.2%，DPAL贡献+2.3%，验证了各组件有效性。

**4.6 预热周期敏感性分析**：通过调整预热步数T_warm，发现推荐公式T_warm = max(10, floor(N_tr/20))在12个数据集上产生最优性能。

**4.7 理论界的经验验证**：方差收敛到理论下限的5%以内，泛化间隙与平均自适应正则化系数呈显著负相关（r=-0.71, p<0.001），支持定理1和定理2。

**4.8 集成大小K的影响**：K=7为最优，K=5适用于内存受限设备，K=10以上无统计显著提升且开销增大。

**4.9 基于SHAP的特征重要性分析**：计算方差分解的SHAP值（Feature Variance Attribution, FVA），发现高FVA特征（如Heart Disease数据集的thalach、oldpeak、ca）是集成分歧的主要来源，FVA与VMM测量的方差显著相关（r=0.71, p<0.001），为数据收集提供指导。

**4.10 计算开销与可扩展性**：VMM+SRC+DPAL的额外训练开销小于3%，峰值内存开销在K=7时为4.49%，适用于资源受限场景。

**4.11 讨论**：SelfReg-Ensemble在类别不平衡和高维小样本场景下优势最大，其反馈机制有效，SHAP分析提供了可解释性。

**4.12 局限性与主张范围**：理论保证仅适用于凸的、基于梯度的学习器，对树模型为定性指导；CatBoost实现中正则化系数更新粒度较粗；SMOTE预处理未专门消融等。

**结论部分翻译**：本文提出了SelfReg-Ensemble框架，一种方差自适应自正则集成学习方法，专门针对实际重要且具有挑战性的小数据情境。关键创新在于闭环反馈系统：通过方差监控模块持续跟踪成员间预测方差，通过自正则化控制器将其转换为自适应正则化系数，并通过多样性保持聚合层构建最终集成预测。理论分析证明了自适应正则化方案下的收敛性、方差降低界和泛化误差改进的形式保证。如第3.6节所述，这些形式保证是针对凸的、基于梯度的学习器证明的，在主要实验使用的树模型上作为定性动机而非严格证明。在12个涵盖医疗、金融和物联网领域的真实基准数据集上，相对于10种有竞争力的基线方法，SelfReg-Ensemble一致且统计显著地取得了改进：平均AUROC提升6.8%，方差降低9.3%，F1分数提升4.1%。未来研究方向包括扩展到流数据、集成方差分解特征重要性指导数据收集、知识蒸馏压缩模型，以及将理论框架适应回归任务。