面向标签噪声下鲁棒学习的类别感知集成重加权

《Neurocomputing》：Class-aware ensemble reweighting for robust learning under label noise

　　

摘要
传统的提升算法（如 AdaBoost 和梯度提升决策树（GBDT））为每个基础学习器分配一个标量权重，假设其在所有类别上具有一致的判别能力。这种全局权重方案在噪声分类场景下变得存在问题，尤其是在正向激励噪声下。为了解决这些局限性，我们提出了一种新型的事后优化框架，用类感知权重矩阵替代标量权重。我们的方法引入了细粒度的、特定类别的权重，使得每个基础学习器能够对不同类别产生差异化的贡献。该框架在集成训练之后运行，无需修改原始提升过程，并使用带 L1 正则化的基于梯度的方法优化权重矩阵以实现稀疏性。在十五个基准数据集上的广泛实验表明，我们的类感知 AdaBoost (CA-AdaBoost) 和类感知 GBDT (CA-GBDT) 方法优于传统的提升算法，尤其是在噪声环境中。所提出的方法在分类精度、收敛效率和噪声鲁棒性方面取得了显著改进，同时通过稀疏权重模式保持了可解释性。

引言
集成学习已确立为机器学习中的基本范式，以其通过将多个基础模型有效结合成连贯的决策框架来实现优越预测性能的能力而闻名 [1]。从基础学习器组织的角度来看，经典的集成方法大致可分为 Bagging [2]、Boosting [3] 和 Stacking [4]，各自具有独特的优势 [5]。这些范式在计算机视觉 [6]、医疗保健 [7] 和金融 [8] 等多个领域都展现了显著的成功。集成方法的理论基础在于通过模型多样性降低方差、最小化偏差和改进泛化能力的原则。早期的开创性工作为提升算法奠定了基础 [9]，随后通过 AdaBoost [10] 和 Gradient Boosting [11] 及其众多变体的开发得到了完善。这些方法迭代地组合弱学习器形成强大的复合模型，每个基础分类器都被分配一个标量权重，以反映其对最终预测的整体贡献。集成方法的经验性成功已在比较研究 [12] 和实际应用 [13] 中得到广泛记录，从而巩固了其作为预测建模中最强大和最广泛采用的方法之一的地位。

尽管它们在清洁学习环境中表现出色，但传统的提升算法对标签噪声表现出显著的脆弱性 [14]。提升算法的串行特性使其特别容易受到噪声影响，因为错误标记的实例会在后续迭代中获得越来越多的关注，从而导致过拟合和性能下降 [15]。这种敏感性促使了对噪声鲁棒集成学习的大量研究，调查显示，传统提升中的全局权重机制未能考虑基础学习器在不同类别上可靠性的变化 [16]。在噪声多分类场景中，特别是那些具有类别不平衡和复杂误差特征的场景 [17]，基础学习器能力均匀的假设变得尤其有问题。系统性错误标记模式的存在，包括不对称噪声和实例相关噪声 [18]，进一步加剧了这些挑战，需要专门的方法来进行鲁棒的集成构建。

关于噪声鲁棒集成方法的研究沿着几个互补的轨迹发展，每个轨迹解决噪声鲁棒性挑战的不同方面。一个突出的方向专注于抗噪声损失函数和优化标准，包括包含噪声感知误分类成本的 AdaBoost 鲁棒变体 [19] 和具有鲁棒散度度量的梯度提升实现 [20]。另一个重要方法涉及实例权重和过滤策略，在训练期间识别并降低潜在噪声示例的权重 [21]。数据清洗方法 [22] 和集成修剪技术 [23] 代表了减轻噪声敏感性的额外策略。最近，基于噪声特性自适应调整学习参数的元学习方法以及深度集成方法显示出前景 [24], [25]。这些不同的方法论有一个共同的目标，即在存在标签噪声的情况下保持集成性能。

虽然现有的噪声鲁棒集成方法有效解决了传统标签噪声问题，但它们在处理正向激励噪声方面存在关键局限性——这是一种特定形式的系统性错误标记，其中某些错误预测在训练过程中得到持续强化 [26]。与随机或对称噪声不同，正向激励噪声与真实标签表现出非零互信息，并倾向于降低经验任务熵，从而在学习过程中引入结构化偏差。传统方法通常对所有噪声实例进行统一处理，要么通过全局抑制机制，要么完全排除疑似损坏的样本。这种粗略的处理未能区分真正有害的错误标记和结构化噪声模式，后者如果通过每个类别的可靠性模型正确解释，可能仍包含有用的判别信号 [27]。根本原因在于传统集成的标量权重范式，其中每个基础学习器被分配一个控制其对所有类别影响的单一全局权重。这种一维方案阻止了对在特定类别上表现优异但在其他类别上表现不佳的学习器的选择性利用，最终丢弃了嵌入在其异构预测行为中的有价值信息。因此，仍然存在一个重大机会来开发能够在结构化噪声下基于特定类别的可靠性差异化调节基础学习器贡献的集成框架。

为了解决这一根本局限性，我们提出了一种新型的事后训练优化框架，通过对基础学习器贡献进行细粒度的、特定类别的调节来重新构想集成权重。我们的方法引入了一种可学习的特定类别权重矩阵，用 K×T 维参数空间替代传统的标量权重，其中每个元素 wkt 精确控制第 t 个基础学习器对第 k 类预测的影响。这种设计使得能够选择性地放大对那些特定类别表现出专门判别能力的基础学习器，同时抑制那些在特定分类上下文下表现不可靠的学习器。该框架纳入了兼容 AdaBoost 和梯度提升决策树 (GBDT) 的统一可微公式，便于使用如 Adam 等先进的基于梯度的算法对完整权重矩阵进行全局优化。策略性设计的 L1 正则化项在权重矩阵中引入稀疏性，自动识别和修剪不可靠的基础学习器 - 类别关联，同时增强模型的可解释性。至关重要的是，我们的方法作为一种应用于标准集成训练后的后处理增强而运行，无需修改原始提升过程，并保持与 XGBoost [28] 和 LightGBM [29] 等流行实现的兼容性。与现有的噪声鲁棒集成技术相比，我们的方法能够基于结构化噪声下每个类别的可靠性选择性地重新加权基础学习器，从而通过其稀疏、可解释的权重结构带来改进的鲁棒性、更好的专用学习器利用率和更高的透明度。

这项工作的主要贡献总结如下：
•我们引入了一种新型的每类别权重方案，用特定类别的向量替代每个基础学习器的标量权重。这使得集成能够基于每个类别的可靠性选择性地依赖学习器，尤其是在正向激励噪声等结构化标签噪声下。
•我们提出了一种统一的事后优化框架，在固定基础学习器的情况下重新优化集成权重。该框架兼容 AdaBoost 和 GBDT，可以使用标准的基于梯度的优化器高效求解。
•我们将 L1 正则化纳入优化目标，以在权重矩阵中引入稀疏性，这通过促进对可靠的基础学习器 - 类别关联的选择性依赖，提高对标签噪声的鲁棒性和模型的可解释性。

部分片段
集成学习
集成学习代表了一种强大的机器学习范式，它结合多个基础模型以实现相比单个模型更优越的预测性能 [30]。集成方法的基本前提是，通过聚合多样且准确的基础学习器，生成的复合模型可以降低方差、最小化偏差并改进泛化能力 [31]。在各种集成策略中，提升算法由于

问题表述与符号
我们考虑一个具有 K 个类别的多分类问题，以及一个训练数据集 D={(xi,yi)}i=1n，其中每个输入 xi∈Rd 与一个离散标签 yi∈{1,2,…,K} 相关联。设 T 表示集成模型中基础学习器的数量。第 t 个基础学习器对实例 x 的预测表示为 ht(x)∈{1,…,K}。
在诸如 AdaBoost 等经典提升框架中，集成预测器通常被表述为基础学习器的加权和。
F(x)=∑t=1Tαt??(ht(x))，其中 αt∈R 表示

实验设置
我们将提出的类感知 AdaBoost (CA-AdaBoost) 和类感知 GBDT (CA-GBDT) 框架与五个基准进行对比：标准 AdaBoost、随机子采样 AdaBoost (AdaBoost-R)、标准 GBDT、XGBoost 和 LightGBM。为确保公平比较，所有实验遵循一致的协议，在所有方法中使用相同数据划分的 5 折交叉验证。对于提升算法，我们使用决策树作为基础学习器。我们的正则化参数 λ

结论
这项工作提出了一种用于提升集成的新型事后优化框架，用类感知权重矩阵替代传统的标量权重。与统一对待所有类别的单个标量权重不同，我们的类感知权重显式地建模了每个类别的可靠性。这直接解决了传统提升无法处理基础学习器在不同类别上异构性能的核心局限性，并且有效减轻了正向

CRediT 作者贡献声明
郭军彬：概念化。郭震浩：写作 – 原稿，可视化，软件，概念化。李志勇：软件。何关雄：软件，概念化。

竞争利益声明
作者声明，他们没有已知的竞争经济利益或个人关系可能影响本文报告的工作。

郭军彬于 2002 年、2005 年和 2009 年获得中国西安火箭工程大学学士学位、工程硕士学位和博士学位。他现在是火箭工程大学的副教授。他目前的兴趣包括图像处理与机器学习。

郭军彬 | 郭震浩 | 李志勇 | 何关雄
中国陕西西安 710025 火箭工程大学