基于聚类和局部集成的鲁棒多任务提升方法

《Neurocomputing》：Robust multi-task boosting using clustering and local ensembling

　　

多任务学习（Multi-Task Learning, MTL）旨在通过跨任务共享信息来提升预测性能，然而，当不相关或嘈杂的任务被强制共享表征时，传统方法常常遭受负迁移（negative transfer）。研究人员提出了基于聚类和局部集成的鲁棒多任务提升方法（Robust Multi-Task Boosting using Clustering and Local Ensembling, RMB-CLE），这是一个原则性的多任务学习框架，它整合了基于误差的任务聚类与局部集成。与先前假设固定聚类或手工设计相似性度量的工作不同，RMB-CLE直接从跨任务误差中推导出任务间相似性，这允许从功能失配和不确定性的角度对跨任务风险进行原则性刻画，为防止负迁移提供了理论依据。任务通过凝聚聚类进行自适应分组，并且在每个聚类内，局部集成能够实现鲁棒的知识共享，同时保留任务特定的模式。实验表明，RMB-CLE在合成数据中恢复了真实聚类，并且在多样化的合成和真实世界表格数据基准测试中，持续优于多任务、单任务以及基于池化的集成方法。这些结果表明，RMB-CLE为在结构化表格数据集上进行鲁棒的多任务学习提供了一个有效的基于提升的框架，其中任务异质性和负迁移是核心挑战。

本研究发表在《Neurocomputing》期刊上，旨在解决多任务学习（MTL）中的一个核心挑战：如何在存在任务异质性和负迁移风险的情况下，有效地进行知识共享以提升预测性能。传统多任务学习方法，如硬参数共享，假设所有任务共享一个共同表征，但当任务间相关性不足时，这种强制共享可能导致负迁移，即不相关任务的知识共享反而损害整体性能。此外，现有的基于梯度提升（Gradient Boosting, GB）的多任务扩展方法，如多任务梯度提升（MTGB）及其鲁棒扩展（R-MTGB），要么假设所有任务对共享结构贡献均等（对异常任务敏感），要么仅将任务划分为异常和非异常两类（无法处理复杂的多聚类结构）。因此，当前研究领域缺乏一个能够自适应发现多个潜在任务组、并仅在功能一致的组内进行选择性知识共享的鲁棒框架。

为了解决上述问题，研究人员提出了RMB-CLE框架。该框架的核心思想是基于跨任务泛化误差来定义任务相似性，从而为任务兼容性提供原则性度量。其技术方法主要包括三个关键步骤：首先，通过评估在一个任务上训练的模型在另一个任务上的泛化误差，构建任务间的相似性矩阵，该误差反映了任务间的功能匹配程度而非任务固有难度。其次，利用凝聚聚类（如平均链接法）对任务进行自适应分组，并通过轮廓系数自动选择最优聚类数量，无需预定义或依赖元数据。最后，在每个识别出的任务聚类内，独立训练一个局部集成模型（如使用轻量梯度提升机，LightGBM），实现组内知识共享，同时隔离不相关的任务。该方法在多个合成与真实世界表格数据集上进行了验证。

研究结果部分，通过多个实验验证了RMB-CLE的有效性。在“合成结果”部分，研究人员在具有已知真实聚类结构的合成数据上进行了测试。结果显示，RMB-CLE-via-LGBM在分类（准确率、召回率）和回归（均方根误差RMSE、平均绝对误差MAE）任务上均取得了最佳性能，其表现与已知真实聚类的“Oracle”基线方法完全一致，表明该框架能够准确地从跨任务误差中恢复潜在的任务结构。同时，RMB-CLE显著优于单任务学习（ST-LGBM, ST-GB）、数据池化（DP）、任务作为特征（TaF）以及现有的多任务提升方法（MTGB, R-MTGB）。德姆沙尔（Dem?ar）排名图进一步证实，RMB-CLE在任务级别的平均排名最优，且与多数基线方法存在统计显著性差异。在“聚类稳定性分析”中，热图可视化表明，RMB-CLE推断出的任务聚类在多次独立运行中高度稳定，任务被一致地分配到同一聚类。相比之下，R-MTGB中基于sigmoid的权重机制在面临多聚类结构时表现出高度不稳定性和不一致性，无法形成有意义的任务划分。在“真实世界结果”部分，研究在多个真实表格数据集（如Adult、Avila、SARCOS等）上评估了模型。结果表明，RMB-CLE-via-LGBM在大多数分类和回归数据集上取得了最低的误差或最高的准确率/召回率，尤其是在任务数量多或异质性强的数据集（如SARCOS）上优势明显。尽管在Parkinson数据集上单任务梯度提升（ST-GB）取得了略微更优的结果，但RMB-CLE的整体表现稳健且领先。德姆沙尔排名图再次确认了RMB-CLE在真实数据任务上的优越平均排名。

在讨论与结论部分，研究人员总结了RMB-CLE的主要贡献。该方法从方法论上通过整合三个组件——基于跨任务误差的功能相似性估计、无监督的潜在任务聚类发现、以及聚类特定的集成学习——系统地处理了负迁移问题，超越了传统的二元异常值处理范式。理论分析表明，跨任务泛化误差为任务兼容性提供了合理度量：在回归中，它可分解为功能失配项和不可约噪声项；在分类中，它为模型跨任务转移导致的超额风险提供了上界。广泛的实证结果证实，RMB-CLE在合成和真实世界结构化表格数据基准测试中，能够一致地提升预测性能，可靠地恢复真实任务聚类，并优于所比较的单任务学习、朴素池化及现有基于提升的多任务基线。文末也指出了该框架的局限性，例如其训练复杂度与任务数量呈二次方关系，且假设所有任务具有相同的输入维度。未来的工作方向包括开发更可扩展的近似方法、处理任务维度异质性，以及考虑任务难度对跨任务相似性估计进行细化。