基于极端学习机的不平衡多标签学习三阶段协同加权方法

《Neurocomputing》：Tri-stage collaborative weighting for imbalanced multi-label learning based on extreme learning machine

　　摘要多标签数据本身存在复杂的类别不平衡问题，这严重影响了多标签学习模型的性能。尽管已经提出了多种解决多标签类别不平衡的学习方法，但很少有研究关注标签先验分布对多标签数据的影响。因此，我们提出了一种新的度量指标——多标签难度等级（ML-HL），用于量化多标签数据中的先验分布信息。接着，我们提出了一种名为TCP-CSELM（三阶段协作个性化成本敏感极值学习机）的新算法。该算法同时考虑了标签先验分布、全局类别不平衡、局部类别不平衡以及标签相关性。具体而言，在第一阶段，它利用ML-HL准确识别在全局类别不平衡情况下次优的标签权重分配；在第二阶段，根据局部不平衡程度调整这些次优权重；最后在第三阶段，通过杰卡德相似度系数来明确建模标签相关性，进一步提升权重分配的质量。TCP-CSELM是一种多标签类别不平衡算法，它不仅考虑标签先验分布，还同时处理全局不平衡、局部不平衡以及标签相关性问题。在12个多标签数据集上的实验结果表明，与现有的其他先进多标签类别不平衡算法相比，该方法在各种评估指标上都具有更优异的表现，同时在计算效率和稳定性方面也具有显著优势。

引言在监督学习中，同时学习多个元素之间的关联现象十分普遍。例如，一部电影可能属于喜剧、浪漫或剧情等多种类型；一张图片可能包含花园、房屋和宠物等多种物体；一种治疗性肽可能具有多种功能；一份报告也可能同时涉及多个问题。这种学习范式被称为多标签学习[1]、[2]。图1展示了多标签学习与传统二元/多类学习，即单标签学习之间的区别。在多标签学习中，每个实例都与多个二元标签相关联，这使得其能够表达比传统单标签学习更为复杂的语义信息。正因如此，多标签学习吸引了大量研究兴趣，已成为机器学习领域的重要研究方向，并在文章分类[3]、[4]、图像分类[5]、[6]、音乐分类[7]、[8]、视频分类[9]、[10]、场景分类[11]、[12]、推荐系统[13]、[14]以及生物信息学[15]等领域有着广泛的应用。然而，由于多标签数据结构更为复杂，多标签学习往往面临比单标签学习更为严重的类别不平衡和标签相关性问题。这些挑战被公认为是多标签学习中的重大障碍[16]、[17]、[18]。

从形式上定义，多标签学习如下：设X= Rd表示d维特征空间，Y={y1, y2,…, yq}表示q维标签空间。那么D={(xi, yi) | i=1, 2, …, n}表示一个包含n个实例的多标签数据集（MLD），其中xi ∈ X表示某个特定的d维特征向量，yi ? Y则表示与该实例xi对应的标签集合。多标签学习模型的目标是构建一个映射函数h: X→2L，尽可能准确地拟合D中的所有实例。对于任何未见过的新实例x? ∈ X，经过训练的函数h可以预测出一组最合适的标签，即h(x?)→y?。

然而，类别不平衡问题的存在会严重影响多标签分类模型h的构建质量。而标签相关性进一步加剧了这一挑战，使得问题比单标签学习更为复杂。这一问题主要体现在三个方面：标签内部不平衡、标签间不平衡以及标签子集不平衡[1]。具体来说，对于任何一个标签lj，负实例的数量往往超过正实例数量，从而导致标签内部不平衡[19]、[20]、[21]，进而影响分类器识别该标签的能力。此外，不同标签之间正实例数量的巨大差异会导致标签间不平衡，使分类器倾向于选择多数类标签[17]、[22]、[23]。最后，由于多标签数据集中标签之间存在相关性，且可能的标签组合数量极为庞大，某些标签组合可能极为罕见甚至不存在，这就出现了标签子集不平衡的问题[16]、[18]、[24]。更正式地，设Rj和R?j分别表示与标签lj相关的实例集合和无关实例集合，Fy#则表示某组标签出现的频率。为简化问题，假设与这些标签相关的正实例始终属于少数类，那么多标签不平衡学习可以表示为：

标签内部不平衡：?j∈{1,2,…,q}, |Rj|?|R?j|
标签间不平衡：?j,o∈{1,2,…,n},|Rj|?|Ro|
标签子集不平衡：?ya#,yb#?Y,Fya#?Fyb#

准确全面地描述多标签数据集有助于量化类别不平衡和标签分布情况，同时也有助于设计和优化多标签不平衡学习模型。由于多标签数据集的复杂性，传统的单标签不平衡学习指标并不适用，因此人们开发了一系列专门的多标签不平衡学习指标。其中，IRLbl（IR）[16]、[25]、不平衡比率（ImR）[26]、[27]、IRLbl的平均值（MeanIR）[16]、[25]以及IR的平均值（MeanImR）[26]、[27]被最为广泛使用。具体而言，IR用于衡量标签间不平衡，其数值是通过最大少数类标签中的正实例数量与其他标签中正实例数量的比值来确定的。而ImR则是通过比较各个标签内正实例与负实例的比例来反映标签内部不平衡的程度。MeanIR和MeanImR则通过计算平均值，分别提供多标签数据集中整体标签间不平衡和标签内部不平衡程度的综合衡量指标。其定义如下：

IRj=|RMax||Rj|
MeanIR=1/q∑j=1qIRj
ImRj=|R?j|/|Rj|
MeanImR=1/q∑j=1qImRj

此外，还有一些常用的简单指标，比如标签基数（Card），用于衡量每个实例平均拥有的标签数量；标签密度（Dens），用于评估标签空间的稀疏程度。这些指标的定义如下：

Card=1/q∑i=1|D||Yi||D|
Dens=Card/q

在过去几十年中，已经有多种专门针对多标签不平衡学习的算法被提出，这些算法通常借鉴了单标签不平衡学习的技术思路，因此也可以分为四类：采样法、成本敏感学习法、阈值调整法和集成学习法。具体而言，采样法是通过改变数据分布来解决多标签不平衡学习问题的，研究人员提出了ML-ROS[16]、ML-SMOTE[28]和MLSOL[24]等算法。根据多标签数据的不平衡程度调整训练权重的成本敏感学习法也是解决多标签不平衡学习问题的重要方法，其中的代表性算法为LW-ELM[29]。此外，CCkEL[30]采用阈值调整策略，通过调整决策阈值来克服多标签不平衡学习问题。另外，还有多种多标签不平衡学习集成学习算法被开发出来，包括COCOA[26]、LDAML[31]、IRUS[32]和ECCRU[33]。然而，现有的大多数算法要么从全局角度，要么从局部角度来解决多标签不平衡学习问题，还有一些甚至忽略了标签相关性。尽管有一些方法部分地采用了这些策略，但它们的效果往往有限，且计算成本极高。本研究不仅同时考虑了这些问题，还通过明确探索、量化并利用多标签数据集的先验分布信息来解决多标签不平衡学习问题。图2展示了12个基准多标签数据集在四个指标——IR、ImR、MeanIR和MeanImR——下的特性分析结果，其中IR和ImR根据类别不平衡程度被分为四类。如图2所示，所有多标签数据集都存在不同程度的不平衡现象，同一数据集内不同标签之间的不平衡程度也存在显著差异。值得注意的是，像genbase这样的数据集不平衡程度很高，MeanIR和MeanImR的值超过了35，而Image、scene和emotions这类数据集的不平衡程度则明显较低。此外，图3还揭示了多标签数据集中存在的标签相关性。由于语义关联常常会引发各种标签关系，如共现、互斥或层次结构等，这些关系都会直接或间接影响模型的泛化能力。

本研究的目的是提出一种新颖且高效的多标签不平衡学习算法，该算法能够利用标签先验分布信息，同时兼顾全局不平衡、局部不平衡以及标签相关性问题。为此，我们首先引入了一种新的度量指标——多标签难度等级（ML-HL），用于量化标签的先验分布情况。在此基础上，我们提出了三阶段协作个性化成本敏感极值学习机（TCP-CSELM）算法。该算法通过调整极值学习机的期望输出矩阵来实现成本敏感学习，并通过三个阶段逐步为每个实例确定个性化的标签权重。具体而言，在第一阶段，基于ML-HL从全局不平衡的角度识别出需要重新优化标签权重的实例；第二阶段则根据局部不平衡程度来确定优化的范围；最后在第三阶段，通过利用杰卡德相似度计算出的强关联标签来进一步优化这些权重。该算法在12个基准多标签数据集上进行了测试，实验结果表明，TCP-CSELM算法的性能优于多种现有的先进多标签不平衡学习算法。此外，与其他同时考虑类别不平衡和标签相关性的算法相比，TCP-CSELM的训练速度更快，体现了其较高的计算效率。除此之外，本研究还进行了统计分析、超参数讨论、消融实验以及敏感性分析，以验证所提算法的稳定性和有效性。总之，本研究的主要贡献如下：
(1) 我们提出了一种新的度量指标——多标签难度等级（ML-HL），用于量化标签的先验分布。ML-HL能够识别出每个实例中难以学习的标签，从而揭示出多标签数据集中可能存在的关键区域。
(2) 我们提出了TCP-CSELM算法，这是一种结合了标签先验分布信息的多标签不平衡学习算法，同时也是一种能够同时考虑全局不平衡、局部不平衡以及标签相关性的成本敏感学习方法。
(3) 我们进行了大量的实验，包括对比研究、消融实验、超参数讨论以及敏感性分析，以验证所提策略的有效性。实验表明，TCP-CSELM在各项性能指标上都优于多种现有的先进算法，同时还保持了较低的时间复杂度。

本文的结构如下：第2节简要概述了各种不平衡多标签学习算法；第3节详细介绍了ML-HL度量指标和TCP-CSELM算法的实现过程；第4节展示了数据集、实验设置、结果、讨论及分析内容；最后第5节总结了研究结果和创新贡献，并提出了未来研究的潜在方向。

相关工作传统的多标签学习算法通常分为两类：问题转换法和算法适配法。前者旨在将多标签数据集转换为适合现有单标签算法的形式，而后者则是对算法进行改进，使其能够直接处理多标签数据集[34]、[35]。类似地，多标签不平衡学习算法也通常根据其技术策略被分为采样法、成本敏感学习法、阈值调整法和集成学习法等。采样法是通过调整数据……

方法本节首先简要介绍成本敏感极值学习机的理论和方法，接着介绍多标签难度等级和局部类别不平衡的概念，最后详细阐述所提出的TCP-CSELM算法。

数据集描述为了验证所提算法的有效性，我们在12个基准多标签类别不平衡数据集上进行了实验。这些数据集来源于Mulan工具箱[47]、MLC工具箱[48]以及一个工业数据集XJTU-SY[49]。这些数据集的标签数量范围为5–27个（q），特征数量范围为19–1185个（d），实例数量范围为194–10,166个（n）。实验中使用的多标签数据集的详细信息汇总在表2中。

实验设置为了评估所提出的TCP-CSELM算法的效能和优势，我们……

结论性意见在本研究中，我们提出了一种用于评估多标签不平衡学习任务中标签先验分布的新指标——多标签难度等级（ML-HL）。基于这一指标，我们引入了一种名为TCP-CSELM的多标签不平衡学习算法，即三阶段协作个性化成本敏感极值学习机。该方法同时考虑了多标签不平衡学习中的四个重要方面：标签先验分布、全局类别不平衡、局部类别不平衡以及标签相关性。具体而言，在第一阶段，通过ML-HL……

CRediT作者贡献声明杨西北：撰写——审稿与编辑、资源准备、资金获取。何万秋：撰写——初稿、软件使用、方法设计、形式分析、数据整理。王颖：验证、方法设计。段继聪：撰写——初稿、调研、形式分析、数据整理。徐森：撰写——审稿与编辑、资源准备、资金获取。余华龙：撰写——审稿与编辑、项目管理、资金获取、概念构思。

利益冲突声明作者声明自己没有已知的、可能影响本文研究结果的财务利益或个人关系。

致谢本研究部分得到了国家自然科学基金的支持，资助编号分别为62176107、62076215和62076111。段继聪于2023年在江苏科技大学获得电子信息专业硕士学位，2024年起成为该校系统科学专业的博士生。他在多本专业期刊和会议上发表了多篇学术论文，其中包括《专家系统及其应用》和《人工智能的工程应用》等。他的研究兴趣包括类别不平衡学习、多标签问题等。段继聪|何万秋|王颖|杨西北|徐森|余华龙，中国江苏省镇江市212100，江苏科技大学自动化学院