一种用于多标签类增量学习的负锚点自重标策略

《Neurocomputing》：A negative-anchored self-relabeling strategy for multi-label class-incremental learning

　　杜凯乐|谢俊州|吕凡|周一帆|叶子涵|刘光灿
中国南京东南大学自动化学院

摘要
多标签类增量学习（MLCIL）因其在实际应用中的可行性以及较低的标注成本而近年来受到广泛关注。现有的MLCIL方法依赖于有限的蒸馏框架来完成标签补充，以此避免灾难性遗忘问题；然而我们发现，由此产生的伪标签过于偏向正面，导致大量误报的产生，进而削弱了对灾难性遗忘的抑制效果。为解决这一问题，我们探讨了MLCIL框架本身是否能为识别可靠的负标签提供结构化线索。基于这一探索，我们提出了负锚定自重标策略（NASR）。NASR利用MLCIL中固有的结构化线索，将跨任务标签锚定在零值，使得网络在训练过程中能够自主区分真实负标签与虚假负标签。随后，NASR根据模型识别跨任务负标签的能力生成过滤机制，从而使网络能够在保留知识的同时自动过滤潜在的误报标签，进而缓解灾难性遗忘问题。在PASCAL VOC和MS-COCO数据集上的大量实验表明，引入NASR模块显著提升了各类现有类增量学习方法的性能。

引言
类增量学习（CIL）[1]、[2]、[3]、[4]使模型能够逐步学习新类别，同时保留之前学到的知识。大多数现有的CIL方法[5]、[6]、[7]、[8]都基于单标签假设，即每个样本仅被标注一个类别，其余所有类别都被视为负标签。然而，在现实场景中这一假设往往不成立，因为样本通常包含多个共现的对象。例如，一张牧羊犬放羊的图片就涉及多个相关类别。为了更好地反映这类情况，多标签类增量学习（MLCIL）采用了一种更为通用的设定，即每个样本可以有多个正标签。在MLCIL中，只有当前任务的标签会被提供，而过去和未来任务的类别虽然可能存在于数据中，但仍然保持未标注状态。如图1所示，任务2中的一张训练图像包含了“猫”“人”和“狗”这三个标签，但实际上只有当前任务“人”的标签被标注出来，而过去任务“猫”和未来任务“狗”的标签则未被标注。这就是所谓的任务级部分标签问题[9]。MLCIL中的任务级部分标签问题会导致严重的信息丢失，因为只有当前任务的标签可用，而跨任务标签缺失，最终引发灾难性遗忘[10]。另一方面，这些缺失的跨任务标签不能简单地被视为负标签，因为当前任务的训练图像仍可能包含属于过去或未来任务的物体。从优化角度来看，将缺失的标签视为负标签意味着在当前迭代的损失函数中给它分配0的目标值，这会迫使模型降低对该类别的反应强度。而如果该缺失标签实际上是正标签，就会导致错误的负监督，逐渐侵蚀旧类别的知识，进而造成跨任务遗忘。为弥补这一问题，一些最新方法[2]、[9]、[11]采用了两阶段策略：首先利用先前训练好的模型的预测为历史类别生成伪标签，然后通过知识蒸馏（KD）将这些标签纳入其中，以保留跨任务的多标签信息。虽然这种方法有助于缓解灾难性遗忘，但它存在一个关键缺陷，即缺乏可靠的负标签。理想的可靠伪标签应该对真正的正类别赋予高置信度，而对真正的负类别赋予低置信度。在多标签学习中，给定样本的大多数标签都是负标签[12]，因此可靠的伪标签应提供充足的负监督。结果就是，许多真正的负类别在训练过程中无法获得足够强的负监督，这使得模型无法充分学习负类别的边界，容易将不存在的类别误判为正类别，从而导致较高的误报率。如图2所示，基于KD的标签补全方法（蓝色曲线）相比基础方法（紫色曲线）有了一定提升，但与完全标注情况下的上限曲线（黄色曲线）相比仍存在较大差距，后者假设没有遗忘现象发生。蓝色柱状图显示，误报会在不同任务之间不断积累，从而削弱对灾难性遗忘的抑制效果。要解决这一问题，就需要在缺乏真实标签监督的情况下，找到更好的机制来识别可靠的负标签。

为解决不可靠伪标签导致的误报累积问题，我们探讨了MLCIL框架本身是否能为识别可靠的负标签提供结构化线索。通过实证分析，我们发现了一个一致的现象：当跨任务标签被明确锚定在零值时，网络在训练过程中能够更有效地区分真实负标签与虚假负标签。这一观察结果促使我们设计了负锚定自重标策略（NASR）。具体而言，在MLCIL中，某一任务对应的图像很少包含其他任务的正标签。利用这一点，我们将所有跨任务标签锚定在零值，并监测它们的损失变化情况。此时会出现明显的分离现象：真实负标签的损失会迅速降至较低水平，而虚假负标签的损失则在整个训练过程中始终处于较高水平。这种稳定的损失差异为模型提供了内在信号，使其能够可靠地识别负标签，从而抵消伪标签带来的过度正偏。

基于这一洞察，NASR引入了一种机制，能够根据负标签的损失模式自适应地筛选真实负标签。最后，它通过从之前的网络中选择性地提取有用预测，来完成剩余的标签空间，进而缓解灾难性遗忘问题。与其他MLCIL方法相比，NASR既简单又高效。在PASCAL VOC和MS-COCO数据集上的大量实验表明，将NASR模块加入不同方法中，都能显著提升其性能。

我们的贡献主要有三方面：
• 我们重新审视了MLCIL中基于伪标签的标签补全方法，并分析了为何误报会在不同任务之间不断累积。我们指出，根本问题在于缺乏可靠的负标签监督：现有的伪标签往往对负类别的区分能力不足，导致负类别的边界无法得到充分学习，进而造成高误报率。
• 我们为MLCIL提出了负锚定自重标策略（NASR）。据我们所知，NASR是首个通过补充可靠的跨任务负标签，来显式补偿MLCIL中负标签学习的算法。具体而言，NASR引入了负锚定机制以及自适应过滤机制，能够根据负标签的损失行为识别出可能是虚假负标签的那些标签，从而在排除噪声监督的同时保留可靠的负标签。
• NASR与大多数现有的MLCIL方法相互独立，可以轻松集成到这些方法中。通过提高跨任务监督的可靠性，它能够持续抑制误报的累积，进而提升增量学习的性能。

片段摘录
单标签类增量学习
近年来，单标签类增量学习（SLCIL）领域取得了显著进展。SLCIL旨在在保留已有知识的前提下逐步学习新类别。现有的方法大致可分为基于正则化的、基于重放的以及基于提示的方法三类。基于正则化的方法[10]、[13]、[14]、[15]、[16]、[17]在训练过程中引入额外的约束条件，以平衡过去任务和当前任务的学习进度，通常需要冻结旧模型的副本。

问题定义
遵循之前的MLCIL研究[2]、[9]、[11]，假设有T个多标签学习任务，相应的训练集记为{Dtrn1,…,DtrnT}，测试集记为{Dtst1,…,DtstT}。对于每一个增量状态t，训练数据集定义为Dtrnt。设Ct表示任务t中新增的类别集合，而过去的类别集合则表示为C1:t?1=?i=1t?1Ci。那么到任务t为止的所有类别集合可表示为C1:t=C1:t?1∪Ct，且满足C1:t?1∩Ct=?的条件。

实验设置
数据集。我们采用KRT [11]和CSC [9]提供的实验框架，使用MS-COCO 2014 [37]和PASCAL VOC 2007 [38]数据集来验证我们的方法。MS-COCO是多标签分类领域的知名基准数据集，包含82,081张训练图像和40,504张验证图像，涵盖80个类别，平均每张图像有2.9个标签。PASCAL VOC 2007包含20个类别，共有5011张训练图像和4952张测试图像，平均每张图像有2.4个标签。

算法1 MLCIL的NASR策略

评估指标。参照[2]、[9]、[11]的研究，我们采用了……

结论
在本文中，我们研究了跨任务标签补全方法，以此解决MLCIL中的任务级部分标签问题。我们分析了基于KD的伪标签生成方法的局限性，发现该方法会产生过度自信的预测，从而导致误报的累积。为解决这一问题，我们提出了NASR方法，该方法利用了MLCIL中标签稀疏性的结构特征。通过将跨任务标签锚定在零值，NASR利用真实负标签与虚假负标签之间的显著损失差异，从而实现……

CRediT作者贡献说明
杜凯乐：写作——审阅与编辑、写作——初稿撰写、验证、项目管理、方法设计、资金申请、概念构思。谢俊州：写作——初稿撰写、可视化、验证、方法设计、研究分析。吕凡：写作——审阅与编辑、验证、资金申请。周一帆：写作——审阅与编辑、可视化、验证、软件开发。叶子涵：形式化分析。刘光灿：写作——审阅与编辑、验证、监督、资金支持。

利益冲突声明
作者声明存在以下可能构成利益冲突的财务利益/个人关系：作者与华南理工大学存在潜在的利益冲突，因此请求排除该机构的审稿人参与评审，以确保评价的公正性。其他作者则声明自己不存在任何已知的可能构成利益冲突的财务利益或个人关系。

致谢
本研究部分得到了国家自然科学基金（NSFC）（编号U21B2027、62406323、62476189）、东南大学博士生创新能力提升计划（编号CXJH_SEU 25126）、中国博士后科学基金会博士后 fellowship项目（编号GZC20232993）、中国博士后科学基金会（编号2024M753496）以及东南大学启动研究基金（编号RF1028623006）的支持。杜凯乐目前在中国东南大学自动化学院攻读博士学位。他已在《IEEE多媒体汇刊》《IEEE地球科学与遥感汇刊》《模式识别》《数学杂志》、ECCV、AAAI和ICME等国际期刊和会议上发表多篇学术论文。他的研究兴趣包括类增量学习、多标签学习、图表示学习等领域。