主动遗忘与选择性标记在多任务学习中的应用

《Neurocomputing》：Active forgetting with selective labeling for multi-task learning

　　李智浩 | 金恩宇
韩国首尔东Jak区Heukseok-ro 84号，忠?大学计算机科学与工程学院，邮编06974

**摘要**
构建数据集是学习过程中不可或缺的步骤。在多任务学习中，这一过程变得越来越复杂且成本高昂，常常导致标签分配不准确以及性能下降。然而，现有研究往往忽视了生成注释的价值，继续使用随意或意义不大的样本来扩展数据集。为了高效分配数据，丢弃之前获取的较无用数据并优先考虑新的有价值数据是必要的。此外，在多任务学习中，需要按任务类型来处理数据，因为某些样本对特定任务的帮助可能较小。为了解决这个问题，我们提出了一种基于选择性标注的多任务学习主动遗忘框架。该框架旨在通过识别并移除无用的任务样本，来构建由最有价值数据组成的数据集。为了评估数据的影响并遗忘价值较低的数据，我们引入了一种多任务遗忘策略，该策略利用任务间和任务内的依赖性来优先处理高度相关的数据。在各种数据预算下的广泛实验结果表明，与现有的主动学习方法相比，我们的方法表现出色，有效降低了注释成本。

**引言**
多任务学习已成为现实世界应用中的关键策略，它在跨任务泛化性能方面表现出优势[1]、[2]。它通过联合学习各个任务来利用任务间的共享知识，并通过统一的多任务模型实现参数效率，优于多个单独的模型[3]。然而，与单任务学习相比，构建多任务学习的数据集成本更高且更容易出错，这主要是由于任务数量增加以及需要人类专家的参与。特别是对于密集场景理解任务（如语义分割[4]、表面法线预测[5]和深度预测[6]），通常需要像素级别的注释，并且需要确保注释的准确性，从而导致较高的标注成本。此外，不同任务的标注工作量也存在显著差异[12]。高昂的标注成本常常导致标签分配不准确，包括缺失、噪声或错误的标签[7]、[8]。如图1所示，广泛用于密集场景理解的多任务学习数据集NYUv2[4]和PASCAL-Context[5]包含既有信息量丰富的任务（NYUv2中的第三张图像的语义分割任务和第二张图像的深度任务），也有信息量较少的任务（PASCAL-Context中的第一张和第二张图像的语义分割、人体解析和对象边界任务）。这可能会阻碍模型利用更多有价值数据来提高性能[9]、[10]。因此，通过评估生成注释的效用来识别有用数据以构建最优数据集对于防止性能下降至关重要，尤其是在多任务学习中。

为了选择有价值的数据，提出了主动学习方法[11]。该方法在训练过程中逐步获取有用的样本并进行标注，如图2(a)所示。然而，这些方法仅关注于数据的积累和扩展，而没有评估生成注释的有效性，因为没有机制在标注步骤之后验证标签的效用。这可能导致数据分配效率低下，保留了较无用的数据而不是更有价值的数据。相反，数据集剪枝旨在通过从完全标注的数据集中移除信息量较小的样本来提高数据效率[12]。然而，这些方法是在标注和训练完成后才应用的，因此需要大量的标注成本，且仅关注数据选择而不涉及知识遗忘。此外，也有选择性遗忘的研究[13]、[14]，但这些研究通常假设要移除的数据已经确定，并且只关注遗忘它们的影响，而没有解决数据选择的问题。因此，我们在多任务学习的背景下，根据生成注释的影响，逐步构建由最有用数据样本组成的数据集，同时丢弃竞争力较弱的数据样本。

此外，我们还进行了初步研究，评估了完全标注或选择性标注（基于重要性）对样本的影响，比较了使用不同标注策略训练的方法的性能，如第3.1节所述。研究结果表明，多任务学习中常用的方法（对所有任务进行全面标注）的性能不如选择性标注方法。基于这一发现，我们提出了一种任务选择性标注策略。

在本文中，我们提出了一种新的框架——主动遗忘框架，采用选择性标注策略。如图2(b)所示，我们设计的该方法通过移除和遗忘信息量较小的数据来构建由最有价值数据组成的数据集，从而有助于发现新的有价值数据样本。给定已标注的数据集，所提出的主动遗忘包括以下三个步骤：1）识别其无用的子集；2）从给定数据集中移除该子集；3）遗忘当前模型中相关的知识。为了识别和遗忘无用数据，我们引入了一种基于机器遗忘策略的多任务遗忘方法[15]，该方法利用多任务学习中的两个关键方面：任务间和任务内依赖性。该方法通过步骤1）估计数据的影响来识别价值较低的数据，即测量数据被遗忘前后模型性能的变化。如果一个被遗忘的样本能够提升模型性能，那么该数据可能对模型训练的贡献较小，因此将被移除。所提出的遗忘方法在步骤2)和3)中消除了与信息量较少数据相关的知识，同时利用了剩余数据中的任务间和任务内依赖性。通过这种方式，我们的方法结合了选择性标注、数据移除和知识遗忘，而不是像之前的研究[11]、[12]、[13]、[14]那样将它们视为独立的步骤。

我们在三个流行的多任务学习数据集NYUv2[4]、PASCAL-Context[5]和Tiny-Taskonomy[6]上评估了所提出的主动遗忘方法的有效性。我们采用所提出的和现有的标注策略[16]、[17]、多任务学习方法[11]、[18]、[19]、[20]以及数据集剪枝方法[21]、[22]、[23]，在各种受限的数据预算下进行了全面研究。实验结果表明，我们的方法始终优于竞争方法，分别使NYUv2、PASCAL-Context和Tiny-Taskonomy的多任务性能提高了7.8%、2.8%和13.1%。所提出方法的贡献体现在三个方面：
- 我们提出了一种用于多任务学习的主动遗忘框架，通过选择性标注来识别价值较低的数据并消除相关知识，优化了数据预算的分配。
- 我们引入了一种多任务遗忘方法，该方法利用任务间和任务内依赖性来评估数据的影响并遗忘无用数据的知识。
- 广泛的实验提供了关于数据选择和标注策略的全面分析，表明该提案在所有场景中的平均性能提升达到了7.6%。

**相关工作**
主动学习逐步选择和标注有用的样本以训练模型，同时减少标注工作量[11]。它在未标注的数据集中识别有用数据，并请求人类专家进行标注。然后，将这些数据添加到现有的训练数据集中，直到训练数据预算耗尽或达到所需的性能。大多数研究关注单任务学习问题，通过区分有效数据和不确定数据[18]或多样性数据[19]。

**所提出的方法**
我们解决了多任务学习中的一对多预测场景，例如密集场景理解[4]、[5]、[6]，其中一张图像（输入）可以与多个任务（输出）相关联。标注的数据集定义为，其中表示第i个输入图像的数据样本对，以及第i个任务的标签。和分别表示图像和任务的数量，其中每张图像至少有一个被标注的任务。注意，最多可以为，但实际上通常会少于。

**数据集设置**
我们在三个流行的基准数据集NYUv2[4]、PASCAL-Context[5]和Tiny-Taskonomy[6]上进行了多任务学习实验。这些数据集由于传感器限制、人工标注难度或伪标签生成等原因，天然包含缺失、模糊或噪声注释，从而为在不完美注释的情况下评估我们方法的有效性提供了现实的多任务环境。NYUv2是一个相对小规模的数据集（795个训练样本）。

**结论**
在这项工作中，我们提出了一种基于选择性任务级标注的多任务学习主动遗忘框架。为了在预算限制下获得最有用的数据集，我们采用多任务机器遗忘方法消除了信息量较小的数据。多任务遗忘方法用于估计数据对模型的影响，并通过利用两种多任务依赖性来遗忘无用数据的知识。所提出的主动遗忘方法表现出色。

**作者贡献声明**
李智浩：撰写——审稿与编辑、原始草稿撰写、可视化、验证、方法论、概念化。
金恩宇：撰写——审稿与编辑、验证、监督、形式分析、概念化。

**利益冲突声明**
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：
金恩宇与忠?大学存在雇佣关系。如果还有其他作者，他们声明没有已知的可能会影响本文工作的财务利益或个人关系。
金恩宇于2011年在韩国首尔忠?大学获得电气与电子工程学士学位，2013年和2017年分别在韩国首尔国立大学获得电气工程和计算机科学硕士和博士学位。他目前是韩国首尔忠?大学计算机科学与工程学院的副教授。2017年至2018年，他在电气工程系担任博士后研究员。