基于群稀疏正则化的简单深度多任务稀疏建模方法

《Pattern Recognition》：A simple deep multi-task sparse modeling method via group sparsity regularization

　　•本文提出了一种新的群稀疏多任务学习（GSMTL）方法，该方法通过一个辅助的1×1卷积层St在参数和特征层面实现隐式软稀疏性，其中行稀疏性用于选择共享参数，而列稀疏性用于选择共享特征。•通过在对连续的辅助层St应用l1、l2范数正则化，避免了现有稀疏方法中不可微的二进制掩码所带来的优化难题，从而在保持模型表示能力的同时确保了端到端的可微性。•在四种类型的多任务数据集上，该方法展现出优于现有方法的性能，证明了所提出的双稀疏机制的有效性和泛化能力。

引言
随着计算能力和人工智能技术的进步，多任务学习（MTL）的研究已经从传统建模转向深度学习[1]。这扩展了MTL的概念，涵盖了更多复杂的场景，如计算机视觉[2]、自然语言处理[3]等[4]。现有的研究基于一种通用的MTL模型架构，该架构包含两个基本组成部分：共享层和任务特定层[5]。共享层旨在捕捉可在多个任务之间复用的共同表示，而任务特定层则负责将这种获得的表示转换为相应的任务领域[6]、[7]。这种框架假设所有任务之间的知识共享程度是相同的。然而，当任务之间的相关性较弱或仅为部分相关时，全部知识的共享可能会导致任务间的负面知识传递[8]。稀疏建模假设任务在低维稀疏子空间中共享特征，已被证明是一种有效的策略，可以减轻MTL中任务间的负面知识传递[9]、[10]。通过从过完备的全共享空间解码任务特征，稀疏建模策略可以在压缩推理时间和节省存储空间的同时提升任务性能[11]。如图1(b)所示，现有的稀疏方法依赖于额外的模块来生成共享层参数的离散掩码，从而实现任务间的稀疏共享。早期的方法依靠随机生成的二进制掩码来选择共享层参数[3]或特征输出[12]、[13]。尽管这些方法取得了不错的性能，但它们的随机性质从根本上限制了可解释性。随后，研究人员将任务稀疏掩码建模为可学习的组件。例如，adashare[8]通过Gumbel采样将离散掩码的学习过程建模为一个可微的优化问题。进化稀疏MTL框架能够自适应地推断出任务特定的稀疏表示[9]，但在进化过程中对每个任务进行评估会带来高昂的计算成本，因此不适用于复杂的架构。统计估计方法则通过评估任务间参数的重要性来推导出任务特定的稀疏优化路径[14]。虽然这种方法克服了随机方法和基于优化方法的局限性，并取得了显著的性能提升，但它要求预先定义稀疏比。重要的是，所有上述方法都采用离散的硬稀疏策略，即通过额外的掩码强制选定的参数或其输出特征恰好为零。这导致了两个关键限制：(1) 额外的稀疏掩码的引入带来了由于它们不可微而产生的优化复杂性；(2) 严格将不重要的参数置零可能会降低模型的表示能力。这些挑战凸显了需要一种新的稀疏MTL框架来解决现有方法的固有局限性。在本文中，我们提出了一种基于群稀疏正则化的简单而有效的稀疏多任务学习（MTL）方法。我们的稀疏化方法在原始相邻的共享层之间嵌入了稀疏解码层，从而避免了额外掩码带来的计算开销。同时，通过在这些稀疏层内施加正则化约束来实现软稀疏性，避免了硬稀疏性通常会导致的信息丢失。具体来说，如图1(c)所示，在原始网络中每两个相邻的共享层之间插入了任务特定的稀疏解码层St。这可以表示为W=θ?St，其中θ预期具有稀疏结构，而St是针对任务Tt的任务特定层。在本文中，St被实现为一个2D方阵，对应于模型中每个任务的1×1卷积层。我们的分析表明，通过对矩阵St的稀疏性进行约束，可以隐式地在θ中引入低维稀疏性。因此，我们在训练期间使用?1、l2范数对St施加结构稀疏性。这种方法避免了对高维张量θ的直接约束，从而简化了提取低维稀疏结构的优化过程。同时，它也避免了由于掩码不可微而产生的计算复杂性。此外，我们还证明了对St施加行级或列级稀疏性约束分别能在原始模型的参数空间和特征输出中引入稀疏性。我们将所提出的方法称为群稀疏MTL，简称GSMTL。基于以上讨论，本文的主要贡献可总结如下：(1) 我们提出了一种简单而有效的稀疏MTL方法，即GSMTL，它在共享层之间嵌入了任务特定的稀疏解码层。这种设计避免了额外离散掩码带来的计算开销，并通过正则化实现软稀疏性，从而防止信息丢失。(2) 通过对辅助层St施加稀疏性约束，它在原始模型中实现了隐式稀疏性，从而避免了复杂的张量计算。此外，我们发现对St施加行级和列级稀疏性分别能在参数层面和特征层面实现稀疏表示。(3) 在三种不同类型的数据集中，通过行级和列级稀疏性，所提出方法的性能得到了提升。我们通过实验验证，基于参数稀疏性的行级方法优于基于输出特征稀疏性的列级方法。本文的其余部分安排如下：第2节介绍与本文相关的文献。第3节介绍所提出的GSMTL方法，并对其进行分析。第4节通过多组实验验证所提出方法的有效性。第5节总结所提出方法的优点和局限性。

片段摘录
机器学习中的群稀疏性
群稀疏性是建模统计回归问题的重要手段，有助于选择变量以精确估计回归模型。Yuan和Lin在2006年首次提出了群套索的概念[15]，该方法涉及将变量分组，然后对每组变量应用l2范数惩罚，以实现整组变量的消除。此后，这一方法得到了快速发展。2009年，[16]将群套索扩展以适应更多场景。

方法论
在本文中，我们采用一种常见的完全共享模型作为基础模型（硬参数共享，HPS）。模型的底层属于任务共享层，所有任务都会使用这些层。模型的顶层是任务特定层。共享层将所有任务映射到一个共同的表示空间，而任务特定层则获取任务的特征表示。用θsh表示共享层的集合。我们用θ∈θsh来表示该集合中的某个特定层。假设T1...

数据集
所提出方法的有效性是通过四个多任务数据集来验证的。这些数据集包括两个异构特征多任务数据集和两个同构特征多任务数据集。(1) CIFAR-100 [37]包含20个粗略标签，每个标签定义为一个任务。每个任务包括5个细分类别，共有2,500个训练样本（每类500个）。总体而言，该数据集提供50,000个训练样本和10,000个测试样本，所有样本均为32×32像素的RGB图像。(2) DKL-mnist [37]是一个多任务...

结论
多任务稀疏建模通过迫使任务在稀疏子空间中共享特征来减轻任务间的干扰，已被证明是缓解任务干扰的有效策略。然而，现有的稀疏方法通常采用硬稀疏策略，即引入任务特定的二进制掩码。这由于离散掩码的不可微性而增加了计算的复杂性。为了解决这个问题，本文提出了一种基于CRediT的简单多任务建模方法。

作者贡献声明
Yayu Zhang：写作——审阅与编辑，写作——初稿，可视化，方法论，研究，资金获取，正式分析，数据整理，概念构建。Yuhua Qian：监督，方法论，资金获取。Xinyan Liang：写作——审阅与编辑，正式分析。Jieting Wang：写作——审阅与编辑，正式分析。Liyun Xu：写作——审阅与编辑，正式分析。Honghong Cheng：写作——审阅与编辑，正式分析。

利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。Yayu Zhang于2024年在中国太原的山西大学获得计算机科学技术博士学位。她目前是山西大学大数据科学与产业研究所的讲师。2023年，她曾在中国香港的城市大学担任访问学者。她的研究兴趣包括多任务学习、进化计算和深度学习。她在这些研究领域发表了多篇论文，包括IEEE TEVC、IEEE TCSVT等。Yayu Zhang|Yuhua Qian|Xinyan Liang|Jieting Wang|Liyun Xu|Honghong Cheng