SWIM-merging：通过对权重矩阵的奇异值进行重新加权，实现高效的测试时模型合并

《Neurocomputing》：SWIM-merging: Reweighting singular values of weight matrices for efficient test-time model merging

　　摘要：模型合并技术将多个单任务模型整合为一个统一的多任务模型，随着深度神经网络规模的不断扩大，这一方法逐渐成为多任务学习中的有效方案。近期，测试时自适应技术被应用于模型合并，通过使用未标记的测试数据来优化合并后的权重。然而，现有的测试时自适应模型合并方法存在两个关键缺陷：其一，在测试时自适应过程中需要同时访问所有原始单任务模型以计算任务特定的梯度或表示；其二，最先进的方法引入了任务特定模块，并依赖“任务预言器”在推理阶段确定任务身份。为克服这些难题，我们提出了SWIM-Merging，这是一种基于SVD的新的测试时自适应模型合并框架。该方法在测试时自适应过程中无需依赖单任务模型，且无需额外模块即可保留原始架构。从理论上讲，我们证明了SWIM-Merging能够将可训练的奇异值映射到参数空间中形成等距嵌入，同时还分析了其在梯度下降下的收敛性。通过在多种架构和基准测试上的大量实验，我们证明SWIM-Merging在显著降低内存成本的同时仍能达到最先进的性能水平。

引言：多任务学习在传统机器学习中起着至关重要的作用[1]、[2]、[3]。但随着深度神经网络规模的扩大以及任务数量的增加，传统的多任务学习在训练时间和内存成本方面面临巨大挑战[4]、[5]。为避免联合训练的高昂成本，模型合并技术[6]、[7]、[8]应运而生，作为一种高效的替代方案。该技术无需从零开始为所有任务训练单个模型，而是将多个独立微调过的模型整合到一个统一的权重空间中[4]、[9]、[10]，从而提高了灵活性，同时也避免了多任务优化的计算负担。模型合并的核心目标 adalah打造出一个能够保留所有微调模型能力的单一模型。早期的尝试采用简单平均法[9]，但由于参数之间的相互干扰，导致性能不佳。为解决这一问题，Ilharco等人[4]提出了任务向量的概念，即微调模型参数与预训练模型参数之间的差异。这些任务向量可以通过取负、相加等算术运算进行组合，由此产生了所谓的任务算术技术。一些微调方法[10]、[11]试图在任务特定微调过程中实现权重解耦，以提高任务算术的性能，但这些方法效率较低，限制了其实际应用范围。而后出现的无数据后处理方法则遵循任务向量理念，不改变微调过程。这类方法通过从微调模型中提取任务向量，选择性丢弃参数[12]或在不借助训练数据的情况下重构任务向量[13]，从而减少参数间的干扰。为进一步提升合并模型的性能，测试时自适应技术引入了额外的自适应阶段，利用未标记的测试数据以及熵最小化等无监督目标来提升模型性能[14]。尽管基于测试时自适应的模型合并方法通常能取得最佳的实验结果[14]，但现有方法仍存在两个关键缺陷：第一，测试时对模型的依赖性：现有框架并未完全解耦，它们在测试时自适应过程中需要同时访问所有原始单任务模型，以计算任务特定的梯度或表示，这就导致了内存瓶颈，且该瓶颈会随着任务数量的增加而呈线性增长；第二，需要“任务预言器”：目前最先进的方法如Representation Surgery和ProbSurgery无法生成通用模型，它们需要“任务预言器”来判定测试样本属于哪个任务，这限制了它们在现实世界中混合任务场景中的应用。为克服这些局限，我们提出了SWIM-Merging（用于模型合并的奇异值重加权技术），这是一种既高效又灵活的测试时自适应框架。与以往方法不同，SWIM-Merging将合并过程分解为多个独立阶段，且在测试时自适应过程中无需依赖原始单任务模型。我们的核心思路是，合并模型的自适应过程可以在奇异值空间中得到有效描述。具体而言，给定一个合并后的任务向量，我们首先对其进行奇异值分解，得到固定的正交基，然后将该任务向量的矩阵层重新参数化为秩为1的矩阵的加权和，其中只有奇异值会通过基于测试数据的无监督目标（如熵最小化）进行优化。这种重新参数化方式具有三个优点：首先，SWIM-Merging无需在内存中存储各个单独的模型，只需存储合并后权重的奇异值即可；其次，它能够在不引入额外模块的情况下保留原始模型架构；第三，SWIM-Merging可以与现有的模型合并方法直接结合使用，无需针对模型获取方式做特殊假设。此外，我们从理论上证明了SWIM-Merging能够将奇异值系数以块对角形式的等距嵌入到完整的参数空间中，确保使用梯度下降法的SWIM-Merging能在一定迭代次数后达到稳定点，其复杂度与最优的一阶预言器复杂度仅存在常数级差异。我们的贡献可总结为以下几点：第一，我们提出了一种基于SVD的测试时自适应模型合并方法，打破了内存使用与任务数量之间的线性关系；第二，我们在奇异值空间中引入了重加权机制，使得模型无需任务标签或原始单任务模型即可适应测试数据分布；第三，我们为SWIM-Merging建立了收敛性保证，证明使用梯度下降法的SWIM-Merging能够高效地达到稳定点；第四，通过在三种不同架构上的多项视觉任务实验，我们证明SWIM-Merging在准确率上优于现有的测试时自适应模型合并方法。

相关研究：传统多任务学习。为获得在多个任务上都具有强泛化能力的模型，多任务学习一直是机器学习领域的经典方法。为平衡不同任务间的不确定性，Kendall等人[1]提出了基于不确定性的加权损失函数用于多任务优化。Sener等人[2]则将多任务学习视为多目标优化问题，并利用帕累托前沿来评估模型性能。Yu等人[3]则提出了PCGrad方法。

初步知识：我们考虑一个涉及多个不同任务的典型模型合并问题。设为一个由参数化的层神经网络，其中和分别表示输入空间和输出空间。对于每个任务，我们首先使用一组共享的预训练参数，然后通过经验风险最小化方法得到该任务特定的微调参数。任务的任务向量定义为，它可以被分解为逐层的组成部分。某种模型合并方法会将这组任务向量视为奇异向量的加权和。

AdaMerging方法将合并后任务向量的每一层视为各层参数的加权和，并以熵最小化作为优化目标，这种方法已被证明是有效的。在这里，我们指出在单个层中同样也存在加权和结构。

引理1 [32] 引理C.3：设为一个秩为的矩阵，假设是一组正交的单位右奇异向量，是一组对应的正交单位左奇异向量，而则是对应的奇异值。那么，

SWIM-Merging的理论分析：在本节中，我们将阐述SWIM-Merging的理论依据。为此，我们将包含多个矩阵层的集合视为一个带有块弗罗贝尼乌斯内积的有限维希尔伯特空间。在本节的后续部分，我们用表示有界线性算子的算子范数，其伴随算子满足。对于在或上的自伴算子，其算子范数可简化为绝对值最大的特征值。

实验部分：本节介绍了我们的实验设置以及SWIM-Merging与其他基准方法的性能对比情况。我们还对SWIM-Merging进行了消融实验。

结论：模型合并已成为多任务学习领域的一种高效方法，而测试时自适应技术则为利用未标记的测试数据优化合并后的模型提供了有力手段。然而，现有的测试时自适应模型合并方法存在两个重大缺陷：一是由于依赖原始单任务模型，导致内存使用呈线性增长；二是需要在推理阶段依靠任务特定模块或“任务预言器”来确定输入任务的类型。为解决这些问题，本文提出了SWIM-Merging这一新型方法。

作者贡献声明：Boqi Li负责文章的初稿撰写、方法设计、理论分析及概念构建工作；Jingyuan Xu负责初稿撰写及理论分析；Weiwei Liu负责文章的审阅与编辑工作以及整体指导；Xiuwen Gong负责文章的审阅与编辑工作以及指导。

利益冲突声明：作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢：本研究得到了湖北省重点研发计划（项目编号2024BAB038）以及中国国家关键研发计划（项目编号2023YFC3604702）的支持。Boqi Li于2020年在中国武汉大学获得软件工程学士学位，目前他在武汉大学计算机科学学院攻读博士学位，师从Weiwei Liu教授。他的研究兴趣主要集中在可信机器学习及多任务学习领域。

Boqi Li | Jingyuan Xu | Weiwei Liu | Xiuwen Gong
武汉大学计算机科学学院，中国湖北省武汉市武昌区八一路299号，邮编430072