分支汤：通过平均分支检查点的适配器权重来提升视觉基础模型

《Neurocomputing》：Branch Soup: Improving vision foundation models via averaging adapter weights of branched checkpoints

　　

- **Branch Soup：**一种先共享轨迹再分支的权重平均方法，用于视觉基础模型的参数高效微调。
- 通过Hessian曲率和线性模式连通性分析，识别出平坦、线性连通的共享盆地，使得分支-平均方法可靠可行。
- 一旦满足这一前提条件，分支点在较宽范围内不再关键，无需额外校准。
- 在几乎所有设置中，达到或超过现有权重平均基线，尤其是在不均衡的医学影像数据集上表现突出。

## 引言

近年来，在大规模、多样化数据集上预训练的大规模视觉模型展示了卓越的迁移能力，能够应用于各种下游任务。因此，微调预训练模型已成为计算机视觉领域的主导范式。在实践中，这一过程通常涉及在不同的超参数配置或随机条件下进行多次微调运行，从而产生一组更新后的参数实例。与其依赖单一微调方案，另一种研究方向试图利用这些多个学习到的参数集，在推理时通过利用不同训练运行中捕捉到的互补信息来提升性能。

集成方法是一种经典的、可靠的通过聚合独立训练网络预测来提升性能的方法[1,2,3,4]。然而，尽管其经验表现强劲，集成方法因多次前向传播和需要存储完整模型副本而产生大量推理开销。这一局限性使其在延迟敏感或资源受限的设置中不切实际，对于极大的模型更是如此。

为解决这些约束，权重平均作为一种有前景的替代方案应运而生，旨在捕获类似集成的优势，同时保持单模型的推理成本[5]。与结合预测不同，权重平均直接将模型参数合并为单一解决方案。尽管该方法在理论上可在不增加额外推理成本的情况下提供鲁棒的泛化能力，但在实践中实现有效的权重平均仍非易事。由于损失景观的非凸性，独立训练的神经网络往往收敛到不相交的盆地中。因此，简单的平均操作通常会因不相交盆地之间的损失壁垒和破坏性参数干扰而导致严重的性能下降[6,7]。表1对这些方法进行了对比总结，突出了权重平均相对于传统集成的推理效率优势。

先前的研究表明，权重平均在受限条件下最为成功，例如沿单一训练轨迹平均检查点[8]，或者在权重空间中保持相近的微调模型[5]。即使共享相同的初始化，也不保证解决方案之间能够实现有意义的插值[9]。这些发现揭示了权重空间聚合中的一个权衡：模型必须足够相似以确保稳定的平均，但又必须足够多样化以提供互补的泛化收益。

已有多种方法被提出以应对这一挑战。例如，排列对齐方法在平均之前显式地重新对齐不同网络间的神经元[6,10,11,12,13]，而贪心汤[14]和PAPA[15]则试图控制被平均解集的组成。然而，这些方法仍面临实际障碍：排列对齐方法通常涉及计算量昂贵的优化，难以扩展至大规模视觉Transformer。另一方面，汤基方法通常要求从零开始训练多个独立模型，导致总训练成本过高。此外，PAPA等同步方法在训练过程中引入额外的复杂度和通信开销。这些局限性凸显了在没有穷尽式训练或复杂对齐程序的情况下，实现参数稳定性和模型多样性之间更好平衡的剩余挑战。

为了解决这些局限性，我们受到一个假设的启发：参数稳定性和模型多样性之间的根本权衡可以通过控制分歧的时间点来系统地平衡。我们认为，共享的初始训练阶段作为权重空间中的共同锚点，可以防止模型漂移到导致破坏性干扰的不相交盆地中。基于这一见解，我们提出了一种简单但有效的框架，称为Branch Soup（分支汤）。我们的方法在训练早期强制执行共享的优化轨迹以确保参数对齐，并仅在发生足够的共享学习后才引入受控的分歧。相反，允许模型在训练后期阶段分歧，使它们能够探索不同的局部最优解并捕获互补特征。通过控制分支点，我们旨在达到一个鲁棒的运行状态，而非单一精细调整的最优点，从而确保权重可合并性和集成所特有的功能多样性。如我们在第6.3节中所展示，这一状态对应于共享轨迹已进入平坦、线性连通的低损失盆地，我们通过Hessian曲率和线性模式连通性测量直接验证了这一条件。具体来说，Branch Soup旨在通过基于适配器的策略（如Rein[16]、LoRA[17]或AdaptFormer[18]）微调视觉Transformer，如图1所示，并在预定义的分支点存储检查点，该点对应总训练周期的70%。所有分支均从这一共享检查点初始化，确保参数空间中的强对齐。然后每个分支独立地在不同的随机条件下完成剩余的训练阶段，如随机种子、数据顺序和数据增强，从而产生有意义的多样性。最终模型通过对这些分支的权重进行均匀平均获得，生成用于高效推理的单一解决方案。通过利用这种策略性的分叉，Branch Soup成功地从集成的功能多样性中获益，同时不损害权重合并所需的稳定性。

本工作的主要贡献总结如下：

- 我们提出Branch Soup，一种用于视觉基础模型参数高效微调的权重平均方法，其中分支在较晚的分支点之前共享深层优化轨迹，仅通过种子、数据顺序和增强中的随机性产生分歧，然后通过简单平均合并，无需额外的推理成本，也不需要计算昂贵或复杂的对齐算法。我们在冻结视觉基础模型的适配器子空间中、针对单一目标任务研究分支与平均，这一设置与先前面向全域覆盖的全模型、多领域分支合并[19]不同，后者报告随机数据划分的分支在没有领域专业化的情况下无法很好地合并。
- 通过线性模式连通性和Hessian测量，我们将适配器合并分解为三个独立测量的效应：共享的训练种子建立线性模式连通性并防止崩溃，更深层的轨迹共享则以分支多样性换取盆地的平坦性，两者相互抵消使得最终任务准确率对共享深度不敏感。
- 我们将这一前提转化为实用的、无需校准的原则：一旦共享轨迹到达平坦盆地，分支点在较宽范围内不再关键，无需针对每个数据集进行调优。与先前的全模型、多领域分支合并框架仅通过最终任务性能来描述共享阶段不同，我们通过损失景观几何结构直接分析，这使得我们能够区分可合并性、平坦性和多样性为不同的效应。
- 与这一分析一致，Branch Soup在几乎所有设置中达到或超过单模型微调和现有权重平均方法，在12种配置中的9种上对最强基线取得统计显著的提升（5种来自针对随机基线的无条件双样本检验，4种条件于单一贪心汤池），同时不增加额外推理成本，且从未经历朴素平均的崩溃，在涵盖自然影像和医学影像数据集的多种基准上，以及三种骨干架构（DINOv2、CLIP和Swin）上均表现如此。

## 章节片段

### 视觉基础模型

视觉Transformer（ViTs）[20,21,22]通过将二维图像嵌入为一维令牌并利用自注意力机制捕获全局相关性，显著推动了计算机视觉领域的发展。与传统卷积神经网络（CNN）不同，ViTs在模型规模和数据量方面均表现出更优的可扩展性，这促成了在大规模数据集上预训练的视觉基础模型（VFMs）的出现。

已有若干研究利用……

### 预备知识

在本工作中，我们考虑基于预训练视觉基础模型作为骨干网络的K类图像分类监督学习设置。给定带标签数据集D = {(x_i, y_i)}，每个输入样本x_i表示一张RGB图像，y_i表示对应的真实类别标签。模型的目标是学习一个映射f(x)，通过最小化任务特定数据集上的预测误差来准确预测未见图像的类别。

为此，我们采用预训练的视觉……

### Branch Soup

在本节中，我们首先在4.1节描述适配器微调作为一种有效的微调策略，用于将视觉基础模型（VFM）适配到下游任务。适配器微调通过仅更新少量任务特定参数而保持预训练骨干固定，实现有效的任务适配。在此基础上，4.2节引入我们提出的方法Branch Soup，旨在缓解传统权重平均中常见的性能下降问题……

### 数据集

为评估所提出Branch Soup框架的有效性和泛化能力，我们在涵盖自然图像识别和医学图像分类任务的多样化基准数据集上进行实验。下面简要描述每个数据集以及我们的研究中所使用的实验协议。

- **TinyImageNet-200：**TinyImageNet[58]是ImageNet的缩减子集，包含200个类别，100,000张训练图像和10,000张验证图像，每张图像均被调整为……

### 与适配器合并方法的位置关系

由于Branch Soup通过合并适配器权重来工作，自然会问它与先前的适配器合并方法有何关系。如第2节所述，这些方法可以根据适配器训练期间共享的内容来组织：独立训练适配器的事后合并（AdapterSoup[52]、LoRA Soup[53]）、共享在微调数据的小子集（约10%）上训练的浅层种子（Seeded LoRA[54]），以及我们的方法——共享整个优化轨迹直到较晚的……

## 结论

在本工作中，我们介绍了Branch Soup，一种用于视觉基础模型参数高效微调的权重平均方法，它在集成级性能和单模型效率之间架起了桥梁。通过强制执行共享优化轨迹直到预定义的分支点，并在此之后通过独立微调引入受控多样性，Branch Soup实现了稳定且一致的权重平均，无需增加额外推理成本。超越方法本身……

## CRediT作者贡献声明

Youmin Park：撰写——审阅与编辑，撰写——原始草稿，可视化，验证，软件，方法论，调查，正式分析，数据管理，概念化。Yeonguk Yu：撰写——审阅与编辑，验证，方法论，调查，数据管理，概念化。Yunjae Heo：撰写——审阅与编辑，验证。Kyoobin Lee：撰写——审阅与编辑，监督，项目管理，资金获取。

## 利益冲突声明

作者声明，他们没有已知的竞争经济利益或个人关系可能影响本文报告的工作。

## 致谢

本工作由韩国政府（MSIT）资助的信息与通信技术规划与评估院（IITP）拨款支持（编号：RS-2022-II0951，"通过提问学习的认知智能体开发"）。

Youmin Park目前是韩国电子通信研究院（KETI）智能机器人研究中心的研究员。他于2026年获韩国光州科学技术院（GIST）AI融合学部硕士学位。他的研究兴趣包括视觉基础模型、参数高效微调、模型适配的权重平均以及机器人学习。

Youmin Park | Yeonguk Yu | Yunjae Heo | Kyoobin Lee