DPAC：突破参数高效微调效率上限的三维协同框架

《Neural Networks》：DPAC: A Tri-Dimensional Coordinated Framework for Breaking the Efficiency Ceiling in Parameter-Efficient Fine-Tuning

　　

摘要 虽然参数高效微调（PEFT）已成为适配大型预训练模型的关键，但在参数量预算和任务性能之间实现最佳平衡具有挑战性。核心难点在于减少参数数量，并在异构模型组件中最大化每个已分配参数的利用效率。像 DoRA 这样的最新进展通过幅度 - 方向权重分解改进了 LoRA。然而，存在一个尚未探索的局限性：现有方法孤立地优化参数化结构，而忽略了共同决定参数效率的资源分配、组件间协作和训练适应性的协调动态。鉴于此问题，提出了一种三维框架 DPAC。具体来说，(1) 动态预算分配根据层的下游影响进行优先级排序，而不是均匀分布；(2) 显式协作约束强制分解权重组件之间的协同更新，以增强幅度 - 方向协调；(3) 自适应优化调度从探索阶段到收敛阶段逐步加强协调。在视觉 - 语言检索基准（Flickr30k 和 MSCOCO）上使用 CLIP 和 BLIP 模型的实验表明，DPAC 在使用相同可训练参数（少于模型总参数的 1.1%）的情况下，将 Recall@1 提高了 1.7-2.2%，并且在受限场景下收益增加：低秩（r=4）时 +2.7%，训练数据有限（10%）时 +3.5%。总之，跨优化维度的原则性协调，而不是孤立的结构创新，对于突破 PEFT 的效率上限至关重要。

引言 大规模预训练模型时代从根本上改变了计算机视觉和自然语言处理。像 CLIP (Radford et al., 2021)、BERT (Devlin et al., 2019) 和 GPT (Brown et al., 2020) 这样的模型，通过在大规模数据集上进行预训练，展现出跨多种任务的卓越能力。然而，这些模型在实际应用中的部署需要适应特定的下游任务，从而提出了一个关键挑战：如何在保持计算可行性的同时，高效地为特定领域需求定制数十亿参数模型。

全量微调（FT）(Lv et al., 2024) 更新所有模型参数，实现了最优的任务特定性能，但面临严重的实际限制。对于预训练模型，如 CLIP ViT-B/32 或 ViT-L/14，全量微调需要在训练期间同时存储参数、梯度和优化器状态，导致 GPU 内存消耗巨大，且随模型规模线性增长。此外，当模型部署在多个任务或领域时，每个任务都需要一个独立的全参数检查点，存储成本线性累积。因此，在边缘设备或移动应用等资源受限的环境中，多任务部署变得不切实际，因为这些环境计算资源和存储容量均有限。

参数高效微调（PEFT）方法作为解决这一困境的必要方案应运而生，旨在仅更新一小部分参数的情况下实现与全量微调相当的性能。这些方法涵盖了不同的范式，每种方法从不同角度解决效率挑战。例如，基于适配器（adapter）的方法 (Houlsby et al., 2019) 在冻结层之间插入轻量级瓶颈模块；基于提示（prompt）的方法如 Prefix-tuning (Li and Liang, 2021) 和 VPT (Jia et al., 2022) 在输入序列前添加可学习令牌；选择性微调方法如 BitFit (Zaken et al., 2022) 和 (IA)3 (Liu et al., 2022) 仅更新特定参数子集。其中，低秩适应（LoRA）(Hu et al., 2022) 通过低秩分解 ΔW=BA 近似权重更新（其中 B∈Rd×r 且 A∈Rr×k，秩 r ? min(d, k)）而获得了特别的 prominence。它以最小的可训练参数实现了强大的性能。LoRA+ (Hayou et al., 2024)、PiSSA (Meng et al., 2024)、LoRA-FA (Zhang et al., 2024) 和 VeRA (Kopiczko et al., 2024) 等最新变体进一步细化了 LoRA 的训练动态和初始化策略，但这些方法仍然依赖隐式的参数协调和均匀的资源分配。

在这些方法中，DoRA（权重分解低秩适应）(Liu et al., 2024) 将权重分为幅度分量和方向分量：W=m⊙V∥V∥c，代表了一项重大进步。这种分解的动力来自于观察：全量微调在这两个组件中表现出不同的更新模式，具有强负相关性（ρ≈?0.62），从而实现互补适应。通过显式建模这种结构关系，DoRA 在保持参数效率的同时增强了 LoRA 的表达力。

尽管 DoRA 取得了显著进展，但经验分析表明，DoRA 在优化参数化结构（幅度 - 方向分解）时，忽略了跨互补维度的优化动态编排。这导致了三个级联缺陷，严重限制了参数效率：

缺陷#1：资源分配不当瓶颈。DoRA 在所有层中均匀分配秩 r，对浅层特征提取器和深层语义瓶颈一视同仁。这种“一刀切”的策略造成了系统性的低效。具体来说，提取低级特征的浅层（如视觉编码器中的第 1-3 层）与编码复杂语义交互的深层瓶颈层（如第 10-12 层的跨模态注意力 (Lu et al., 2019)）接收相同的参数量预算。对 CLIP ViT-B/32 进行图文检索的经验分析表明，跨模态注意力层（第 9-11 层）向下游损失的梯度流比早期特征提取层高 2.3 倍，却接收相同的参数量预算。这种异质性导致了资源 - 性能倒置——向冗余模块分配大量预算，而关键路径却资源匮乏。

缺陷#2：幅度 - 方向协同优化不佳。除了资源分配外，DoRA 中幅度 m 和方向 V 之间的隐式耦合相比全量微调表现出较弱的协调性。对 CLIP ViT-B/32 在 Flickr30k 上微调的相关性分析揭示，全量微调在 Δm 和 ΔV 之间保持强负相关（跨层平均皮尔逊 ρ=?0.62），从而实现互补更新。相比之下，由于缺乏显式协作约束，DoRA 仅实现了 ρ=?0.31，如图 2 所示。这种相关性差距在所有层和训练阶段持续存在，反映了未充分利用的协同潜力。消融实验证实，显式强制这种协同可恢复显著的性能增益。

缺陷#3：静态优化僵化。除了资源分配和组件协同外，固定的优化策略造成了根植于训练动态的重大挑战。从第 1 轮次开始施加强协作约束可加速收敛，但会抑制损失景观中的探索，存在陷入次优盆地风险；相反，在整个训练过程中施加弱约束允许广泛探索，但无法强制收敛细化所需的紧密协调。在 CLIP ViT-B/32 上训练于 Flickr30k 的三个调度策略比较实验展示了这种权衡：(i) 固定强约束（整个过程中 ρtarget=?0.50）实现了快速初始收敛，但在验证损失 1.18 处停滞；(ii) 固定弱约束（ρtarget=?0.20）允许更广泛的探索，但缓慢收敛至 1.31；(iii) 自适应调度达到 0.87，优于两种固定策略。这种时间僵化在早期适应性和晚期精度之间造成了权衡。

这三个缺陷深度相互依赖，形成了一个难以通过分段优化解决的级联瓶颈。在 CLIP ViT-B/32 上使用 Flickr30k 进行了全面的消融实验，比较了各个组件、所有两两组合以及完整系统，以证明三维同步优化的好处（详见表 4）。各个组件带来的收益有限：单独的 DARA、单独的 MACR 和单独的 PCR 分别实现了 +0.9%、+1.0% 和 +0.5% 的 Recall@1。两两组合有所改善但仍非最优：DARA+MACR 实现了 +1.6%（最佳二维结果），而 MACR+PCR 和 DARA+PCR 分别达到 +1.3% 和 +1.2%。完整的三维系统实现了 +2.2%，显著优于所有部分配置。性能差距揭示了维度缺失时的重大限制，详细说明如下。(i) DARA+MACR (+1.6%) 缺乏时间适应，导致在平衡探索和收敛方面困难，固定约束要么抑制早期探索，要么限制后期细化；(ii) MACR+PCR (+1.3%) 缺乏资源优化，导致关键层接收的参数量不足，而冗余层浪费容量；(iii) DARA+PCR (+1.2%) 缺乏协同强制，尽管资源分配已优化，但幅度 - 方向协调仍停留在 DoRA 的基线（ρ=-0.31）。此外，图 4.3 揭示三个组件在互补的时间尺度上运行：DARA 快速收敛（第 3 轮次贡献 73%）以建立资源基础；MACR 以中等速度增长（第 3 轮次 42%）以持续细化组件协同；PCR 逐步积累（第 3 轮次 20%）以提供长期课程指导。这种多时间尺度协调使每个组件都能以其最佳节奏运行而不受干扰。因此，完整系统实现了近加法增益（+2.2%），接近个体贡献的理论总和（+2.4% = 0.9% + 1.0% + 0.5%）。三维优化在所有指标上的系统优越性表明，跨资源、空间和时间的协调优化可以显著提高当前 PEFT 方法的效率。

DPAC（依赖感知渐进自适应协调）的建立旨在通过三维协调优化框架（图 1）解决这些缺陷。这三个维度处理参数效率的正交方面：资源分配、组件间协作和时间适应。这些维度协同工作以最大化参数利用，而不是孤立优化：

维度 1：依赖感知秩分配（DARA）通过量化每层对下游任务性能的贡献来解决缺陷#1。DARA 不平等对待所有层，而是测量每层输出对后续层梯度的影响强度，本研究中称为“下游影响”。具有高下游影响的层被识别为信息瓶颈，并获得更高的秩预算；影响较低的层被压缩。这种方法在不增加额外参数的情况下实现了自适应资源分布。在 CLIP ViT-B/32 上使用 Flickr30k 的消融实验揭示，单独的 DARA 将图像 → 文本 Recall@1 提高了 +0.9%，验证了其在消除资源 - 性能倒置方面的有效性。

维度 2：双层协作强化通过自适应损失加权显式增强幅度 - 方向相关性来解决缺陷#2。该机制在两个粒度上运行。首先，块级约束确保每个 Transformer 层作为整体进行全局协调。其次，层级约束为严重偏离的投影矩阵（Q, K, V, O, FFN）提供针对性校正。自适应加权将优化努力集中在有问题的矩阵上，同时最小化对行为良好矩阵的干扰。在 CLIP ViT-B/32 上使用 Flickr30k 的消融结果表明，在 DARA 基础上添加协作强化可带来额外的 +0.7% Recall@1 改进，恢复了缺陷#2 中识别的协同潜力。

维度 3：渐进式协作调度通过根据训练进度动态调整约束强度来解决缺陷#3。调度过程经过三个阶段过渡：早期探索（约束宽松，允许广泛搜索）、中间过渡（约束适度）和后期收敛（约束紧密，强制精确协调）。阶段转换由损失收敛信号自动触发，而不是固定轮次。在 CLIP ViT-B/32 上使用 Flickr30k 的实验中展示，这化解了探索 - 收敛困境：渐进式调度同时实现了快速早期适应和卓越的最终收敛（验证损失 0.87，优于固定策略的 1.18 和 1.31）。

本文的主要贡献总结如下：
• 概念贡献：正如消融实验所揭示的，需要整体而非孤立的优化，资源、空间和时间协调的三重挑战被正式定义为限制当前 PEFT 方法效率上限的关键瓶颈。
• 方法论贡献：提出了 DPAC，一种三维协调框架，通过原则性整合三个互补优化维度系统地解决效率上限问题。各个组件建立在现有技术之上（依赖感知分配扩展了基于梯度的重要性指标；协作强化采用相关性约束；渐进调度适应课程学习原则）。然而，关键创新在于它们的协调设计。具体来说，(i) 这三个维度被制定为解决正交瓶颈（资源、空间和时间），功能重叠最小；(ii) 多时间尺度协调允许每个组件以其最佳节奏运行而不受干扰；(iii) 完整系统实现了近加法性能增益（+2.2%），接近个体贡献的理论总和（+2.4%），验证了协同整合的有效性。该框架在标准 DoRA 之外不需要任何额外的可训练参数。
• 实证贡献：在 CLIP ViT-B/32 和 BLIP-Base 上使用 Flickr30k 和 MSCOCO 的大量实验表明，DPAC 在使用相同可训练参数（相对于完整模型为 0.81%-1.02%）的情况下，比 DoRA 实现 1.7-2.2% 的 Recall@1 增益，比 LoRA 实现 4.2% 的增益。它揭示了在受限场景下的放大优势：低秩（r=4: +2.7%）、低数据（10% 训练样本：+3.5%）和高秩鲁棒性（r=64: +1.9% 对比 DoRA 的过拟合）。
• 理论见解：将依赖感知分配与信息瓶颈理论 (Tishby et al., 2000) 联系起来的分析明确指出，所提出的策略在固定参数量预算下最小化了累积信息损失。

本文其余部分组织如下。第 2 节回顾了参数高效微调、权重分解方法和自适应秩分配策略的相关研究。第 3 节详细描述了 DPAC 框架，包括三个核心组件（依赖感知秩分配、双层协作强化和渐进调度）的数学公式和算法实现。第 4 节描述了在视觉 - 语言检索基准上的综合实验结果，以及验证每个组件贡献的大量消融实验。第 5 节得出本文结论，并讨论局限性和未来研究方向。

章节片段 参数高效微调（PEFT）
PEFT 通过调整少量参数将预训练模型适配到下游任务。尽管早期方法成功证明了参数高效适配的可行性，但每种方法都暴露出明显的权衡，限制了它们的更广泛应用。

例如，基于适配器（Adapter）的方法（Chen 等，2022）通过架构修改实现了有效的适配，同时在参数效率与推理效率之间产生了固有的张力。具体而言，DPAC 通过一个三维框架解决了现有 DoRA 方法的三个主要局限性（图 1）。

局限性 1：资源错配。现有方法在所有层间均匀分配参数，却忽视了一些层比其他层扮演更关键的角色。作为关键信息通道的层可能获得的资源不足，而不太重要的层则浪费了参数。

局限性 2：组件协作较弱。DoRA 将权重分解为幅度。本部分全面验证了 DPAC 在视觉语言检索任务上的有效性、鲁棒性和参数效率。实验设计围绕三个核心目标展开：(1) 验证方法有效性，通过与主流 PEFT 方法（如 LoRA、DoRA、AdaLoRA）进行比较，展示 DPAC 在不同模型和任务上的性能优势；(2) 深入机制分析，探索 DARA、双级...的内在机制和贡献。

结论：现有的参数高效微调方法在资源分配、组件协作和时间适应方面存在局限性。在本研究中，提出了 DPAC。它是一个协调三种互补机制（依赖感知秩分配、双级协同增强和渐进式调度）以克服这些正交瓶颈的框架。在视觉语言模型（CLIP 和 BLIP）上的实验表明，DPAC 取得了稳定的...

科学写作中生成式人工智能的声明
在本工作的准备过程中，作者使用了 ChatGPT 以提高手稿的可读性和语言质量。使用此工具后，作者根据需要审查和编辑了内容，并对发表论文的内容承担全部责任。

CRediT 作者贡献声明
王诚：写作 – 初稿，软件，方法论，概念化。文权：写作 – 审查与编辑，监督，资金获取。黄宇健：验证，数据整理。胡艳梅：可视化，调查。曾通飞：验证，软件。

竞争利益声明
作者声明，他们没有已知的竞争性财务利益或个人关系，这可能影响本论文报告的工作。

致谢
本工作得到了国家自然科学基金 [授予号 4254200250] 和成都理工大学 AI+ 科学基金的资助 [授予号 2025AI018]。

王诚 | 文权 | 黄宇健 | 胡艳梅 | 曾通飞