ResVaRe：通过跨层残差向量适配与表示编辑实现大型语言模型的参数高效微调

《Neural Networks》：ResVaRe: Parameter-Efficient Fine-Tuning for Large Language Models via Cross-Layer Residual Vector Adaptation and Representation Editing

　　

王彦峰|李颖杰|王佑奇

摘要

全量微调依然是调整大型语言模型最直接的方法，但由于需要更新每个模型参数，其成本往往过高。现有的参数高效微调方法虽能大幅降低训练成本，但通常只侧重于注意力机制中的低秩适配或前馈层中的表示编辑，而且当同时优化适配与对齐目标时，这类方法可能会出现不稳定现象。我们提出了ResVaRe这一参数高效微调框架，它将自注意力机制中的残差增强向量适配与前馈层中的残差增强表示编辑相结合。该框架的灵感来源于一个简单的观察：注意力子层和前馈子层支持不同形式的适配。ResVeRA能够捕捉任务特定的上下文结构，而ResRED则能在更精细的行为层面重塑隐藏表示。为协调这两个模块，ResVaRe采用了跨层残差聚合以及分阶段的两阶段策略，先学习注意力层面的结构，再启动前馈层的编辑操作。在自然语言理解、指令遵循以及通用推理等基准测试中，ResVaRe在极低的训练成本下，依然能在Llama系列和Qwen系列模型上取得与优秀基线相当甚至更好的效果。在中国价值观对齐数据集上，它在保持良好安全性与实用性平衡的同时，将Llama3-1B的对齐率从72.12%提升至74.66%，将Qwen2.5-0.5B的対齐率从73.30%提升至76.23%。这些结果表明，将结构适配与残差增强表示编辑相结合，为实现稳定且可控的LLM适配提供了一条实用路径。