通过权重分解融合为视觉语言模型注入推理能力

《Neural Networks》：Injecting Reasoning into Vision-Language Models via Weight-Decomposed Merging

　　邹雨辰|王乐燕|赵庆红|魏一帆|李亚鹏|杜波•我们观察到，将标准的同质模型合并策略应用于异构的LLM到VLM合并时会出现失效现象，并从参数空间不匹配的角度对此进行了解释。•我们提出了一种新的权重分解合并框架，该框架能有效缓解推理注入过程中的语义冲突，避免VLM性能下降。•我们在多个以推理为重点的基准测试上进行了大量实验，这些测试使用了不同的VLM和LLM架构。我们的方法在大多数异构环境下无需训练即可取得优异且具有竞争力的性能，这表明其作为LLM到VLM推理注入的实用防护手段具有很强的稳定性。引言随着深度学习的快速发展，越来越多的人工智能任务依赖于大型预训练模型。尤其是大型语言模型（LLMs）Brown等人（2020年）；Touvron等人（2023年）；Zhang等人（2022年）以及视觉语言模型（VLMs）Bai等人（2025年）；Lauren?on等人（2024年）；Liu等人（2023年）的广泛应用，已成为自然语言理解和多模态推理领域的主流趋势。然而，这些模型出色的能力也带来了巨大的计算和内存需求Gong等人（2025年）。从零开始训练这类模型或进行全参数微调往往成本极高，在资源有限的环境中也不切实际。此外，由于与推理相关的多模态数据较为稀缺，仅靠训练往往无法获得理想效果Chen等人（2025年）。与此同时，已有大量参数高效微调（PEFT）方法被提出，旨在降低适配成本Deng等人（2026年）；Dettmers等人（2023a年）；Hu等人（2022年）；Liu等人（2024b年）。不过，这些方法通常仍依赖于特定任务的数据和额外的训练流程，即便有充足的数据，它们依然会带来不小的训练成本和实际要求（如计算资源、时间以及复杂的超参数调整），这使得它们不太适合那些需要无需训练即可实现功能整合的场景。在这种背景下，模型合并作为一种无需训练即可整合预训练模型之间能力的有效方法应运而生。一种自然的替代方案是通过将VLM与具备强大推理能力的LLM合并来提升VLM的性能。诸如VLM-Merging这样的开创性工作Chen等人（2025年）试图通过模型合并将语言模型的一部分推理知识转移到VLM中。然而，我们的研究结果表明，直接将原本为同质模型设计的方法应用于异构的多模态架构时，往往会导致性能大幅下降。在极端情况下，我们观察到合并后视觉理解精度会下降50%以上。如图1(a)所示，传统的模型合并方法通常假设的是同质环境Huang等人（2024年）；Zheng和Wang（2025年），即要合并的两个模型拥有相同的架构和模态（例如LLM到LLM或VLM到VLM）。这些方法往往依赖参数级的插值策略，如均匀平均法Utans（1996年）或费希尔加权平均法Matena和Raffel（2022年），这类方法被认为能够在提升性能的同时保留原有能力。然而，当应用到异构多模态模型时，这些策略往往会失效。我们将这种性能下降归因于一个根本性的不匹配：将具备推理能力的LLM直接合并到VLM中，会打破原始LLM与视觉编码器之间原有的视觉-语言对齐关系。我们提出这样一个假设：当两个模型在类似的任务上进行了预训练或微调，比如图1(c)所示的算术推理和统计推理，它们的参数空间往往能够保持对齐状态。在这种情况下，为同质模型设计的标准合并技术很可能会成功，甚至还能提升性能。但是，当将具备推理能力的LLM注入到没有推理能力的VLM中时，原本与视觉主干对齐的语言模块以及新加入的具备推理能力的LLM很可能会位于参数空间的不同区域。在这些场景下，简单的合并策略往往会造成语义冲突，从而导致严重的性能下降。我们在第5节通过对比实验验证了这一假设，我们将具备推理能力的VLM与其不具备推理能力的对应模型进行了对比。为了解决这一难题，我们提出了一种基于权重分解的合并方法，该方法将模型合并问题重新定义为参数对齐问题。具体而言，我们将每个参数向量分解为两个部分：幅度和方向。通过独立合并这两个部分，我们的方法能够减轻不同模态之间的语义干扰，同时实现推理注入，减少对原始VLM中视觉-语言对齐关系的破坏。我们的贡献可总结如下：•我们观察到，将标准的同质模型合并策略应用于异构的LLM到VLM合并时会出现失效现象，并从参数空间不匹配的角度对此进行了解释。•我们提出了一种新的权重分解合并框架，该框架能有效缓解推理注入过程中的语义冲突，避免VLM性能下降。•我们并在多个以推理为重点的基准测试上进行了大量实验，这些测试使用了不同的VLM和LLM架构。我们的方法在大多数异构LLM到VLM合并场景下都能取得具有竞争力的性能，尤其是在那些使用简单或稀疏合并方法会导致严重性能下降的情况下。相关内容概述视觉语言模型近年来，视觉语言模型取得了显著进展。诸如CLIP Radford等人（2021年）、BLIP Li等人（2022年）、MiniGPT-4 Zhu等人（2023年）以及LLaVA Liu等人（2023年）等代表性模型，都利用大规模的图像-文本配对数据进行对比学习或指令微调，从而使它们能够完成图像-文本对齐、视觉问答和图像描述等任务。这些模型通常会将图像编码为视觉特征，然后将其与预训练的语言模型相结合。基本概念我们将预训练的VLM的语言模块参数记为θbase，而具备推理能力的LLM的参数记为θLLM。我们的目标是通过构建一个参数为θmerged的合并语言模块，将LLM的推理能力注入到VLM中，同时保持视觉主干θvision不变。LLM与基础语言模块之间的参数差异定义为：[数学处理错误]Δ=θLLM?θbase。设[FVLM(x;θvision,θlanguage)]表示一个能够接收多模态输入x的视觉语言模型。视觉语言模型我们在三种广泛使用的开源视觉语言模型上评估了我们的合并策略：LLaVA-NeXT-8B Liu等人（2024a年）、Qwen-2.5-VL-7B Bai等人（2025年）以及IDEFICS2-8B Lauren?on等人（2024年）。LLaVA-NeXT-8B和Qwen-VL 2.5-7B经过了大量的多模态预训练和指令微调，因此是高度对齐的视觉语言模型架构的典型代表。相比之下，IDEFICS2-8B虽然没有经过专门的多模态指令微调，但已在大规模的纯文本语料库上进行了大量微调。实验在本节中，我们研究了基于权重分解的合并策略在将推理能力注入VLM方面的有效性和通用性。我们使用了四种以推理为导向的LLM和三种不同的VLM架构进行了大量实验，以评估我们方法的跨架构适应性。此外，我们还进行了消融研究，将我们的方法分解为方向对齐和幅度重缩放两部分，以了解它们各自的贡献。最后，我们得出结论。在本项工作中，我们介绍并研究了通过模型合并将LLM的推理能力注入到VLM中的方法。我们通过实验证明，大多数为同质模型设计的合并策略往往会导致视觉性能的严重下降。为了解决这个问题，我们提出了一种基于权重分解的简单而有效的合并框架，该框架能够稳健地将LLM的知识注入到VLM中。从实验结果来看，我们主要发现：1）CRediT作者贡献声明邹雨辰：撰写——初稿、可视化、验证、方法论、研究、数据整理、概念设计。王乐燕：可视化、验证、研究。赵庆红：数据整理、概念设计。魏一帆：验证、研究、形式分析、数据整理。李亚鹏：撰写——审阅与编辑、监督、形式分析、概念设计。杜波：撰写——审阅与编辑、监督、资金筹集。利益冲突声明作者们声明自己不存在任何可能影响本文所述工作的已知财务利益或个人关系。邹雨辰于2025年在中国武汉的华中师范大学获得学士学位，目前她正在武汉大学高级跨学科研究院攻读硕士学位。她的研究兴趣包括图像处理和多模态大型语言模型。