综述：通过模型融合实现AI民主化：全面综述与未来方向

本综述系统梳理了模型融合（Model Fusion）这一新兴范式，旨在解决大型语言模型（LLM）集中式训练的高成本与资源垄断问题。文章详细比较了参数级合并（如TIES-Merging、DARE）与基于知识蒸馏（Knowledge Distillation）的融合方法（如FuseLLM、InfiFusion系列），重点分析了其在解决模型异构性、语义对齐和可扩展性挑战上的创新。通过介绍InfiFusion、InfiGFusion（引入图论对齐）和InfiFPO（偏好优化融合）等前沿框架，综述揭示了模型融合在医学AI等领域的应用潜力，为构建高效、普惠的AI系统提供了关键技术路径与发展蓝图。

　　

模型融合：驱动AI民主化的技术引擎

大型语言模型（LLM）的飞速发展正面临集中式训练模式的根本性制约，其高成本与资源垄断特性阻碍了AI技术的普惠化发展。模型融合作为一种可扩展、资源高效的替代方案，通过整合多个专用模型为一个统一系统，为这一困境提供了破局思路。尽管面临兼容性与对齐等挑战，但其在降低开发门槛、促进技术民主化方面的潜力已引发广泛关注。

现有方法概览

模型融合方法主要分为两大阵营：参数级模型合并与基于知识蒸馏的融合。

参数级模型合并 通过直接操作模型权重或任务向量来整合知识。其发展经历了从早期线性平均方法（如Model Soups）、任务向量方法（如Task Arithmetic、TIES-Merging、DARE）到自适应模块化策略（如CALM）的演变。这类方法以计算高效见长，但通常受限于模型架构的同质性，且在处理高度 divergent 的任务时易受参数冲突干扰。

基于知识蒸馏的融合 则提供了更大灵活性，允许集成具有不同架构和规模的模型。它又可分为 logits 级融合与数据级融合。

• •
  Logits级融合 使一个枢轴模型（Pivot Model）能够从多个源模型产生的软目标分布中学习。FuseLLM通过融合概率矩阵进行蒸馏，而FuseChat实现了即插即用的两两融合。为解决词汇对齐问题，ULD（Universal Logit Distillation）和DSKD（Dual-Space Knowledge Distillation）等方法被提出。为提升鲁棒性，InfiFusion引入了Top-K logit选择与标准化，而InfiGFusion更进一步，通过图论中的Gromov-Wasserstein距离近似来对齐token间的共激活模式，从而捕获语义依赖关系。
• •
  数据级融合 枢轴模型通过学习和优化源模型生成的数据来继承其能力。这包括内容驱动的方法（如Evol-Instruct、Orca的Chain-of-Thought生成）和偏好驱动的方法。FuseChat 3.0将融合扩展到SFT和DPO（Direct Preference Optimization）阶段，而InfiFPO则创新性地在偏好优化中引入隐式模型融合，利用序列级概率使枢轴模型能同时从偏好监督和多个教师模型的概率行为中受益。

前沿进展

InfiFusion框架 代表了向统一模型融合的概念转变。它将对齐问题表述为分布级优化，采用基于最优传输（Optimal Transport）的损失函数，并结合Top-K Logit选择和Logit标准化机制。实验表明，其在11个基准测试中达到了接近最先进的性能，而计算成本仅需约160 GPU小时，效率极高。

InfiGFusion 在token级对齐基础上，增加了结构感知的步骤。它为每个训练样本构建一个基于top-k logits共激活模式的小型关系图，并通过高效的排序匹配算法对齐不同模型间的图结构。这种方法在需要多步推理的复杂任务上表现出显著优势，提升了推理的连贯性和可审计性。

InfiFPO 专注于偏好对齐阶段的融合。其核心是序列级隐式模型融合（IMF）和高效的离线优化。它通过长度归一化、概率裁剪和最大间隔融合（Max-Margin Fusion）等策略增强融合的稳健性。实验证明，InfiFPO能显著提升模型在数学推理、代码生成等任务上的性能。

模型融合在医学领域的应用

模型融合技术在医学这一数据异构、隐私要求高、专家标注稀缺的领域展现出巨大应用价值。

通用医学应用：

• •
  参数级：联邦学习（Federated Learning）如FedAvg、FedBN被广泛应用于跨医院的模型聚合，SegViz成功将其用于多器官分割。模型汤（Model Soups）和LoRA适配器汤（LoRA/Adapter Soups）也被用于医学图像分类和生物医学问答。
• •
  Logits级：知识蒸馏用于压缩大型医学基础模型，如CKLE用于多模态电子健康记录（EHR）预测，Vedula等人将GPT-4o/Gemini蒸馏到BioBERT以加速推理。
• •
  数据级：利用大型LLM和LVLM（Large Vision-Language Model）生成合成数据是关键方向。Medical-CXR-VQA、PMC-VQA、LLaVA-Med等项目构建了多模态指令遵循数据。GPT-4o等模型被用于生成高质量的放射学描述和视觉问答对。

细粒度数据级融合：

医学AI的研究正朝着更结构化、语义更丰富的监督信号方向发展：

• •
  论文到多选题生成：利用LLM处理生物医学文献生成高质量的多选题-答案三元组，缓解专家编写试题的短缺。
• •
  生物医学图注精炼：通过重写图注并整合局部感兴趣区域（ROI）描述符，增强图像-文本对齐。
• •
  链式思维（CoT）标注：教师模型生成逐步解释，学生模型同时学习最终答案和推理轨迹，提升诊断决策的可解释性和鲁棒性。

案例研究：InfiMed系列模型

InfiMed项目是数据级模型融合在医学领域的成功实践。它通过上述数据融合策略，自动合成了一个包含18.8万条指令-响应对的SFT语料库，无需人工标注。基于此训练的InfiMed系列模型在多个医学多模态基准测试中取得了领先的性能，验证了利用合成、语义丰富的训练信号进行高效专业模型开发的有效性。

未来方向与挑战

尽管模型融合取得了显著进展，但仍面临诸多挑战与机遇。未来研究方向包括：

1. 1.
   即插即用融合框架：开发能够无缝集成不同领域、架构和训练范式的框架。
2. 2.
   CoT与指令模型融合：专门针对Chain-of-Thought和Instruction-following模型的异构推理路径和输出风格设计融合策略。
3. 3.
   多模态融合：将融合方法论扩展到语言、视觉及其他感官模态的整合。
4. 4.
   资源高效方法：设计计算和数据需求更低的融合技术，进一步推动AI民主化。

当前方法仍主要限于纯语言模型的集成，在多模态能力融合、大规模模型（如数十个专家模型）集成 scalability 以及自主智能体集成等方面的探索尚属初步。克服这些限制将为构建更强大、更通用、更普惠的AI系统开启新的可能性。