深度模型融合:综述

《IEEE Transactions on Neural Networks and Learning Systems》:Deep Model Fusion: A Survey

【字体: 大 中 小 】 时间:2026年05月13日 来源:IEEE Transactions on Neural Networks and Learning Systems 8.9

编辑推荐:

   摘要:深度模型融合/合并是一种新兴技术,它将多个深度学习(DL)模型的参数或预测结果整合到一个统一的框架中。这种技术结合了不同模型的优势,以弥补单个模型的偏见和错误,从而提高整体性能。然而,深度模型融合在处理大规模DL模型(如大型语言模型(LLMs)和基础模型)时面临诸多挑战,

  

摘要:

深度模型融合/合并是一种新兴技术,它将多个深度学习(DL)模型的参数或预测结果整合到一个统一的框架中。这种技术结合了不同模型的优势,以弥补单个模型的偏见和错误,从而提高整体性能。然而,深度模型融合在处理大规模DL模型(如大型语言模型(LLMs)和基础模型)时面临诸多挑战,包括高计算成本以及不同异构模型之间的干扰。为了更好地理解这一技术,我们进行了全面综述,总结了最近的进展。我们将现有的模型融合方法分为四类:1)权重平均(WA)通过平均多个模型的参数来获得更接近最优解的结果;2)考虑到直接平均模型通常会得到次优结果,“模式连接”在融合之前通过权重空间中损失逐渐增加的路径来连接网络,使初始模型转化为具有一致功能的形式,从而实现更好的融合效果;3)对于直接融合效果不佳的模型,“对齐”方法匹配相应的单元并合并这些模型,从而充分利用模型之间的关联;4)除了上述参数融合方法外,“集成学习”在推理阶段融合多个模型的输出,以提高网络的准确性和鲁棒性。此外,我们还分析了深度模型融合面临的挑战,并指出了未来的研究方向。

引言

近年来,深度神经网络(DNNs)取得了显著发展,并被广泛应用于大型语言模型(LLMs)、计算机视觉(CV)等领域。通常,单个深度学习(DL)模型存在某些局限性,使其无法完全捕捉复杂网络中的信息,尤其是在大型模型中[1]。具体来说,经过梯度优化的DNN解决方案往往在损失函数的平坦区域边界附近收敛,而不是在其中心[2]、[3]。这意味着整合多个训练有素的模型通常可以使得模型更接近最优解,这激发了关于模型融合的研究[4]、[5]。因此,深度模型融合或模型合并是指通过数学或结构操作将多个DNN整合起来,创建一个性能更强的新模型的技术。这可以提高模型的泛化能力和鲁棒性,并优化计算和通信资源。融合的对象主要包括模型参数(如权重)和模型输出(如logits和特征),融合阶段可以在推理之前(参数级融合)或推理过程中(输出级集成)进行。本综述重点关注参数空间融合(如权重平均和对齐)和输出空间融合(如集成学习),不涉及多模态融合或其他非神经网络融合。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号