引言
近年来,深度神经网络(DNNs)取得了显著发展,并被广泛应用于大型语言模型(LLMs)、计算机视觉(CV)等领域。通常,单个深度学习(DL)模型存在某些局限性,使其无法完全捕捉复杂网络中的信息,尤其是在大型模型中[1]。具体来说,经过梯度优化的DNN解决方案往往在损失函数的平坦区域边界附近收敛,而不是在其中心[2]、[3]。这意味着整合多个训练有素的模型通常可以使得模型更接近最优解,这激发了关于模型融合的研究[4]、[5]。因此,深度模型融合或模型合并是指通过数学或结构操作将多个DNN整合起来,创建一个性能更强的新模型的技术。这可以提高模型的泛化能力和鲁棒性,并优化计算和通信资源。融合的对象主要包括模型参数(如权重)和模型输出(如logits和特征),融合阶段可以在推理之前(参数级融合)或推理过程中(输出级集成)进行。本综述重点关注参数空间融合(如权重平均和对齐)和输出空间融合(如集成学习),不涉及多模态融合或其他非神经网络融合。


