基于哈夫曼树的MoE模型专家渐进融合框架ExpertFuse：实现低资源设备高效部署的新策略

本文提出ExpertFuse框架，通过哈夫曼树（Huffman tree）策略对混合专家模型（Mixture-of-Experts, MoE）中利用率低的专家进行渐进式融合，显著降低内存消耗和推理成本。该硬件无关的解决方案在GLUE、MMLU等基准测试中保持强劲性能，为低资源设备部署大型语言模型（LLMs）提供了创新路径。

　　

亮点

• •
  我们提出ExpertFuse，这是首个采用哈夫曼树融合策略的渐进式专家融合框架，可降低MoE模型的内存使用和推理时间。我们的方法具有硬件无关性，不依赖专用并行技术或设备特定优化
• •
  我们在Switch Transformers和大规模通用MoE模型（如Mixtral 8x7B和DeepSeekMoE）上广泛验证ExpertFuse，在GLUE、SuperGLUE、MMLU和推理基准测试中展现出强大的泛化能力
• •
  通过ExpertFuse，融合后的模型可部署在原始模型无法运行的低资源设备上，同时实现更快的推理速度

方法学

我们通过减少专家数量同时保持或提升性能来增强MoE模型效率。我们的方法支持任意数量专家的融合，同时保留关键知识。该方法论包含三个结构化步骤：通过哈夫曼树进行专家选择、通过渐进加权求和方法进行专家融合，以及对融合模型的微调。此过程确保每个专家的贡献在融合过程中得到保留，实现灵活的数量缩减。

实验设置

我们设计实验方案以评估ExpertFuse在不同MoE架构和专家配置中的有效性。具体考虑两种主要设置：（1）使用Switch Transformers分析不同专家规模下的专家缩减行为；（2）使用通用模型（Mixtral 8x7B和DeepSeekMoE）评估针对任务专用专家的性能表现。

低资源设备部署

我们的主要目标是在低资源设备上部署MoE模型，例如内存有限的单GPU系统、移动设备或边缘设备。为模拟真实低资源场景，我们在显存12GB的NVIDIA RTX 4070 GPU上进行实验，结果突显了在此类设备上扩展专家数量的实际挑战。

局限性

虽然ExpertFuse显著减小模型规模并缩短推理时间，但其实现存在特定局限。专家融合过程需要微调，这会引入额外计算开销。具体而言，微调融合模型需要访问具有足够内存和计算能力的GPU，导致资源成本和训练时间增加。这对硬件资源有限的研究人员可能构成挑战。

结论与未来工作

本文提出ExpertFuse，一种基于哈夫曼树策略通过渐进融合专家来优化MoE模型的新框架。我们的方法利用专家使用频率差异，系统化减少专家数量同时保留其贡献，在资源受限场景下显著降低内存和计算成本而不会造成明显性能下降。