基于脉冲驱动的轻量级大语言模型与进化计算

《Evolutionary Computation》：Spike-Driven Lightweight Large Language Model With Evolutionary Computation

　　

摘要：

大型语言模型（LLMs）在各种任务中展现了卓越的能力，但由于巨大的内存和计算需求，它们在资源受限环境中的部署仍然具有挑战性。得益于脉冲神经网络（SNNs）稀疏的事件驱动计算范式，一些研究专注于设计基于脉冲的语言模型（SpikeLM）。然而，现有的 SpikeLM 仅获得了部分计算效率提升，未能全面解决内存限制问题。在本文中，我们提出了一种演化并量化的脉冲驱动语言模型（EQ-SpikeLM），以解决上述挑战。该模型包含两项主要创新。首先，受进化计算中人工蜂群算法的启发，我们提出了一种架构演化方法，即 ABC-Arc。该方法通过系统地移除冗余神经路径来优化网络拓扑结构。其次，为演化后的 SpikeLM 开发了一种动态训练后量化（DynPTQ）策略，便于将浮点参数转换为低位精度，而无需重新训练模型。通过结合这两种方法，EQ-SpikeLM 在保持模型性能的同时，显著降低了存储和计算需求。在 GLUE 基准上的实验评估表明，EQ-SpikeLM 能够保持与其未压缩对应模型相当的性能，同时大幅减少模型大小和功耗。这些结果确立了 EQ-SpikeLM 作为在资源受限的边缘计算场景中部署 LLM 的可行方法。

I. 引言

随着人工智能技术的快速发展，大型语言模型（LLMs）已成为我们生活中不可或缺的一部分。像 GPT-4 [1]、Gemini [2] 和 DeepSeek [3] 这样的大型模型通常构建于编码器 - 解码器架构之上，具有复杂的自注意力机制，使它们能够学习错综复杂的语言关系。这种先进的设计，结合庞大的预训练数据，确立了 LLM 在多种自然语言处理（NLP）应用中的主导范式 [4]。此外，测试时扩展技术 [5]、[6] 和大型推理模型的出现进一步提升了 LLM 的推理能力，特别是在数学 [7]、[8] 和代码 [9]、[10] 等专业领域。LLM 现在支撑着文本生成、问答系统和文本摘要等领域的最先进（SOTA）性能 [11]。然而，LLMs 令人印象深刻的性能伴随着巨大的资源需求。受固有缩放定律的驱动，这些模型在架构复杂度和参数数量上迅速扩张。这种指数级增长直接转化为不断升级的计算和存储需求。因此，在资源受限的边缘计算环境中部署 LLM 面临巨大的实际障碍，限制了它们在现实场景中的广泛可访问性和应用。