I. 引言
大型语言模型(LLMs),如ChatGPT [1]和Claude [2],在自然语言处理(NLP)领域展现了出色的性能和巨大潜力,包括翻译 [3]、摘要生成 [4]、问答 [5] 和对话式代理 [6] 等应用。然而,由于模型规模和复杂性的显著增加,LLMs的开发和部署需要大量的计算和内存资源,这给其在资源受限环境中的广泛应用带来了一系列挑战。
资源密集度:训练和运行LLM模型所需的计算能力可能非常高。例如,拥有1750亿参数的GPT-175B [7]模型在半精度(FP16)下运行至少需要350 GB的GPU内存,仅进行推理就需要五块NVIDIA GeForce A100 80G GPU。这需要大量的处理能力、内存和存储空间,成为其广泛应用的障碍,尤其是在资源受限的环境中。
LLMs的推理速度对于支持实时应用(如交互式聊天机器人(例如ChatGPT)和实时翻译服务(例如Microsoft Translator)至关重要,这些应用对延迟有严格要求。然而,如表I所示(在一个NVIDIA Jetson TX2设备上进行的具有挑战性的文本分类任务),当模型的内存消耗超过某些硬件限制时,推理速度会急剧下降。例如,在TX2设备上,推理延迟增加了189–224倍,而模型大小仅增加了5.8–12.2倍。这种显著的延迟增加会负面影响用户体验和应用的总体效果,因此迫切需要优化技术来加速LLM的推理而不牺牲性能。
能源消耗:训练和运行这些模型对环境的影响不容忽视。大规模计算所产生的能源消耗加剧了整体碳足迹,因此需要更加节能的方法。表II展示了LLMs的碳足迹(基于[8]),包括一些知名模型,如OPT-175B、GPT-3、Gopher和BLOOM。
LLM变体在TX2移动设备上的参数规模、准确率、峰值内存使用量和推理延迟| 模型名称 | 参数数量(B) | 准确率 | 峰值内存(GB) | 推理时间(ms) |
|---|---|---|---|---|
| GPT2 | 0.14 | 49.8 | 0.5 | 37.64 (1x) |
| GPT2-Large | 0.8 | 53.7 | 3.1 | 8065 (214x) |
| mT5-Small | 0.3 | 76.4 | 0.7 | 31 (1x) |
| mT5-Base | 0.58 | 83.8 | 1.5 | 2134 (69x) |
| mT5-Large | 1.2 | 87.0 | 3.9 | 7214 (230x) |
| T5-Small | 0.06 | 79.1 | 0.2 | 27 (1x) |
| T5-Base | 0.22 | 85.4 | 0.8 | 37 (1.4x) |
| T5-Large | 0.73 | 86.7 | 2.8 | 7098 (263x) |
| 模型名称 | 参数数量 | 所用电网的碳强度 | 功耗 | CO2eq排放量 |
|---|---|---|---|---|
| GPT-3 | 175B | 429 gCO2eq/kWh | 1,287 MWh | 502吨 |
| Gopher | 280B | 330 gCO2eq/kWh | 1,066 MWh | 352吨 |
| OPT | 175B | 231gCO2eq/kWh | 324 MWh | 70吨 |
| BLOOM | 176B | 57 gCO2eq/kWh | 433 MWh | 25吨 |


