通过自蒸馏技术，将大型语言模型（LLMs）从仅能预测单个标记（Next-Token Prediction）的能力提升为能够预测多个标记（Multi-Token Prediction）的能力 作者：徐阳（Yang Xu）和车万祥（Wanxiang Che）

《Electronics》：Evolving LLMs from Next-Token Prediction to Multi-Token Prediction via Self-Distillation Yang Xu and Wanxiang Che

　　

摘要

主流的大型语言模型（LLMs）基于“下一个标记预测”（NTP）的范式进行训练。多标记预测（MTP）旨在提高解码效率，通过扩展NTP使LLMs能够在每次前向传播过程中生成多个标记。然而，现有的MTP方法需要与目标LLM一起进行预训练，这使得在没有官方支持的情况下很难为LLMs启用MTP功能。在这项工作中，我们提出了一种事后方法来为目标LLM训练MTP模块，提供了一种将LLM从NTP模式高效转换为MTP模式的方法。所提出的方法具有两个主要特点：（1）无需对目标LLM进行任何修改，因为在MTP训练期间目标LLM是冻结状态；（2）通过从目标LLM的原始NTP能力中进行自我蒸馏来实现高效的MTP训练。实验结果表明，我们的方法可以通过轻量级的预训练来事后训练出性能良好的MTP模块。