在大型语言模型时代对小型语言模型的全面调查：技术、改进、应用、与大型语言模型的协作以及可信度

《ACM Transactions on Intelligent Systems and Technology》：A Comprehensive Survey of Small Language Models in the Era of Large Language Models: Techniques, Enhancements, Applications, Collaboration with LLMs, and Trustworthiness

大型语言模型（LLMs）在多任务场景中表现优异，但存在参数规模大、计算需求高、隐私风险、实时性差及专业领域知识不足等问题。小型语言模型（SLMs）凭借低延迟、低成本、易定制化等优势，在资源受限环境及专业领域知识获取中更具适用性。本文提出SLMs标准化定义框架，从能力边界和资源约束双重维度界定模型范围，并构建分类增强框架，同时提供GitHub开源资源。

　　

摘要

大型语言模型（LLMs）在文本生成、问答和推理方面展现了出色的能力，为各种任务和领域提供了有力支持。尽管它们在许多任务中表现出色，但像PaLM 540B和Llama-3.1 405B这样的模型仍存在局限性，主要源于庞大的参数规模和较高的计算需求。这通常导致它们需要依赖云API服务，从而引发隐私问题，限制了在边缘设备上的实时应用，并增加了微调成本。此外，由于缺乏特定领域的专业知识，LLMs在医疗和法律等专业领域中的表现往往不佳，因此需要专门为这些领域定制模型。相比之下，小型语言模型（SLMs）因较低的推理延迟、较高的成本效益、高效的开发流程以及易于定制和适应的特点而越来越受到青睐。这类模型特别适合资源有限的环境，有助于快速获取领域知识，有效应对LLMs所面临的挑战。它们非常适合那些需要处理本地化数据以保护隐私、实现低延迟推理以及通过轻量级微调来获取领域知识的应用场景。随着对SLMs需求的不断增长，相关研究和开发也在加速推进。然而，目前仍缺乏一项全面的研究来探讨SLMs的定义、开发、应用、优化及可靠性等方面存在的问题，因此我们决定对这些主题进行详细调查。由于SLMs的定义存在较大差异，为了对其进行标准化，我们建议根据其执行特定任务的能力及其在资源受限环境中的适用性来定义它们，同时设定出能够展现基本功能的最低模型规模和在资源限制下可维持的最大模型规模。对于其他方面，我们为相关模型和方法制定了分类体系，并为每个类别开发了通用框架，以更有效地利用SLMs。我们已将收集到的SLMs模型及相关方法整理发布在GitHub上：https://github.com/FairyFali/SLMs-Survey。