数学语言模型：综述

《ACM Computing Surveys》：Mathematical Language Models: A Survey

本文系统综述了数学领域语言模型的研究进展，从任务和方法论两个维度分类了指令学习、工具方法、基础及高级CoT技术、多模态方法，对比分析其性能特点，并汇总60余个数学数据集，指出挑战与未来方向。

　　

摘要

近年来，在数学领域中，利用语言模型（Language Models，简称LMs），包括预训练语言模型（Pre-trained Language Models，简称PLMs）和大规模语言模型（Large-scale Language Models，简称LLMs）取得了显著进展。本文对数学领域的语言模型进行了全面调查，从任务和方法两个不同角度系统地分类了关键的研究工作。调查结果显示，已经提出了大量的数学语言模型，这些模型进一步被划分为指令学习、基于工具的方法、基础的计算思维（CoT）技术、高级计算思维方法以及多模态方法。为了更深入地理解数学语言模型的优势，我们对它们的特点和性能进行了深入比较。此外，我们的调查还汇编了超过60个数学数据集，包括训练数据集、基准数据集和增强数据集。本文针对数学语言模型领域面临的主要挑战，并指明了未来的发展方向，旨在为致力于推动该领域发展的研究人员提供帮助和灵感。