《Intelligent Systems with Applications》：A survey on mathematical reasoning and optimization with large language models
数学推理与优化是人工智能（AI）及计算问题求解的核心领域。近年来，大语言模型（LLM）的快速发展显著推动了AI驱动的数学推理、定理证明及优化技术的进步。本综述系统梳理了AI领域数学问题求解的演进历程，从早期统计学习方法到深度学习及基于Transformer的方法。研究人员考察了预训练模型与大语言模型在处理算术运算、复杂推理、定理证明及符号计算方面的能力。
本综述的核心聚焦于大语言模型如何与优化及控制框架相融合，涵盖混合整数规划（MIP）、线性二次控制（LQR）及多智能体优化等方向。大语言模型可辅助问题建模、约束生成与启发式搜索，从而衔接理论推理与实际应用。研究人员分析了思维链（CoT）推理、指令微调及工具增强方法等关键技术对提升模型问题求解能力的机制。
尽管取得显著进展，大语言模型在数值精度、逻辑一致性及证明验证等方面仍面临挑战。新兴解决方案包括神经-符号混合推理、结构化提示工程及多步自校正技术，旨在提升系统可靠性。未来研究应重点关注可解释性、与领域专用求解器的集成及决策鲁棒性。本综述全面阐述了当前大语言模型在数学推理与优化领域的进展与未来方向，并探讨了其在工程、金融及科学研究中的应用前景。
1. 引言
数学是人类认知的基础，支撑着科学、工程、医学、金融、计算机科学及社会科学的诸多分支。自然语言处理（NLP）领域自20世纪60年代起，构建能够求解数学应用题的模型便成为核心研究方向，该任务不仅能推动通用推理能力发展，更是实现通用人工智能（AGI）的关键路径。早期数学应用题求解主要依赖统计学习技术，随后语义解析与结构化表示方法的发展为现代基于深度学习的数学问题求解奠定了基础。近年来，预训练语言模型（PLM）与大语言模型（LLM）的兴起带来了突破性进展，BERT、RoBERTa、BART、GPT系列等模型通过在大规模语料上的学习，具备了通用语言与数值推理能力。为进一步提升PLM的数学推理能力，研究人员探索了在数学专用数据集上进行预训练与微调的技术，GenBERT、NF-NSM、MathBERT、LISA等模型通过将数值数据与数学表达式融入训练目标，增强了符号与数值推理能力，同时针对数学理解的专用损失函数与任务特定模块也被提出。以GPT-4为代表的大语言模型通过上下文学习（ICL）与指令学习（IL）实现了跨任务的泛化能力，参数量超过千亿的模型（如GPT-3、PaLM）配合思维链（CoT）推理与结构化示例，可有效解决复杂数学问题。CoT方法的演进催生了结构化推理、程序化推理框架及动态CoT模型，工具增强模型通过集成外部符号操作系统的进一步提升了性能，体现了神经与符号推理结合的优势。现有相关综述分别聚焦于深度学习数学推理方法、语言模型通用推理机制、CoT方法论、预训练与大语言模型概览及多模态数学推理等领域，为本研究提供了基础。
1.1 大语言模型衔接数学推理与优化
数学推理是人工智能逻辑推理、问题求解与数值计算的基础，大语言模型在定理证明、代数操作与结构化推理任务中表现优异，但将其应用于优化与控制等实际领域，需要模型具备迭代生成、评估与优化解的能力。经典优化方法（如混合整数规划的分支定界法、线性规划的梯度法）仍是核心工具，大语言模型可通过问题建模、约束生成与启发式搜索提供辅助，其优势在于利用预训练的符号数学知识构建并验证良态优化模型。大语言模型可将自然语言描述转化为结构化数学公式，例如在电池储能系统（BESS）优化中将成本最小化、削峰填谷或能量套利等高层目标转化为形式化模型，在线性二次调节器（LQR）控制场景中推导状态空间表示并计算反馈策略。现有综述多围绕推理能力、提示策略、模型架构或多模态扩展展开，本综述则聚焦数学推理与优化控制的融合，考察大语言模型的推理能力如何在下游决策流程（包括问题建模、约束生成、启发式搜索及与经典优化方法的交互）中落地，并延伸至时间序列分析在优化控制系统中的作用，形成连接基础推理技术与实际决策应用的统一视角。本文明确数学推理的范畴包含约束条件下的结构化问题构建、操作与求解，时间序列预测与优化等任务是推理过程的下游实现，后续章节将在推理基础上展示其在现实流程中的应用。文中统一术语：语言模型（LM）指代文本建模的概率模型集合，预训练语言模型（PLM）指BERT、RoBERTa等在大规模语料上预训练并通过微调适配的模型，大语言模型（LLM）指GPT-4等具备涌现推理与泛化能力的大规模自回归或指令微调模型。全文结构安排如下：第2章介绍驱动语言模型应用的核心数学任务类型；第3章阐述基于PLM的数学推理方法，重点讨论非自回归语言模型；第4章探讨基于LLM的数学推理方法；第5章对比各类数学LLM；第6章进行批判性分析；第7章开展性能分析；第9章研究LLM在时间序列分析中的应用；第10章对比常用LLM的技术特性；第11章讨论LLM在优化与控制中的角色；第12章指出开放挑战与研究方向；第13章总结全文。
2. 数学任务
数学任务分为数学计算与数学推理两大核心领域。
2.1 数学计算
语言模型的兴起深刻影响了计算研究，尤其在算术运算领域。早期语言模型仅将数字视为文本标记，算术能力有限，而随着模型演进，即使未设计专用数值表示，通过专用数据集微调也可习得算术技能。
2.1.1 算术表示
初期数值常被忽略、简化或作为普通文本标记处理，导致数学任务性能不佳，例如BERT在DROP基准测试中，答案为数值时的表现比答案为文本跨度时差5倍。为此，研究人员提出了多种改进数值表示的技术：GenBERT采用数字级分词并在算术应用题上微调；相关研究将数字转换为科学计数法以提升理解；部分研究将数字嵌入整合为单一嵌入；另有方法利用数字循环神经网络（digit-RNN）与指数嵌入，强调指数而忽略尾数；GOAT引入一致分词（Consistent Tokenization）提升数值表示的连贯性。这些技术共同优化了语言模型对数值的解释、存储与操作能力。
2.1.2 算术计算
语言模型的算术计算能力是研究热点。早期研究聚焦加减法等基础运算，近期已扩展至多位数乘法。关键发现包括：研究人员评估了GPT-4、Galactica、LLaMA等多种LLM的算术能力；专用提示工程可显著提升加法准确率，但超过7位的乘法运算仍具挑战性；长度泛化研究通过相对位置嵌入与训练集预置实现；ScratchpadGPT利用思维链（CoT）提示提升加法准确率；GOAT通过监督指令微调改善大整数算术运算性能；MathGLM将复杂算术表达式分解为简单子问题，提升模型精度。这些进展体现了语言模型在算术计算中的日益成熟及其在计算数学中的潜在应用。
2.2 数学推理
数学推理是人工智能的核心能力，使模型能够理解、解释并解决复杂数学问题，主要分为数学问题求解与定理证明两大方向。
2.2.1 数学问题求解
数学问题求解要求语言模型运用逻辑推理与计算模型处理不同复杂度的问题，可分为情境化问题（需理解场景并转化为数学问题后分步求解）与直接数学问题（无需情境解读直接计算）。代表性进展包括：MathPrompter利用GPT-3 DaVinci求解数学应用题；拒绝采样微调（RFT）提升语言模型的数学推理能力；MetaMath通过生成合成数学问题实现自我改进；WizardMath通过进化指令微调优化推理技能；MathAttack评估模型在数学问题求解中对对抗样本的鲁棒性；LLEMMA作为开源数学推理专用语言模型被提出。这些模型反映了学界提升语言模型数学推理能力的持续努力。
2.2.2 定理证明
定理证明（TP）是利用形式逻辑与结构化推理验证数学命题的挑战性任务。近年研究探索了语言模型结合深度学习与形式证明验证系统的能力。关键进展包括：GPT-f利用深度学习方法生成证明策略；相关研究提出将非正式证明融入定理证明模型以增强推理能力；NaturalProofs构建了全面的定理证明模型评估语料库；DeepMath与INT评估了语言模型在定理证明中的泛化能力；CoqGym提供了人类书写证明的数据集以支持模型训练；ASTactic利用深度学习自主生成证明策略；LLEMMA探索自动形式化与策略预测以实现数学证明生成。尽管成果显著，神经文本生成的幻觉问题仍是核心挑战，逻辑推理错误会在证明步骤中累积，亟需鲁棒的验证机制保障AI生成证明的数学严谨性。数学推理与算术问题求解是提升语言模型结构化推理能力的关键步骤，未来研究将聚焦可解释性、错误消减及神经-符号推理的无缝集成。
3. 基于预训练语言模型（PLM）的数学推理方法
基于Transformer架构的PLM通过预训练-微调范式深刻影响了自然语言处理领域，可分为三类核心架构：以GPT系列为代表的自回归解码器模型、以BERT和RoBERTa为代表的掩码双向编码器模型，以及以T5为代表的编码器-解码器序列到序列模型，为数学推理模型奠定了结构化推理、定理证明与算术问题求解的基础。
3.1 自回归语言模型
自回归语言模型（ALM）按序生成文本，每个标记基于前文预测，主要包括因果解码器（如GPT-1、GPT-2）与编码器-解码器架构（如T5）。相关研究通过适配自回归模型提升数学推理能力：GPT-f探索自动化定理证明，展示了大模型生成形式化证明的潜力；表达式指针Transformer（EPT）解决表达式碎片化问题，增强符号数学任务的方程求解能力；“生成-排序”（Generate & Rank）引入排序后处理机制优化数学应用题的解质量；THOR将定理证明融入语言模型，利用逻辑推理提升演绎能力；超树证明搜索（HTPS）优化证明搜索策略，在定理证明的效率与准确率上超越GPT-f；Galactica通过改进预训练与微调技术在MATH等基准上优于传统PLM。此外，专用数据集与微调方法进一步提升了性能：MATH-PLM揭示了PLM在数学推理中的扩展挑战并提供基准数据集；LISA利用形式化证明结构构建定理证明模型；PACT引入自监督学习增强证明项生成的准确性与可解释性；Minerva在技术数学内容上微调PLM，在多类数学推理任务上达到最优性能；LIME提出新型预训练策略注入数学推理偏差，性能优于传统Transformer模型。自回归语言模型建模复杂序列依赖的能力使其特别适用于定理证明、符号操作与结构化逻辑推理任务。
3.2 掩码双向编码器模型
非自回归语言模型（NALM）通过并行生成多个标记（而非序列生成）提升效率，BERT与RoBERTa采用的掩码标记预测机制使其能更有效地学习上下文表示，适用于需强理解能力而非生成能力的NLP任务。在数学推理领域，BERT的微调变体表现优异：Aristo适配BERT求解科学考试题，验证了其在结构化推理问题中的能力；GenBERT与NF-NSM将数值数据融入预训练目标，增强数值推理；MWP-BERT通过数值增强预训练改进数学应用题的数值表示；MathBERT联合训练文本与数学公式表示，提升数学理解能力；TAGOP、MT2Net与DeductReasoner利用PLM实现高级数学运算与逻辑推理；BERT-TD应用对比学习改进数学应用题的模式识别。尽管NALM并非天生适用于生成任务，但其双向编码能力使其在数学理解中表现卓越，通过掩码语言建模与上下文标记嵌入捕捉复杂数学结构，提升方程解析精度。
3.3 讨论与未来方向
PLM方法在数学推理中取得了显著进展，尤其在定理证明、算术计算与数学问题求解方面，但仍存在挑战：数值精度方面，浮点表示误差导致PLM难以完成精确算术计算；长程依赖方面，复杂数学证明需要的深层推理链超出了当前模型的有效记忆范围；证明生成幻觉方面，模型易生成看似合理实则错误的证明；神经-符号混合方法方面，将PLM与符号求解器集成可提升数学推理的严谨性与正确性。未来研究应聚焦可解释性提升、幻觉消减及结构化推理模块的集成，随着PLM的持续演进，其在自动化定理证明与数学建模中的作用将进一步扩大。
4. 基于大语言模型（LLM）的数学推理方法
大语言模型革新了文本处理与生成，并将能力扩展至数学推理领域。由于数学遵循结构化的语言与符号规则，具备规则理解能力的大语言模型成为多领域问题求解的强大工具。现有LLM数学推理研究可分为四大方向：指令学习、工具方法、基础思维链（CoT）技术及高级CoT方法，四者并非互斥，而是指令学习引导推理启动、CoT结构化推理过程、工具使用增强执行的分层互补关系。
4.1 指令学习
指令学习通过结构化任务构建、监督微调与上下文学习提升LLM的数学推理能力。指令构建包括自动生成结构化解释以优化模型能力，例如Auto-explanation使LLM构建自解释数学数据集，RefAug利用GPT-4o增强数学推理数据，Evol-Instruct通过迭代优化机制生成并优化指令提示，结合WizardMath的RLEIF优化方法；EURUS将CoT与外部工具集成，利用直接偏好优化（DPO）与噪声对比对齐（NCA）优化推理路径。指令微调通过对齐模型输出与人类意图提升性能，例如MathGLM与GOAT通过结构化分词改进算术运算，Calculon采用数字分解提升数值精度，PaLM 2-L-Math结合解重排序与多数投票提升推理性能，LLEMMA在数学语料上预训练并集成Python解释器执行符号计算，Qwen2.5-MATH与InternLM-Math通过迭代微调与奖励建模优化数学理解与准确率。上下文学习（ICL）通过推理时提供任务示例（无需修改参数）增强推理能力，例如ScratchpadGPT通过生成中间推理步骤改进多步计算，Codex-math在数学代码任务上微调实现自动化求解，LAMBADA引入反向推理引导模型逆向求解，LogicSolver将代数逻辑嵌入上下文提示以提升可解释性。
4.2 工具方法
LLM可通过集成符号求解器与编程工具增强数学推理能力。单工具方法聚焦LLM与特定符号推理框架的结合，例如SymbLLM利用符号求解器提升数学应用题求解能力，LeanReasoner集成Lean定理证明保障逻辑一致性，PAL通过生成Python程序作为中间推理步骤改进问题求解。多工具方法支持LLM与多个外部工具的交互，例如Toolformer为LLM配备计算器、搜索引擎与符号计算系统的API，ART在此基础上扩展自动化检索式工具选择，动态匹配最适合当前问题的工具。
4.3 基础思维链（CoT）方法
思维链（CoT）推理通过将问题分解为逐步逻辑序列提升LLM的数学任务性能。Auto-CoT通过聚类代表性问题自动生成有效推理示例，减少人工提示工程的依赖；拒绝采样微调（RFT）通过拒绝采样过滤错误推理链，优化求解路径；PromptPG-CoT利用强化学习优化CoT提示，提升跨数学任务的泛化能力。
4.4 高级思维链（CoT）方法
验证类方法通过引入自验证机制增强推理能力，例如VerifyCoT保障演绎一致性，SSC-CoT验证中间步骤以防止推理错误累积。集成类方法通过聚合多条推理轨迹提升准确率，例如Self-Consistency从多个采样响应中选择最高频解，MCR对不同推理路径进行多数投票。规划类方法通过分层组织推理实现结构化求解，例如思维树（ToT）将问题求解构建为树状过程，探索多推理路径；思维图（GoT）扩展为图结构推理，捕捉逻辑步骤间的复杂依赖关系。自校正方法引入迭代反馈循环优化响应，例如STaR与CoRe利用蒙特卡洛树搜索（MCTS）迭代改进生成的解；OmegaPRM应用自动化监督增强Gemini的数学推理能力。苏格拉底教学法通过结构化提问优化数学理解，例如苏格拉底模型（SM）集成对话式学习，使LLM能够交互式探索数学概念。
4.5 未来方向
尽管LLM数学推理进展显著，仍存在挑战：鲁棒验证方面，确保LLM生成可证明正确的数学解仍是开放问题；复杂证明处理方面，当前模型在形式化定理证明的多步逻辑演绎中表现不足；神经-符号混合方法方面，符号求解器与LLM的结合可提升数学准确性与可靠性。未来研究应聚焦推理一致性改进、交互式问题求解框架集成，以及通过神经-符号混合方法增强数学理解。
5. 数学大语言模型对比
数学LLM在MATH基准、几何推理等任务上快速演进，通过多样化的架构设计、训练方法、推理策略与工具集成提升性能。闭源模型（如GPT-4、Gemini-Ultra）性能领先于开源模型，为缩小差距，Deepseek推出了领域专用模型spmath，基于DeepSeekMath语料（通过fastText分类器从Common Crawl筛选的1200亿数学token）训练，初始化自DeepSeek-Coder-Base-v1.5 7B，在MATH基准上优于Minerva 540B，并在CMATH、AGIEval等多语言任务上表现强劲。代码预训练被证实可增强数学推理能力，spmath-Instruct 7B通过思维链（CoT）、程序思维（PoT）与工具集成推理微调，性能媲美70B开源指令微调模型。Deepseek提出的组相对策略优化（GRPO）消除了评论家模型，显著降低训练成本，在GSM8K与MATH基准上实现性能提升。研究还构建了连接RFT、DPO、PPO等强化学习微调方法的统一范式，并通过迭代fastText分类器构建DeepSeekMath语料，避免GSM8K、MATH等评估数据集的污染。评估显示spmath-Base 7B超越Mistral 7B与Llemma 34B，在miniF2F定理证明任务上表现优异，并在MMLU、BBH等通用推理及HumanEval、MBPP等代码任务上具备竞争力。监督微调后，spmath-Instruct 7B优于所有7B模型，性能接近InternLM2-Math 20B、WizardMath 7B等70B指令微调模型。
5.1 思维链（CoT）推理
CoT提示是LLM数学推理的核心进展，基础CoT（F-CoT）广泛应用于MATH-PLM、ControlMath、EURUS等模型，支持结构化多步解生成。高级CoT（A-CoT）在ToT、Self-check、Reflexion等模型中实现，支持解的迭代优化。QwQ、o1、LLaVA-o1等模型采用长CoT，扩展上下文推理能力以应对更复杂问题。
5.2 外部工具集成
工具集成是模型差异的关键因素，Toolformer、LeanReasoner等集成外部符号求解器与计算器，Codex-math、MuMath-Code等依赖程序化推理，动态执行数学脚本并验证计算，这类工具增强方法普遍优于纯神经推理模型。
5.3 训练范式：预训练、微调与提示工程
数学LLM的训练策略分为预训练（Pre-T）、微调（FT）与提示工程。预训练模型（如Minerva、GPT-4o、Gemini）在大规模数学语料上训练后适配特定任务；微调模型（如WizardMath、InternLM-Math）通过领域自适应优化推理能力；提示驱动模型（如PAL、PoT）依赖结构化提示设计，在零样本与少样本学习中更具灵活性。
5.4 面向数学推理的强化学习
近端策略优化（PPO）与直接偏好优化（DPO）等强化学习技术被用于优化解生成过程。WizardMath、InternLM-Math等利用PPO通过迭代自我改进提升性能；EURUS、V-STaR等基于DPO根据用户偏好与排序机制优化输出；Step-DPO、Flow-DPO等近期进展将结构化规划融入强化学习，优化问题求解路径。
5.5 多模态能力
多数数学LLM聚焦文本推理，但多模态模型（如GPT-4 V、Gemini、GLM-4 V）通过集成图文输入处理含图表、公式的数学问题。Math-LLaVA、AtomThink等通过专用数学数据集微调扩展多模态推理能力，但多数模型仍缺乏此类能力，是多模态数学推理的重要发展方向。
5.6 开源与闭源模型
开源模型（如EURUS、Qwen-Math、LINC）提供透明度与可定制性，闭源模型（如GPT-4o、Gemini、o1）性能领先但限制外部修改，性能与可及性的权衡是模型选择的核心考量。数学LLM在推理能力、工具集成与训练方法上持续进步，未来将聚焦多模态推理增强、工具集成优化及自改进学习机制，以实现更高精度与效率的复杂数学问题求解。
6. 数学语言模型批判性分析
基于模型对比表，从训练策略、推理机制、工具集成、强化学习、多模态与可及性等维度分析当前数学LLM的特征与局限。
6.1 预训练与微调：泛化vs专精
GPT-f、LISA、Minerva、MWP-BERT等预训练模型依赖大规模数学语料，具备强零样本泛化能力，但缺乏结构化推理能力（无CoT与强化学习优化）。ControlMath、EURUS、WizardMath、InternLM-Math等微调模型通过领域自适应与强化学习（PPO、DPO）提升任务性能，但可能降低跨领域鲁棒性。预训练提供广度，微调提供深度，当前趋势为二者结合。
6.2 工具增强推理vs纯语言推理
Toolformer、PAL、PoT、LeanReasoner等工具增强方法在代数操作与数值计算上精度与可靠性更高，符号方法（如GPT-f、LINC）保障形式化正确性但灵活性不足。CoT、ToT、Reflexion等无工具方法部署灵活，但易出现幻觉与算术错误，体现了精度与灵活性的权衡。
6.3 思维链推理的演进
从基础CoT（F-CoT）到高级CoT（A-CoT）再到长CoT，推理策略发生显著转变。F-CoT（如CoT、MATH-PLM）提供基础分步推理，但缺乏探索与验证机制；A-CoT（如ToT、Self-Consistency、GRACE、Reflexion）引入搜索、验证与迭代优化，大幅提升性能；QwQ、o1等长CoT模型支持更深层次推理与复杂问题分解（常结合强化学习），但推理深度增加会提升计算成本并可能导致错误累积。
6.4 强化学习的作用
强化学习在提升推理质量中的作用日益凸显。PPO类方法（如WizardMath、InternLM-Math）与DPO类方法（如EURUS、Step-DPO）帮助模型对齐正确推理过程，OmegaPRM等近期方法聚焦过程级监督。但强化学习依赖高质量奖励信号，存在过拟合风险与训练复杂度高的挑战。
6.5 多模态：机遇与局限
GPT-4 V、Gemini、Qwen2-VL、Math-LLaVA等多模态模型将数学推理扩展至图表、手写公式等视觉输入，但当前多模态方法多采用浅层推理策略，符号操作精度不足，视觉理解与形式化推理的集成仍有限，是多模态数学推理的核心开放问题。
6.6 可及性与可复现性
闭源模型（如GPT-4o、Gemini）性能优异但限制复现，开源模型（如EURUS、Qwen-Math、LeanReasoner）促进透明化与社区开发，但性能略低，体现了性能与可及性的权衡。
6.7 关键局限与未来方向
现存挑战包括：长推理链的错误传播、纯神经方法的符号严谨性不足、工具与推理的集成薄弱、高级推理策略的计算成本高、缺乏标准化评估基准。未来研究应聚焦结合强预训练、工具集成、高级推理与强化学习的混合方法。当前数学LLM可从推理深度、工具使用、训练范式与模态四个维度理解，最优性能正越来越多地来自集成多种能力的混合系统。
7. 数学语言模型性能分析
数学LM在不同基准上表现各异，MATH、GSM8K、AGIEval等基准覆盖不同难度与问题类型。传统NLP指标（如准确率、困惑度）不足以评估数学推理，数值预测需采用平均绝对误差（MAE）、均方根误差（RMSE）等回归指标，调整困惑度（Adjusted Perplexity）也被提出以适配数值标记分布。部分基准采用专用评估策略，如MATH强制答案格式一致性，AGIEval对填空题采用精确匹配与F1分数，近期研究还探索基于LLM的自动评分以评估推理质量。
基于性能对比表的结果显示：文本方法中，Codex-math在MATH上准确率达81.8%，QwQ达90.6%；GSM8K上MCTSr以96.6%领先，Diversity-of-Thought（96.3%）与Step-DPO（94.0%）紧随其后；AIME上Self-check以81.2%最优；ASDiv上EURUS以93.0%领先。数据集特异性表现方面，PoT在MathQA上达89.1%，CR在FOLIO上达98.0%。InternLM-Math与Qwen-Math综合表现突出，Qwen-Math在GSM8K与MMLU上分别达91.6%与82.8%。多模态模型整体优于文本模型，o1在MATH、MMLU、AIME上分别以94.8%、92.3%、83.3%领先，GPT-4o在MMLU上达88.0%，Qwen2-VL与AtomThink在多模态数据集上表现 competitive，后者在Math-V上达40.5%。
7.1 性能趋势与局限性分析
结果揭示五大趋势：其一，结构化推理策略（CoT、自一致性、基于搜索的方法）显著提升复杂基准性能，表明推理质量比模型规模更关键；其二，工具增强与程序化方法在需精确计算的基准（如MathQA、SVAMP）上表现优异，但依赖结构化问题表示，在抽象推理任务上受限；其三，Qwen-Math、InternLM-Math等模型通过大规模数学预训练与指令微调实现跨基准稳定性能，而高度专用方法（如CR在FOLIO、Self-check在AIME）虽在特定数据集上最优，但泛化性不足，反映数据集特定优化可能导致过拟合；其四，强化学习与偏好优化方法通过优化中间推理步骤提升性能，但依赖高质量奖励信号，限制可扩展性；其五，多模态推理在复杂基准上优势明显，但视觉推理与形式化数学推理尚未完全集成。现存局限包括：多步推理的错误传播、纯神经方法的数值与符号精度不足、跨数据集性能波动、鲁棒性欠缺、高级推理策略的计算开销大。最优系统正朝向结合预训练、结构化推理、工具集成与强化学习的混合架构发展。
7.2 错误分析与失败模式
仅报告准确率不足以刻画模型可靠性，基于MATH、GSM8K的步骤标注与PRM800K的过程级监督，可将错误分为三类：计算错误（算术失误、符号操作错误）、逻辑/多步推理错误（中间推导违反代数或演绎约束并传播）、语义误解（未能将问题描述转化为合适数学模型）。验证与集成方法（如Self-Consistency、Verify-CoT、基于PRM800K的过程监督模型）表明错误具有系统性而非随机性，未来评估需联合报告最终准确率与中间步骤错误分布，尤其在安全关键的优化与控制应用中。
8. 数据集
为训练与评估语言模型的算术与数学推理能力，学界开发了多类数学应用题（MWP）数据集，分为训练、基准与增强数据集三类。
8.1 训练数据集
数学计算数据集从文本中提取数值信息，包括含患者结构化属性的临床数据、含研究论文内容的科学数据、覆盖35万名词动词标量属性的DoQ、编码动作-对象关系的VERBPHYSICS，以及测试对抗性问题离散推理的DROP。数学应用题数据集涵盖聚焦加减法的AddSub、覆盖乘除法的SingleOp、需多步推理的高质量小学数学题GSM8K、含结构化方程的Math23k与MATHPILE、支持方程映射的Dolphin1878与SingleEq，以及扩展问题多样性的HMWP（含多语言与多选题的MathQA）。定理证明数据集包括提供结构化定理证明的Feit-Thompson与IsarStep、集成证明策略的CoqGym与LeanStep，以及覆盖形式与非形式数学的NaturalProofs。
8.2 基准数据集
基准数据集用于评估数学推理能力，包括含多样MWP的MAWPS与Dolphin18K、提供竞赛级问题分步解的MATH、将GSM8K扩展至10种语言的MGSM、跨Lean、Isabelle与HOL Light的神经定理证明基准miniF2F，以及提供一阶逻辑推理标注的FOLIO。多模态基准评估视觉-语言模型，包括基于图表的MathVista、聚焦大学级问题求解的MMMU-Math与U-Math。
8.3 增强数据集
增强数据集通过扩充现有语料提升模型能力，包括扩展AllArith的Aggregate、通过GPT-4重构问题的MetaMathQA、生成5万新问题的Math5K。为增强推理透明度，MathQA-Python将文本转为代码，Lila提供Python解，PEN标注代数解释，PRM800K标注分步推理正确性，MiniF2F+informal与NaturalProofs-Gen为定理证明数据集引入非正式定理陈述。数据集的发展反映了研究从孤立问题求解向综合推理评估的演进，覆盖从小学算术到竞赛数学、形式定理证明及多模态理解的全谱系能力，训练集、基准与增强集的分离体现了方法论的成熟，推动模型从基准模式匹配迈向更通用的可靠数学智能。
9. 大语言模型在时间序列分析中的优化与控制应用
本节将数学推理的讨论扩展至时序领域，时序数据推理在优化与控制流程中至关重要。时间序列建模是现代优化与控制系统的核心，能源、金融、医疗、交通等领域的决策依赖需求、价格、流量、生理信号或系统动态的预测。LLM（如GPT-4o、LLaMA）的时序推理能力直接影响下游模型预测控制（MPC）、贝叶斯优化与数据驱动决策的效能。近期研究探索LLM在时序预测、分类与异常检测中的应用，将其作为优化流程的组件：金融领域用于市场趋势预测以指导投资组合再平衡；医疗领域基于电子健康记录与心电图信号的时序分类支持诊断与资源分配；交通领域时空预测为路由与拥堵缓解提供信息。时序推理为优化与控制提供了数据感知与状态估计层。
LLM应用时序数据面临异质时序格式导致状态编码困难、非平稳性与分布偏移引发概念漂移并传播至下游控制流程等挑战。当前研究通过五大策略将预训练LLM应用于时序分析：直接查询（快速场景评估）、分词（结构化状态表示）、提示工程（约束感知推理）、微调（领域自适应）及与经典时序和控制模型集成。
9.1 优化流程中LLM时序分析的分类体系
通用流程包括直接查询、微调或集成至混合架构，分别对应快速场景探索、自适应模型学习与嵌入预测-决策环路。直接查询方法（如PromptCast、LLMTime）通过结构化提示实现零样本或少样本时序预测，适用于需快速评估多假设轨迹的黑箱优化与贝叶斯优化。分词方法（如基于分块的表示、STL分解）将原始数值序列转为符号标记，作为紧凑状态表示支持时序推理与下游优化。提示设计通过上下文增强与软提示融入历史信息、外生变量与隐式约束，生成适配控制与决策的预测。微调方法（如LoRA）使LLM适配特定时序领域，提升非平稳环境下的鲁棒性以稳定下游优化。模型集成将LLM作为特征生成器或推理模块嵌入多模态混合架构，结合文本、视觉与时序数据支持事件预测、交通控制与临床决策，体现LLM时序推理与现实优化流程的融合。开放挑战包括：改进分词与提示方案以更好表征系统状态与时序约束、开发关联时序预测与控制动作的 Interpretability 方法、多模态融合以整合多源数据、提升分布偏移下的领域泛化能力、探究模型规模对预测精度与优化稳定性的缩放定律、构建闭环决策控制的时序LLM智能体，以及发展偏见、安全与不确定性估计方法以避免安全关键系统中的有害决策。
