《NEOTROPICAL BIOLOGY AND CONSERVATION》:KG-Augmented Executable CoT for Mathematical Coding
编辑推荐:
针对大语言模型在数学推理和代码生成中的局限性,本研究提出知识图谱增强的执行链式思考框架KGA-ECoT。通过构建任务图分解复杂问题,集成自适应GraphRAG机制精准检索符号推理知识库,并生成可验证的执行代码,显著提升计算准确性和模型可解释性。实验表明其准确率提升达十个百分点以上,有效解决LLMs的深层逻辑缺失与代码执行不可靠问题。
陈星宇|安俊秀|郭俊|王莉|郭静才
成都信息科技大学软件工程学院,中国成都,610225
摘要
近年来,大型语言模型(LLMs)在自然语言处理任务中表现出色,但在数学推理和代码生成等复杂推理任务中面临重大挑战。为了解决这些限制,我们将神经符号范式引入数学推理领域,并提出了KGA-ECoT(一种知识图谱增强的可执行思维链)。该框架将问题分解为结构化的任务图,结合自适应的按需GraphRAG机制从符号推理库中精确检索知识,并生成可验证的代码以确保计算准确性。这不仅提高了性能,还增强了模型的可解释性和可验证性,减少了其“黑箱”特性。在多个数学推理基准测试中的评估表明,KGA-ECoT的性能显著优于现有提示方法,绝对准确率提高了几个百分点到超过十个百分点。进一步分析证实了GraphRAG和外部代码执行的关键作用,验证了神经符号范式在复杂推理中的有效性。附录中提供了全面的实现细节和完整的提示模板,以确保可重复性。
引言
大型语言模型(LLMs),如ChatGPT(Achiam等人,2023年)和Llama(Grattafiori等人,2024年),彻底改变了自然语言理解和生成的能力。它们具有深度的语言理解能力、类似人类的文本生成能力、上下文意识以及强大的问题解决技巧,使其在各个领域都极具价值(Yao等人,2024年)。然而,目前尚不清楚LLMs是基于深度逻辑理解进行推理,还是依赖于表面模式匹配,这限制了它们在需要复杂推理的任务(如数学问题和代码生成)中的表现(Wang等人,2023a)。这些任务要求精确的逻辑推理和对特定领域知识的操作,而LLMs往往难以准确处理这些内容。
数学推理和代码生成对LLMs来说是一个独特的挑战。首先,数学问题通常需要多步骤推理,中间步骤中的错误(如单位或代数表达式的误解)可能导致错误的解决方案(Cobbe等人,2021年)。其次,生成可执行代码需要全面理解编程语法、库功能以及特定问题的约束,而LLMs在没有外部指导的情况下可能无法很好地整合这些内容(Chen等人,2021年)。第三,LLMs在处理代词指代时并不一致。即使在简单的自然语境中,相同含义的句子表述不同也可能导致模型识别准确性的显著差异(Gautam等人,2024年;Miao等人,2025年)。这些限制凸显了需要结构化框架来通过准确和可验证的代码生成来增强LLMs解决数学问题的能力(Gao等人,2023年)。
为了提高LLMs在数学任务中的推理能力,以往的方法主要依赖于针对特定任务的微调(Brown等人,2020年;Ouyang等人,2022年;Qu等人,2025年)。然而,基于梯度的这种方法通常在应对多样化任务时表现出有限的鲁棒性和泛化能力(Hu等人,2023年;Kirk等人,2023年;Kumar等人,2025年)。作为一种无需训练的替代方案,思维链(CoT)提示技术(Sprague等人,2024年;Wei等人,2022年;Zhao等人,2024年)作为一种强大的技术应运而生。通过上下文学习逐步引导模型进行推理,CoT显著提高了逻辑和算术任务的性能,而无需更新模型参数。尽管如此,即使是像CoT和思维图(GoT)这样的先进策略(Besta等人,2024年),也主要依赖于文本推理,这在需要数值计算或符号操作的数学任务中缺乏精确性和可验证性(Azerbayev等人,2023年;Nye等人,2021年)。
除了像CoT和GoT这样的结构化推理范式之外,检索增强生成(RAG)提供了一种不同的技术途径来弥补这些缺陷。通过从外部知识库中检索相关信息,RAG提高了生成内容的准确性、及时性和可靠性(Gao等人,2023年;Lewis等人,2020年)。然而,传统的RAG由于其以查询为中心的总结性质,在处理大型语料库的全局查询时存在局限性,限制了其在复杂推理场景中的有效性。为了克服这些限制,GraphRAG利用知识图谱捕获语义关系,实现了更精确和上下文感知的信息检索(Edge等人,2024年)。尽管前景广阔,但由于复杂的更新机制(新节点需要全局图更新)以及查询和目标向量空间之间的不匹配,GraphRAG的发展受到阻碍。这些限制限制了其在动态环境中的灵活性和实际应用。
虽然像Plan-and-Solve(Wang等人,2023c)、CODEPLAN(Wen等人,2024)和GoT这样的结构化框架改善了逻辑组织,但它们仍然受限于对文本生成的依赖,缺乏可执行代码的精确性和可验证性。同样,尽管GraphRAG增强了信息访问能力,但查询和节点嵌入空间之间的不一致性往往阻碍了其与推理过程的有效整合。为了解决这些明显的不足,我们提出了KGA-ECoT,这是一种将神经符号(NeSy)范式(Bougzime等人,2025年;Colelough和Regli,2025年;Honda和Hagiwara,2025年)引入数学推理的新框架。通过将CoT的结构化推理与GraphRAG的知识增强检索和可执行代码生成无缝结合,KGA-ECoT将部分黑箱推理过程转化为可验证和可控的符号操作。通过高效的语义对齐,我们的基于提示的、代理驱动的工作流程在不需要进行昂贵微调的情况下实现了持续的性能提升。
本文的主要贡献如下:
•KGA-ECoT框架:我们提出了一种结构化的CoT方法,整合了知识图谱和可执行代码生成。基于将神经网络和符号推理相结合的NeSy理念,我们的框架通过构建任务图和生成可执行代码,克服了LLMs对顺序文本推理的依赖,显著提高了复杂推理任务中的计算能力和解决方案准确性。
•分层图嵌入:为了解决节点嵌入和查询嵌入之间的匹配精度问题,我们引入了一种轻量高效图嵌入策略。通过简化机制将文本语义与目录级结构约束相结合,我们的方法有效地弥合了自然语言查询和结构化代码之间的差距。这种设计确保了高检索精度,同时避免了通常与训练和更新复杂图模型相关的巨大计算开销。
•实证验证:我们在多个数学推理基准数据集和不同规模及类型的基模型上展示了KGA-ECoT的卓越性能,突显了其在复杂推理任务中的潜力。
相关研究
近期LLMs的进步凸显了它们在多步骤推理任务中的局限性,促使研究人员探索结构化规划框架。在本节中,我们回顾了与我们方法相关的文献,重点关注两个关键领域:结构化推理方法(CoT和CODEPLAN)和GraphRAG。我们分析了这些范式的优势,并指出了具体的局限性,如缺乏精确的可执行性和嵌入空间
问题定义
给定一个数学问题Q,目标是生成可执行代码C,执行后产生最终答案A。我们将问题解决过程建模为一个任务图G,其中每个节点代表一个推理子任务,状态之间的转换由任务依赖关系决定,从而指导代码生成和推理执行。
用于数学编码的CoT
KGA-ECoT框架旨在通过生成可执行代码来增强LLMs在数学推理任务中的能力,克服了这些限制
实验
在本节中,我们系统地评估了所提出的KGA-ECoT框架在多种数学推理任务中的有效性和鲁棒性。首先介绍了用于比较的基准数据集和基线方法。随后,我们展示了不同规模的大型语言模型的主要实验结果,突出了我们的神经符号方法所取得的性能提升。最后,我们进行了详细的消融研究以定量分析
结论
在这项工作中,我们提出了一种新颖的神经符号框架KGA-ECoT,旨在显著增强LLMs的数学推理能力。KGA-ECoT通过任务图构建将数学问题重新表述并划分为一系列结构化的子任务,显著提高了问题的清晰度和逻辑连贯性。此外,它创新性地整合了一个自适应的GraphRAG机制,按需检索与计算相关的语法库,从而增强了
资助信息
作者感谢国家哲学与社会科学基金(编号22BXW048)提供的支持。
CRediT作者贡献声明
陈星宇:写作 – 审稿与编辑,撰写原始草稿,软件开发,方法论设计。安俊秀:写作 – 审稿与编辑,监督,项目管理,资金获取。郭俊:写作 – 审稿与编辑,监督,形式分析。王莉:写作 – 审稿与编辑,方法论设计。郭静才:写作 – 审稿与编辑。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。