FGeo-ISRL:基于MCTS算法的深度强化学习系统,通过逆向搜索解决平面几何问题 作者:李阳(Yang Li)、张小凯(Xiaokai Zhang)、秦成(Cheng Qin)、胡正宇(Zhengyu Hu)和冷拓(Tuo Leng)

《Symmetry》:FGeo-ISRL: A MCTS-Enhanced Deep Reinforcement Learning System for Plane Geometry Problem-Solving via Inverse Search Yang Li, Xiaokai Zhang, Cheng Qin, Zhengyu Hu and Tuo Leng

【字体: 大 中 小 】 时间:2026年04月14日 来源:Symmetry 2.2

编辑推荐:

  摘要:几何问题解决一直是演绎推理和人工智能领域中的一个巨大挑战。对称性是几何形状和属性的一个决定性特征。因此,将对称性原理应用于几何推理是一个自然的选择。为了解决效率下降和泛化能力有限的问题,我们提出了FGeo-ISRL,这是一个神经符号逆向搜索框架,其核心是任务定制的大型语言模

  摘要:几何问题解决一直是演绎推理和人工智能领域中的一个巨大挑战。对称性是几何形状和属性的一个决定性特征。因此,将对称性原理应用于几何推理是一个自然的选择。为了解决效率下降和泛化能力有限的问题,我们提出了FGeo-ISRL,这是一个神经符号逆向搜索框架,其核心是任务定制的大型语言模型和蒙特卡洛树搜索(Monte Carlo Tree Search)的协同集成。在FormalGeo的形式框架下,从给定条件和目标结论开始,迭代应用几何定理,以推断出必要的支持前提。大型语言模型同时作为策略网络和价值网络,指导定理应用决策并评估中间证明状态,而蒙特卡洛树搜索对状态空间进行结构化探索,既用于策略的训练也用于在线搜索的推理。强化学习代理通过结合价值差异的即时反馈和稀疏的成功奖励来训练。实验证明了FGeo-ISRL的有效性和正确性。它不仅实现了90.2%的单步定理准确率和83.14%的几何问题解决准确率,还确保了证明过程的每一步都是可读的、可验证的且可追溯的。

1. 引言
在数学中,对称性被定义为数学对象在某些变换或操作下保持不变的性质。这一概念在代数、组合学[1]等各个领域都得到了广泛研究,尤其是在几何学[2]中,几何对称性受到了相当大的关注[3]。几何问题解决一直是演绎推理和人工智能领域中的一个巨大挑战。其目标是从给定的几何条件出发,通过逻辑推理、定理应用和数学运算得出目标结论。这项任务的核心难点在于使计算机能够处理文本中的抽象逻辑关系和图形中的空间信息,同时在两种模态之间实现高精度的语义对齐[4]。
早期的自动化几何推理系统源于符号专家系统[5,6],主要是基于手动规则设计的,它们从给定条件开始进行正向搜索和推理。这些方法的主要优点在于其清晰的逻辑和可验证的结果[7,8,9]。然而,这些方法由于正向搜索的巨大空间复杂性[10,11,12]以及依赖于专家经验的有限覆盖范围[13,14,15]而性能下降。因此,它们的泛化能力较差,难以适应不同类型问题的多样几何结构和语义变换。
随着深度学习和大型语言模型(LLMs)的发展,研究人员开始尝试引入具有强大推理能力的模型[16,17,18],特别是基于Transformer架构的模型[19],将其应用于自动定理证明和几何问题解决任务[20]。这一方向标志着机器智能在形式推理领域的重大进展,并大大扩展了人工智能在数学中的应用前景。利用LLMs的自然语言理解和生成能力,系统可以为几何问题提供直观的解释和解决问题的策略[21]。尽管LLMs在问题解决方面取得了积极的影响,但它们提供的建议不能被视为严格的数学定理证明[22]。此外,神经网络架构的固有黑箱性质[23]使得理解其内部逻辑变得具有挑战性,从而妨碍了准确且可验证的问题解决路径的推导。此外,缺乏评估可执行步骤序列的精确指标也阻碍了通过输出定理序列来验证问题完整和正确解决的可能性。此外,仅使用LLMs需要大量的手动标注数据,这成本非常高。因此,通过自然语言模型直接推断几何问题的可解性仍然是一个高度具有挑战性的任务[24]。
我们使用FormalGeo几何形式化系统作为解决几何问题的基本工具和理论基础[25]。该系统确保了信息集成的有效性和一致性,同时保持了几何变换的不变性。此外,该系统整合了多个数据集,包括Geometry3k[26]、GeoQA[27]、GeoQA+[28]和其他在线资源,从而构建了一个名为FormalGeo7K[29]的新数据集。
在FormalGeo系统的基本逆向求解方法基础上,我们构建了FGeo-ISRL,一个通过启发式方法和强化学习驱动的几何问题解决系统。FGeo-ISRL代表了一种典型的神经符号架构[30],它将AI代理的自适应学习能力与形式几何推理的结构化精度相结合。采用对抗性游戏机制来提高性能已成为一种常见且有效的策略[31]。我们引入了一种创新设计,其中预训练的自然语言模型被分解为两个专用组件:一个价值网络和一个策略网络,与蒙特卡洛树搜索(MCTS)相结合。这种架构使系统能够从提供的条件和目标目标开始进行推理,通过迭代整合定理前提来更新状态。通过整合强化学习和MCTS,该框架有效地降低了数据获取成本。实证结果进一步表明,与传统推理方法相比,这种方法实现了有效的泛化性能和推理效率。

我们的贡献可以归纳如下:
1. 我们提出了FGeo-ISRL,一个利用逆向搜索和强化学习的新型神经符号框架,用于几何问题解决。符号组件是FormalGeo的形式化系统,而神经组件是一个预测系统,它利用优化的策略网络直接选择定理,并使用价值网络来评估状态转换,同时借助MCTS的奖励进行辅助。
2. 我们提出了一种条件-目标联合逆向推理机制,以解决传统正向推理中观察到的效率下降和泛化能力有限的问题,其中推理过程仅从给定条件开始,随着定理链条的增长而变得不那么有效。通过同时利用初始条件和目标结论,我们的方法逆转了推理方向,显著提高了复杂几何问题解决中的推理效率和成功率。
3. 我们在自我对弈优化范式下整合了强化学习和MCTS,使模型能够迭代地细化定理选择策略和推理路径,而无需大规模的手动标注中间推理数据。这种整合有效地降低了监督成本,同时增强了模型的泛化和搜索效率。
4. 我们引入了一个步骤级推理评估框架,该框架结合了单步定理准确率(SSTA)指标来衡量每个推理步骤的精确度以及整体几何问题解决准确率(GPSA)。在FormalGeo7K数据集上进行的广泛实验表明,FGeo-ISRL实现了90.2%的SSTA和83.14%的GPSA。此外,我们通过移除价值网络或策略网络并替换替代搜索策略进行了全面的消融研究,以量化每个模块的单独贡献,并分析其对定理预测准确性和问题解决成功的影响。

2. 相关工作
在自动化几何推理领域,启发式算法和强化学习(RL)已成为提高问题解决效率和适应性的关键方法。
启发式算法在早期符号系统中发挥了核心作用,通过基于规则的策略、经验知识和局部搜索机制来指导几何推理[32,33]。诸如GeoS[34]、InterGPS[26]和FGeo-SSS[35]之类的系统采用了基于启发式的搜索来构建几何命题的逻辑证明路径。AlphaGeometry[36]引入了一种启发式搜索框架,显著减少了冗余的推理分支,提高了解决复杂问题的速度和准确性。它与Wu方法[37]等经典符号方法的结合展示了结合符号和神经技术的好处。其后续系统AlphaGeometry2[38]进一步纳入了基于启发式学习的经验共享机制,显示出在多样问题集上的改进泛化能力。然而,传统的启发式方法往往难以处理大型和复杂的系统空间,导致性能不稳定。为了克服这些限制,最近的研究引入了MCTS作为一种更稳健的启发式方法[39],使用广泛的模拟和基于单步推理成功率的奖励机制来指导更好的定理选择序列。
与此同时,强化学习在几何定理证明领域也获得了关注,因为它能够从反馈中学习推理策略,而不是静态标签[40],这与人类推理过程更为相似。与手动设计的启发式方法相比,RL提供了更好的适应性和泛化能力,特别是在复杂问题设置中。例如,GeoDRL[41]使用Deep Q-Network训练代理来最小化不必要的推理路径并识别最优推理序列。E-GPS[42]通过RL结合自下而上的数据生成与自上而下的解决策略,而rStar-Math[43]提出了基于Q值的程序偏好模型来提高搜索效率。尽管取得了有希望的进展,但在几何推理中应用深度强化学习仍然不够充分[44,45,46]。最近的进展将DRL与MCTS[47,48]结合在博弈论框架中,利用大规模模拟和预训练的策略/价值网络来实现更高的稳定性和准确性。

3. FGeo-ISRL
3.1. FormalGeo系统
作为平面几何的一致和可扩展的形式系统,FormalGeo旨在解决三个核心挑战:几何知识的不一致形式化、问题解决程序的不可读性以及缺乏标准化的几何证明方法。它基于几何本体论,将平面几何知识抽象为两个维度:量和形式,以及静态属性和动态过程。它不仅涵盖了点、线和圆等拓扑结构,还包括长度和角度等度量信息,还涵盖了几何实体的静态属性和定理推导的动态过程,建立了包含88个几何谓词和196个几何定理的知识库。该系统的核心优势在于其一致性和可追溯性:它消除了自然语言和图表表示中的歧义。所有支持的数据集都配备了完整的形式化注释和可验证的定理序列。同时,提供了标准化的系统接口来支持神经符号系统的构建。
FormalGeo整合了三种类型的核心语言。几何定义语言(GDL)作为知识库构建的元语言,分为谓词定义和定理定义模块。它将求解器代码与几何知识解耦,允许用户扩展新的几何知识;其提出的抽象层次设计可以减少推理路径的长度。条件声明语言(CDL)作为指定具体几何问题的接口。它通过构建语句(Construction CDL)、条件语句(Text CDL/Image CDL)和目标语句(Goal CDL)分别表征图形的拓扑结构、明确和隐含的给定条件以及解决目标,实现了自然语言、图形信息和问题解决目标的统一形式转换。几何谓词逻辑(GPL)作为执行引擎的核心逻辑层和核心逻辑语言,定义了包括受限笛卡尔积、集合并集和集合差集在内的几何上下文逻辑运算。通过三个阶段的流程——解析、规范化和执行——它整合了符号逻辑推理和数值代数计算,保证了推理的效率和可追溯性。
Formal几何问题求解器(FGPS)是一个基于FormalGeo框架构建的模块化求解器,由五个组件组成:解析器、核心控制模块、核心求解引擎、数据模块和外部接口。它支持交互式验证和自动化求解,并可以生成可读和可追踪的问题解决程序。FGPS实现了两种基本的搜索方法:正向搜索从初始给定条件开始,通过匹配和应用定理来推导新条件,直到满足目标。反向搜索从问题目标开始,将其分解为子目标,并递归检查这些子目标是否满足给定条件或已被证明。为了确保系统问题解决过程的人类可读性,FormalGeo系统集成了基于规则映射的语法映射器,将问题解决程序转换为自然语言。在之前的工作中,自然语言到形式语言的转换主要是手动进行的。然而,在后续工作中,我们使用大型语言模型在自动化形式化方面取得了实质性进展[46]。

3.2. 推理环境
我们借助FormalGeo环境将几何问题的解决建模为一个马尔可夫决策过程(MDP)。在MDP中,我们利用超图结构[49]将几何问题解决过程表示为一个状态转换系统:图中的每个节点对应一个状态(包括问题的初始条件或通过应用定理的前提得出的中间条件),而节点之间的边表示定理的应用,从而实现从一个状态到另一个状态的转换。我们将问题解决过程进一步表示为定理应用的过程,并将其转化为关系推理、代数计算和逻辑运算,以确保问题解决过程的正确性。在这个系统中,如果某个状态节点中积累的条件满足目标条件,则确定问题已经成功解决。从初始状态到终止状态的一系列定理应用构成了一个有效的证明路径。关于搜索方法,FormalGeo系统实现了基本的前向搜索和后向搜索。前向搜索从给定条件开始,通过匹配定理的前提来解决问题;而后向搜索则在分解目标后,与定理的结论进行匹配。然而,这两种方法都产生了相对僵化的搜索路径,缺乏足够的指导,导致搜索空间过大,并且未能有效利用条件与目标之间的内在联系。为了解决这个问题,本研究提出了一种称为逆向搜索的新方法,该方法以给定条件和解决目标的合并状态作为初始状态。图1展示了本工作中提出的逆向搜索与前向搜索和后向搜索的示意图比较。图1. 不同搜索方法之间的差异。与这两种基本搜索方法不同,逆向搜索不仅仅基于纯粹的目标分解或状态推进。相反,它从条件和目标的合并状态开始,并迭代地整合匹配的定理前提,直到满足目标状态。通过合并条件和目标,逆向搜索利用了人类对问题条件和目标之间相关性的直觉[50],提供搜索启发式和方向,进一步缩小了搜索空间并提高了搜索效率。在这个环境中,逆向搜索的起始状态??0由一组初始问题条件和目标目标定义。通过应用定理,中间条件逐渐被添加并与当前状态整合,从而产生逐步推进推理过程的更新状态。一旦某个状态的累积条件集满足最终目标条件集G,就可以认为推理是成功的。FGeo-ISRL的总体架构如图2所示。FGeo-ISRL的推理系统是一个神经符号框架,通过深度强化学习和MCTS实现几何问题的自动逆向求解。几何问题首先由FormalGeo系统处理,然后传递给系统代理进行推理。在代理内部,MCTS增强的策略网络指定了要执行的定理,参数适配器为选定的定理执行参数实例化。推理系统完成执行并更新状态后,价值网络用于评估更新状态以确定推理路径是否正确。图2. FGeo-ISRL系统的总体架构。3.2.1. 奖励由于逆向推理的复杂性以及加速学习过程所需的细粒度反馈,我们设计了一个基于价值网络的即时奖励函数[51](见第4.3节)。价值网络???(????)评估每个状态的潜在价值,表示从该状态达到目标状态的可能性。我们在方程(1)中定义了即时奖励函数????。该方程首先对价值向量应用线性变换,并通过Sigmoid函数将网络输出压缩到区间[0,1]内;然后比较Sigmoid空间中后续状态和当前状态的标准化值,以量化单个定理应用引入的价值增量,从而为策略网络和MCTS提供连续且细粒度的正向或负向反馈信号。由于价值网络是通过预训练初始化的,以便于冷启动,其状态评估能力主要来自于FormalGeo7K中高质量的人工注释数据。同时,由于证明步骤的数量不一致和定理序列长度的显著波动,累积奖励会有很大的变化。为了减轻奖励跳跃问题,我们实施了实时均值归一化,确保奖励信号始终保持在相似的数量级内。这种稳定性使得学习过程中的优化器步长更加平滑和一致。????=???(?????????(????+1)+???(?????????(????)+??) (1)为了促进向最终问题解决目标的收敛,每当????+1 =??时,会额外分配一个奖励1。这种混合奖励方案结合了终端奖励和即时奖励,确保了搜索的灵活性,同时保持了对于证明完成的严格关注。关键的是,这种设计防止了模型过度优化中间奖励信号而不是最终目标。这样的塑造项有效地引导模型朝向终端解决方案状态。3.2.2. 行动空间初始的定理库包含196个基本的几何定理和公理。然而,FormalGeo系统对几何拓扑结构的严格要求意味着,在人类推理中具有认知特异性的定理需要被划分为多个分支,以适应不同的拓扑配置。此外,由于几何图形本身具有对称性,在不同方向应用相同的定理需要不同的参数序列。为了确保正确的定理执行,我们通过定义定理的特定分支作为独立动作来扩展行动空间。例如,在证明平行线时通过相等的对应角,系统必须精确控制角的逆时针定义;横线的不同方向会导致不同的几何边界。通过 fixing 这些不同的分支并将它们定义为新的独立定理,我们系统地将行动空间扩展到234个分支定理。因此,每个状态节点拥有234个候选动作选择,为模型提供了自动推理所需的粒度,如图3所示。图3. 基于定理的搜索空间扩展示意图。3.3. 蒙特卡洛树搜索(Monte Carlo Tree Search,MCTS)通过在状态-动作空间内进行高效的模拟和评估,在探索和利用之间实现了有效的平衡,同时将启发式策略与价值估计结合起来。它在围棋[52,53]、国际象棋和将棋[54]等策略游戏中取得了突破性成果,成为强化学习与搜索算法整合的基石方法。它通过广泛的模拟积累了经验,并且在面对未经针对性训练的通用环境时往往能够取得良好的结果[55]。本文利用MCTS进行广泛模拟的特性以及价值网络提供的即时奖励来增强策略网络。这种增强提高了策略网络的性能,从而能够发现更有效的定理序列。图4展示了朴素MCTS与上述改进的MCTS之间的比较。图4. 我们系统中使用的MCTS与朴素MCTS之间的差异。虽然MCTS的传统应用环境通常很简单,但其应用于几何问题解决则相当复杂且具有挑战性。因此,我们将详细阐述MCTS在几何问题解决中的每个阶段的具体定义和应用,以便读者理解。MCTS的实施包括以下四个阶段:选择:从根节点开始,选择最优动作????。最优动作的选择基于改进的上置信界限(UCB)方程,该方程平衡了探索和利用。改进的UCB方程如下(2)。????=arg?max??∈????? ?????(????,??)+??·???(????,??)?√log????(????)???(????,??)+?????? ?? (2)改进的UCB方程结合了策略网络中的先验概率???(????,??),使得搜索不再完全由随机探索驱动,而是在一定程度上受到策略网络的指导,从而减少了无效的探索,提高了搜索过程的性能和效率。扩展:一旦选择了动作????,算法就执行它以创建新节点????+1。当到达一个未完全扩展的节点时,根据它们的先验概率???(????+1,????)扩展所有可接受的法律动作。然后将未执行的动作????+1插入搜索树中。最后,每个新扩展的动作的统计计数器分别初始化为???(????+1,??) =0、???(????+1,??) =0以及存储的先验概率???(????+1,??)。模拟:模拟扩展的状态节点。我们设置了一个最大搜索步数限制,并将模拟次数定义为设定点,价值网络评估状态值以指导模拟过程。对于每次模拟,从当前状态????+1开始,选择并执行动作,直到达到最大步数限制或实现目标状态。每个状态转换的即时奖励由????给出。这个奖励被累积起来计算总模拟回报????。如果在模拟过程中到达了目标状态,则额外加上一个终端奖励。反向传播:对于在模拟阶段获得的累积奖励和访问次数,通过反向传播更新搜索树。模拟结果????被反馈到搜索树中,更新搜索路径上每个状态-动作对的平均奖励???(????,????)和访问次数???(????,????)。访问次数???(????,????)简单增加到1,而动作值???(????,????)的更新遵循方程(3)。???(????,????)←???(????,????)????(????,????)+???????(????,????)+1 (3)3.4. 价值网络在FGeo-ISRL系统中,价值网络(VN)是核心组件之一,负责评估当前状态并在MCTS过程中发挥关键作用。通过将价值网络整合到MCTS中,系统可以有效替代大量冗余的模拟,从而提高搜索的质量。具体来说,价值网络的设计不是为了直接利用BERT的强大分类能力,而是为了利用其双向注意力机制。BERT捕捉几何实体之间的复杂逻辑关联,将其角色转向对状态的深度语义理解,使系统能够确定状态演变是否与预期的推理路径一致。基于此,我们将状态评估建模为一个回归任务,要求网络输出一个连续的分数???(????) ∈[0,1]。我们采用均方误差(MSE)作为主要损失函数,因为它直接衡量预测分数与实际累积奖励之间的数值距离,从而迫使模型学习精确的价值分布。价值网络过程的示意图如图5所示。图5. 从BERT-Base模型微调的价值网络和策略网络的流程图。为了解决庞大状态空间的挑战和高难度样本的稀少问题,我们加入L2正则化来约束模型参数并减轻过拟合。这确保了训练有素的价值网络在从L1到L6难度级别的几何问题中保持强大的泛化能力。价值网络的训练基于FormalGeo7K数据集中的完整证明轨迹。损失函数的详细表达式如图4所示。??(??)=??(????,????)~???[(?????(????)?????)2]+??∥??∥22 (4)累积奖励是根据模拟轨迹计算的:如果轨迹成功到达目标状态,则获得1的终端奖励;否则,奖励根据估计状态值的变化进行累积。通过这个训练过程,价值网络逐渐学会了不同状态之间的潜在价值分布,并准确捕获每个定理应用对实现最终目标的贡献。一旦训练完成,价值网络直接整合到奖励函数计算中,确保奖励信号的稳定性和可靠性。3.5. 策略网络作为FGeo-ISRL系统的核心组件,策略网络(PN)以当前状态????为输入,输出234个候选定理分支上的概率分布,表示为???(???? ∣????)。我们采用BERT-base模型作为骨干架构,以实现预测性能和计算效率之间的最佳平衡。由于注释数据中的每个状态都对应一个唯一的真实定理动作,我们将定理选择表述为一个经典的多类单标签分类任务。策略网络使用两阶段优化策略进行训练,首先在FormalGeo7K数据集上进行监督学习。我们使用多类交叉熵损失来优化网络,如方程(5)所定义。这个目标与单步定理准确率(SSTA)指标(见第4.1节)本质上是一致的,确保损失的最小化直接转化为个别推理精度的提高。政策网络过程的示意图如图5所示。多类交叉熵损失函数利用正式几何描述语言(FormalGeo7K)提供的标准化注释,帮助模型从通用的预训练语言模型转变为专门的几何推理政策网络。这一微调过程使网络能够快速吸收人类专家的逻辑,有效规避了纯强化学习中普遍存在的冷启动问题。此外,监督学习阶段确保了高质量状态-动作对的高效利用,为后续的长序列优化奠定了坚实的基础。这种策略方法显著提高了样本效率,并解决了从零开始训练复杂推理代理时通常面临的高标注成本和收敛困难问题。价值网络和策略网络的微调算法详细描述在算法1中。算法1 政策和价值网络的监督预训练需要:人类专家证明数据集 ?? ={(????????,????)}????=0 1: 用随机权重初始化政策网络 ???? 和价值网络 ???? 2: 当未收敛时执行以下操作 3: 从 ?? 中抽样一个微批次转换 (??,??,??) 4: 计算价值损失 ??(??1) 5: 计算策略损失 ???????(??2) 6: 更新 ??1 ←??1 ????????(??1) 7: 更新 ??2 ←??2 ?????????????(??2) 8: 结束循环 9: 返回预训练的网络 ????1 和 ????2 ?SL?(??)=?1?????∑??=1∑??∈?????{??=??(??)??}?log??????(??∣??(??)??) (5)随后,在旨在通过MCTS增强政策网络的强化学习阶段,几何问题解决的目标转向实现完整的端到端证明,而不仅仅是确保单个定理应用的正确性。尽管监督学习阶段通过交叉熵损失优化了单步预测的准确性,但它对长序列推理路径中的依赖性处理不足;局部正确的动作并不一定能导致最终的解决方案。算法的描述见算法2。为了最大化累积奖励,我们采用策略梯度方法来优化网络。损失函数如方程(6)所定义,采用负累积奖励加权对数概率的形式。通过使用整个推理轨迹的累积奖励作为权重因子,这种设计直接优化了最终解决问题的成功率,从而使损失函数与几何推理的最终任务目标完全一致。这种MCTS增强的政策网络的核心设计建立了探索-优化-探索的良性循环。MCTS通过广泛模拟探索出优于当前政策的优秀定理路径,生成具有显著累积奖励的高质量轨迹。随后,策略梯度损失利用这些轨迹来驱动策略网络的迭代更新。这种范式显著减少了对大规模人工注释中间推理数据的依赖,有效降低了监督成本。从技术兼容性的角度来看,几何推理中的动作空间由234个离散的定理分支组成。策略梯度方法直接优化策略,从而避免了传统价值函数近似引入的偏见。此外,对数概率公式确保了参数更新的稳定性。因此,这种方法非常适合离散动作空间内的长序列决策任务,为处理复杂的几何证明提供了强大的数学支持。算法2 值引导与MCTS增强的联合优化需要:预训练的网络 ???? 和 ????,训练问题集 ?? 1: 对 ?? 中的每个问题执行以下操作 2: ??0 ←?????????(Text_CDL,Goal_CDL) 3: ??′ ←Init?(Goal_State) 4: 当未达到状态 ??′ 时执行以下操作 5: ???? ←????????_????????????(????,????1,????2) {通过MCTS探索} 6: ???? ←???????????(????,????), ???? ←????1?(????) 7: ???? ←arg?max???????2?(??|????) {通过策略网络预测} 8: ???? ←???????????(????,????), ???? ←????1?(????) 9: 如果 ???? >???? 则 10: ? ←?log??????(????|????) {适应更好的MCTS动作} 11: 更新 ??2 ←??2 ???????RL?(??2) 12: ?? ←???? 13: 否则 14: ?? ←???? 15: 结束if 16: 结束循环 17: 对所有问题执行以上操作 18: 返回优化后的网络 ???? ?RL?(??)=?????~?????[???∑??=0??????log??????(????∣????)] (6)随着MCTS继续探索和积累经验,如果在新的搜索路径上发现了比当前政策网络更有效的定理选择策略,政策网络将以延迟的方式更新。通过涉及MCTS反馈和策略梯度更新的协同优化,政策网络不断改进定理选择的准确性和鲁棒性。3.6 基于规则的参数适应在几何问题的逆向推理过程中,应用一个定理通常需要将其前提添加到当前状态并相应地更新推理状态。不当的参数实例化可能导致状态不一致或推理路径偏离,最终影响搜索的稳定性和有效性。为了解决这个问题,我们设计了一种基于规则的参数适应机制,该机制动态过滤并匹配给定几何状态下定理所需的参数组合。该机制利用几何描述语言(GDL)提供的结构,其中每个定理和谓词都以结构化形式表示。定理的每个分支被解析为构造性约束、逻辑约束和变量分组。在推理过程中,系统检查当前状态,提取所有几何实体及其关系,并验证定理的前提是否得到满足。然后提取所有有效的参数组合并传递出来以支持定理实例化和状态转换。详细的参数适应过程见图6。图6. 参数适应机制的总体结构。更具体地说,参数适应机制包括三个核心阶段。首先,谓词抽象和扩展。在定理的语义结构中,构造性和关系性谓词被抽象并统一起来。根据当前问题状态,这些谓词被扩展为完整的几何实体集合。其次,逻辑约束匹配。FormalGeo系统使用定理结构中定义的语义约束来执行与现有状态的逻辑匹配。它自动验证哪些参数组合满足定理应用的条件。第三,参数实例化。所有满足逻辑约束的变量绑定被格式化为标准的输入结构,并作为定理的有效参数传递。这确保了状态转换的稳定性和一致性。这种方法保证了定理应用的结构合法性和语义一致性。它有效地降低了逆向搜索过程中生成无效状态的风险,并显著提高了推理过程的鲁棒性和泛化能力。与传统的穷举参数枚举相比,这种方法在逻辑匹配方面更高效且高度可扩展,使其成为我们自动化几何定理证明的神经符号框架中的一个关键组成部分。4. 实验 4.1 评估指标我们使用单步定理准确性(SSTA)和几何问题解决准确性(GPSA)作为评估不同方法的指标。它们的定义如下:SSTA:给定当前问题状态 ????,模型预测过渡到下一个状态 ????+1 所需的定理 ????。该指标评估模型在问题解决过程中的单步定理预测准确性。GPSA:对于给定的问题,模型必须生成定理列表 ???? 及其由参数适应机制确定的参数赋值。参数化的定理列表被输入符号模块进行验证,以确定问题是否已解决。该指标评估模型解决几何问题的整体能力。本节介绍了我们的FGeo-ISRL框架在FormalGeo7K数据集上的性能分析,评估了两个关键指标:几何问题解决准确性和单步定理准确性。此外,我们对FGeo-ISRL的不同模块进行了消融研究。4.2 数据集和数据处理通过使用FormalGeo形式语言,我们收集了广泛使用的数据集和在线资源来构建一个新的验证过的数据集FormalGeo7K,该数据集通过推理环境进行了验证。从FormalGeo7K收集的统计数据涵盖了各种类型的问题,包括与角度、长度、周长、面积等相关的问题。我们根据定理序列的长度(测量为??1 至 ??6)对问题的难度级别进行分类。在FormalGeo7K数据集的基础上,我们使用FormalGeo构建状态-动作对(????,????),作为价值网络和策略网络的训练语料库。随后,我们根据问题类型和难度级别,将数据集分成训练集、测试集和验证集,比例为0.7:0.15:0.15。具体来说,训练集包含26,031个状态-动作对,而测试集和验证集各包含5578个对。最后,我们使用BERT-base主干在本地训练和部署预处理后的语料库,以获得基于监督学习的价值网络和初始策略网络。4.3 基准测试我们在FormalGeo7K数据集上评估了几种基准方法,包括纯符号方法(前向搜索和后向搜索);与FormalGeo符号系统集成的神经语言模型,如T5-small与FGeo和BART-base与FGeo;纯神经方法,包括DeepSeek-v3;专为GPS设计的神经符号系统,如Inter-GPS、NGS和DualGeoSolver;以及我们提出的神经符号系统FGeo-ISRL。详细结果见表1。表格显示,随着问题难度级别从??1增加到??6,性能有所下降。FGeo-ISRL在总性能和所有难度级别上都表现最佳,其下降趋势也优于其他方法。表1. 不同基准方法在FormalGeo7K数据集上的性能。基于搜索的基线包括使用随机搜索策略的前向搜索和采用广度优先搜索的后向搜索,两者都限制了最大搜索树大小为15,以评估基本的启发式效率。对于基于LLM的基线,我们使用了T5-small(60 M)、BART-base(140 M)和DeepSeek-V3通过API调用。这些模型在零Shot设置中进行评估,无需进一步微调即可建立通用模型的性能底线。对于专门的求解器,Inter-GPS采用了基于Transformer的定理预测器(TP),具有6层、12个注意力头和768维的隐藏状态。它遵循预测+低优先搜索策略,最大步骤数为100步。为了生成前向证明轨迹,系统对每个问题尝试100次,最大序列长度为20,使用Adam优化器,学习率为0.01,最多进行30个时代。NGS采用了多模态方法,具有差分学习率:图像编码器的基础学习率为1 ×10?3和1 ×10?5。模型使用Adam优化器进行训练,批量大小为32,大约进行100个时代。在推理过程中,默认使用10的束搜索宽度,为了提高精度可以增加到100。DualGeoSolver实现了复杂的分段学习率策略,具体来说,RoBERTa文本编码器为2 ×10?5,多模态融合模块和目标生成模块(GGM)为1 ×10?5,所有其他模块为1 ×10?3,以平衡知识检索和推理。4.4 实验结果FGeo-ISRL系统的核心架构由策略网络和价值网络共同驱动,两者都使用BERT-base模型作为主要特征提取器,以实现推理性能和计算效率之间的平衡。所有微调任务都通过低秩适应(LoRA)实现,并在NVIDIA RTX 4090 24 GB GPU上处理。在训练配置方面,两个网络共享统一的学习率1 ×10?5和批量大小16,在隐藏层引入ReLU激活函数以融入非线性。整个训练过程由AdamW优化器执行,最多进行100个时代,辅以提前停止机制和学习率调度策略,以确保在验证损失趋于平稳时稳定收敛。在推理阶段,每个MCTS决策周期执行的模拟次数由价值网络动态确定。探索常量c设置为1.5,以有效权衡已知高价值路径的利用和未访问节点的探索。为了保持可控性并防止无限循环,系统严格限制每个问题的最大推理深度为30步。在主搜索循环中,系统扩展预测概率最高的Top-10候选动作,以确保搜索空间的广泛性和集中性。此外,如果策略网络连续3次预测最高概率的动作为0,则会触发内置的异常终止机制,允许系统提前停止无效的搜索轨迹。我们使用MCTS、价值网络和增强后的策略网络在测试集上评估我们的方法。测试过程如算法3所述,结果总结在表2中,我们还在图7中以热图的形式展示了结果。在各种方法中,FGeo-ISRL表现出色,GPSA达到了83.14%。这一结果超过了大多数现有方法,包括FGeo-TP和FGeo-DRL。尽管大多数方法在处理更高难度级别(特别是??5和??6)时表现出显著的性能下降,但FGeo-ISRL仍保持了强大的解决问题的能力,分别获得了L5和L6难度级别的GPSA得分60.22%和29.21%。这些结果证明了该方法在处理复杂几何问题方面的卓越能力。

算法3:通过MCTS增强的策略进行推理
要求:
- 优化后的网络????和????
- 未見过的测试问题1:?? ←?????????(Text_CDL,Goal_CDL)
2: 当未达到目标(Goal Reached(s))且仍在步骤限制内时执行以下操作
3: 对于迭代次数?? =1 到 N 执行以下操作
4:
- 选择:使用UCB和????从根节点s遍历到叶子节点?????????????
5:
- 扩展:在?????(??|?????????????)的指导下,扩展?????????????下的合法动作
6:
- 评估:通过?????(?????????????)(和/或rollout)计算节点值
7:
- 备份:更新根节点S的访问次数和累积奖励??
8:
- 结束迭代
9:
- ??* ← 从??中选择访问次数最多的动作
10:
- ?? ← ???????????(??,??*)
11: 结束循环
12: 返回

证明解决方案
或
失败

表2. 不同方法在GPSA和SSTA中的实验结果。??1到??6代表不同难度级别的性能指标。黑色粗体标记表示最佳结果。同时,该实验还涉及其他FormalGeo系列解决方法,并对其进行了技术分析。

图7. 不同方法在不同问题难度级别上的GPSA性能以及相应SSTA结果在不同问题类型中的表现。与简单的MCTS方法相比,性能提升有限。当直接将基于LLM的策略网络融入解决过程时,首次观察到明显的性能提升。然而,由于LLM缺乏几何直觉和对几何约束的处理不足,仅仅将传统搜索方法与单个策略网络结合起来的提升效果仍然有限。这表明,仅依赖单一搜索策略或在线更新机制在提升模型性能方面存在固有的局限性。当同时整合策略网络和价值网络时,性能进一步提高。PN + VN组合方法的表现显著优于单独的PN,这突显了VN在评估每个决策步骤的价值时提供的更有效指导的关键作用。完整的FGeo-ISRL模型(PN + VN + MCTS)实现了最佳的整体性能,证明了PN的局部动作精度与VN的全局价值评估之间的互补性,而MCTS进一步放大了它们的协同效应。

与其他FormalGeo系列解决方法(如也采用深度强化学习的FGeo-DRL)相比,由于缺乏类似价值网络的显式监督机制,该方法的表现较差。相比之下,通过超图神经网络完全嵌入状态转换过程的FGeo-HyperGNet在整体解决效率和长序列解决方面优于我们的方法。这也指出了未来改进的方向:如何整合强化学习以更好地描述状态转换过程,从而提高解决效率和能力。

4.5. 消融研究和讨论
消融研究分为两部分。第一部分专门评估FGeo-ISRL框架中每个核心模块对几何问题解决性能的贡献。如表3所示,本研究设计了三组比较实验:

表3. FGeo-ISRL在不同消融条件下的性能比较。我们的观察发现,随着Top K的增加,所有方法的GPSA和SSTA指标都有所提升。为了评估MCTS对策略网络的增强效果,比较实验1和实验2表明,在相同的Top K条件下,没有MCTS增强的方法相比FGeo-ISRL具有更低的GPSA和SSTA。这证实了MCTS探索更有效定理选择的能力。为了评估价值网络的作用,比较实验1和实验3显示,没有价值网络的指导,系统在问题解决能力上经历了显著的性能下降。这验证了价值网络的指导显著提高了解决成功率,结合局部策略、全局评估和搜索策略的协同优化机制产生了显著的效果。

第二部分展示了FGeo-ISRL模型的训练周期数量和单步推理时间对问题解决结果的影响。如表4所示,随着训练周期和单步推理时间的增加,SSTA的性能提升达到了瓶颈,GPSA的增长速度也逐渐放缓。这表明在模型训练的早期阶段,增强计算实例有助于提高问题解决能力。然而,随着参数的增加,仅仅增加计算资源可能在提高问题解决结果方面的效果有限。

表4. 不同版本的FGeo-ISRL在不同参数下的问题解决性能。

4.6. 案例分析
对于最终结果,我们在图8中选择了代表性案例进行深入分析。GT代表真值(Ground Truth),PT代表预测定理(Predicted Theorem)。以案例1为例,我们可以看到FGeo-ISRL在解决定理序列较长的问题时具有很高的准确性,选择和应用定理的命中率很高,且定理的顺序也是正确的。然而,该模型也存在某些局限性。以案例2为例,定理的选择是正确的,但参数无法匹配,导致解决失败。这表明后续工作应该改进定理参数的适应性。以案例3为例,在解决极其困难的问题时,由于训练样本不足,解决能力受到限制,定理序列无法收敛。因此,未来的工作可以改进有效的数据增强方法。

图8. 典型案例分析。案例1是成功案例;案例2和案例3是失败案例。值得注意的是,某些类别中的最佳性能并不总是来自整体最强大的模型。例如,FGeo-ISRL-V1在L2类别中得分最高,而FGeo-ISRL-V2在L4类别中表现最好。这表明训练存在一定的不稳定性,可能是由于MCTS的随机性或参数更新的波动所致。然而,这些变化相对较小,不会显著影响模型的整体可靠性。SSTA和GPSA指标趋势的一致性表明,SSTA可以作为GPSA性能的可靠指标,而准确的逐步定理应用是成功进行端到端几何推理的基本前提。

5. 结论
本研究提出了FGeo-ISRL,这是一种集成MCTS、启发式算法和强化学习框架的定理序列预测模型。在该系统中,我们引入了一个为几何推理任务微调的预训练自然语言模型作为初始指导,随后将其与MCTS和基于符号推理的强化学习环境相结合。通过对FormalGeo7K数据集的迭代学习和实验,我们验证了该系统在几何问题解决中的演绎推理能力。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号