融合形式化符号系统与深度学习的自动几何问题求解混合框架

《Symmetry》:A Hybrid Framework for Automated Geometric Problem-Solving by Integrating Formal Symbolic Systems and Deep Learning Zhengyu Hu, Xiaokai Zhang, Cheng Qin, Yang Li and Tuo Leng

【字体: 大 中 小 】 时间:2026年04月08日 来源:Symmetry 2.2

编辑推荐:

  几何问题求解(GPS)长期以来一直是形式化数学与人工智能领域的一项挑战性难题。为克服单向方法的局限性,研究人员开发了一种融合前向与后向推理的神经符号系统。该系统的神经组件采用门控增强注意力网络(Gating-Enhanced Attention Network

  
几何问题求解(GPS)长期以来一直是形式化数学与人工智能领域的一项挑战性难题。为克服单向方法的局限性,研究人员开发了一种融合前向与后向推理的神经符号系统。该系统的神经组件采用门控增强注意力网络(Gating-Enhanced Attention Network)筛选候选定理,以指导启发式搜索并剪除无关分支;符号组件则是基于FormalGeo构建的双向求解器,执行严格的几何关系推理与代数计算。神经组件依据当前问题状态预测定理,符号组件则应用这些定理并更新问题状态。两部分通过迭代交互直至问题得以解决。求解过程被组织为图结构,其中事实与目标作为节点、定理作为边,从而生成人类可读的求解过程。该神经符号系统在FormalGeo7K数据集上取得了89.63%的问题求解成功率(Problem-Solving Success Rate, PSSR),超越了此前最优结果。

对称性在诸多现象中均有体现,如生物学、物理学、经济学,亦见于几何问题(Geometric Problems, GPs)。它不仅存在于几何图形之中,也存在于GP的求解过程之中,即对称的前向推理与后向推理过程。然而,几何问题求解通常需要整合视觉与文本形式的知识,其求解过程涉及关系推理与代数计算,难以纳入统一框架。当前方法主要面临三方面挑战:其一,缺乏专门为几何问题形式化求解设计的网络架构,现有方法多采用顺序管道处理图像解析、形式语言处理与定理预测,导致信息 loss 与失真;其二,主流数据驱动方法将定理预测或证明步骤生成视为序列生成任务,未能充分探索几何中的动态形式化过程;其三,现有自动化几何求解系统多采用单向前向推理范式,虽直观但效率低下,易导致盲目搜索。为应对这些挑战,研究人员构建了配备动态门控机制的统一多模态框架,将几何问题求解任务转化为逐步定理分类任务,并提出了统一的双向几何推理框架。

现有几何问题求解方法可从四个维度进行系统分类:信息融合机制(多模态 vs. 单模态)、问题建模范式(分类任务 vs. 生成任务)、方法架构(神经符号方法 vs. 纯符号/纯神经方法)、求解过程建模(双向推理 vs. 单向推理)。多模态方法直接融合原始图像与文本描述,在特征层面实现深度融合,避免强制离散化造成的信息损失;分类任务范式将定理预测建模为逐步多分类问题,相比生成任务具有更强的可控性与可靠性;神经符号方法结合了神经网络的模型识别能力与符号系统的逻辑推理能力;双向推理则整合前向推理(从事实扩展状态空间)与后向推理(从目标分解子目标),在统一搜索空间内协同求解。

该神经符号系统的架构包含三个主要组件:左侧的解析器将几何问题形式化;中央的神经符号问题求解系统(神经部分为门控增强注意力网络,符号部分为基于FormalGeo的双向求解器);右侧的求解过程生成器将结构化求解步骤转化为人类可读输出。问题首先被解析为形式化表示并输入形式化符号求解器。在求解器内部,问题状态由前向超图(Forward Hypergraph)与后向组合图(Backward Composition Graph)组成的双图结构表征。在神经符号模块中,当前问题状态与关联的几何图像经神经网络联合编码,以预测下一步演绎所需的定理。预测得到的定理被分派至求解器,在前向与后向推理过程中应用以更新问题状态。这一预测-应用循环持续迭代直至问题解决。完成后,最终问题状态被传递至求解生成器以合成人类可读解。

符号求解器基于FormalGeo构建,利用形式语言描述几何问题并配置求解器。该形式语言包含几何定义语言(定义谓词与定理)与条件声明语言(声明给定条件与求解目标),均遵循类似一阶逻辑的语法格式。前向求解中,定理持续应用以扩展事实集,过程可组织为超图(事实为节点、定理为超边);后向求解中,目标基于定理定义递归分解,过程可构建为组合图(目标为节点、定理为边)。两个方向的新事实或目标状态更新时,系统自动检查并于另一方向同步更新,实现双向交互。

神经网络架构中,几何问题图像与当前状态经分词与线性变换后,结合位置编码形成几何问题嵌入。该嵌入经多层门控增强注意力进行特征融合,产生几何问题的整体编码,再输入由多层门控增强注意力组成的定理预测网络,预测前向求解与后向求解所需的定理概率。门控增强注意力的核心在于:将输入X线性变换为查询Q、键K、值V和门控G,计算缩放点积注意力后,通过门控机制引入非线性并过滤当前问题状态中的无关信息,即Y = MultiHead(Q,K,V) ⊙ σ(G),其中σ(·)为sigmoid激活函数。网络训练分为两阶段:编码器掩码预训练(分别对图像编码器和问题状态编码器进行掩码重建预训练)和任务特定端到端微调(基于标注定理序列生成大量状态-定理对进行直接训练)。

实验在FormalGeo7K数据集上进行,该数据集包含7000道几何问题,按定理序列长度分为L1(长度≤3)至L6(长度≥16)六个难度等级。数据合成方面,研究人员基于双向拓扑遍历定理有向无环图(Theorem Directed Acyclic Graph, TDAG)生成训练数据:前向超图与后向组合图中的边(定理应用)提升为TDAG的节点,通过交替双向拓扑排序生成多样化有效定理序列,每题生成50条不同序列以增强数据覆盖度与模型泛化能力。

实验结果表明:多模态方法优于单模态方法;分类任务建模优于生成任务;神经符号框架优于纯符号或纯神经方法;双向推理优于单向前向或后向推理。该神经符号系统在FormalGeo7K上达到89.63%的PSSR,超越此前最优结果FGeo-HyperGNet的88.36%。消融实验显示:剔除图像输入(text-only)成功率下降7.37个百分点;仅前向推理(forward-only)下降6.77个百分点;去除门控机制(no gate)下降7.97个百分点;小模型(2.29百万参数 vs. 标准8.85百万参数)仅下降3.34个百分点。双向搜索在平均搜索深度(5.4953 vs. 7.7344/7.6632)上显著优于单向方法,尽管平均求解时间相近(22.704s vs. 23.4064s/23.9958s)。门控机制还降低了训练损失均值(0.087 vs. 0.125)和方差(0.096 vs. 0.106),并促进注意力分布更加均匀,避免模型过度集中于首个符号。

与现有工作相比,该方法在系统架构(神经符号、多模态输入)、求解模式(自动与交互模式、前向与后向求解)和用户友好特性(类人类求解、可追溯求解、可扩展形式化系统)三个维度的十二项标准上均完全支持,区别于先前工作。与现有神经符号方法的区别在于:将定理预测建模为逐步分类而非生成任务;专为形式语言设计门控机制以过滤冗余;采用多模态模型充分整合图像-文本信息;实现统一的双向求解过程以提升效率。
该研究发表于《Symmetry》期刊,聚焦于自动几何问题求解这一形式化数学与人工智能交叉领域的长期挑战。几何问题求解需同时整合符号推理、代数计算与视觉感知,其复杂性使得构建统一框架尤为困难。现有方法存在显著局限:多数方法采用顺序管道分离处理图像解析、形式语言处理与定理预测,导致信息损失与误差传播;生成式大语言模型架构缺乏对形式语言的专门优化,传统注意力机制难以过滤形式语言中的冗余结构标记;主流数据驱动方法将定理序列预测视为生成任务,未能充分考虑几何推理的动态结构特性;现有系统多采用单向前向推理,易导致盲目搜索与计算资源浪费。基于此背景,研究人员开展了融合形式化符号系统与深度学习的混合框架研究,旨在通过神经符号协同与双向推理提升求解效率与可靠性,并生成人类可读的证明过程。

研究采用的关键技术方法主要包括以下方面。在神经组件架构上,研究人员设计了门控增强注意力网络,通过可学习的门控机制动态过滤形式语言中的冗余标记,增强对核心几何实体的注意力,同时实现原始几何图像与形式化文本的联合编码与特征层级融合。在符号组件架构上,基于FormalGeo形式化几何系统构建双向求解器,将前向推理组织为超图结构、后向推理组织为组合图结构,实现双向推理过程中的自动状态更新与收敛判定。在问题建模策略上,将几何问题求解转化为逐步定理预测的分类任务,而非序列生成任务,通过神经-符号迭代交互降低复杂全局生成问题的难度。在训练数据合成上,基于双向拓扑遍历定理有向无环图生成多样化状态-定理对,扩充训练数据并增强模型泛化能力。样本来源于FormalGeo7K数据集的7000道几何问题,按4:1:1比例划分为训练、验证和测试集。

研究结果部分涵盖以下方面。

形式化符号系统。研究人员基于FormalGeo构建几何形式化系统,其形式语言包含几何定义语言与条件声明语言,均遵循类一阶逻辑语法。求解器以Python 3.10实现,接受形式化描述问题,可执行多种求解算法与策略,首次实现真正意义上的前向与后向推理整合,解决双向过程收敛判定难题。前向求解中定理应用过程组织为超图,后向求解中目标分解过程组织为组合图;双向过程通过状态检查实现自动交互更新。求解器内部将定理应用转化为一阶逻辑运算,代数为统一框架中的关系方程系统。

神经网络架构。定理预测网络接收几何问题图像与当前状态,经分词与线性变换后结合位置编码形成嵌入,经门控增强注意力模块特征融合后,分别输入前向与后向定理预测网络。门控增强注意力模块在标准多头注意力基础上引入门控分支,通过sigmoid激活的动态门控分数过滤冗余信息。网络训练采用编码器掩码预训练和任务特定端到端微调两阶段策略:预训练阶段通过掩码图像块或文本令牌重建任务使编码器掌握几何问题基本结构;微调阶段基于双向推理过程生成的状态-定理对进行端到端训练,提升定理预测精度。

实验评估与结果。研究在FormalGeo7K数据集上与多类基线方法比较,包括生成模型(T5-small、BART-base)、神经符号系统(Inter-GPS、NGS、DualGeoSolver)、纯符号方法(前向搜索、后向搜索)、纯神经方法(DeepSeek V3)及同形式系统方法(FGeo-TP、FGeo-DRL、FGeo-HyperGNet)。该神经符号系统达到89.63%的整体PSSR,超越此前最优的FGeo-HyperGNet(88.36%)。分类任务建模显著优于生成任务(T5-small仅36.14%、BART-base仅54.0%);神经符号方法整体优于纯符号方法(33.73%-39.71%)和纯神经方法(DeepSeek V3为60.79%);基于FormalGeo的方法集体优于其他形式系统方法。难度分层显示所有方法随题目难度增加性能下降,但该方法在各难度层级均保持优势,尤其在L5-L6复杂问题上优势更为明显。

消融实验。消融研究系统验证了各组件贡献:标准模型(束宽5)成功率78.15%,束宽增加一致提升各变体性能。多模态设计至关重要——剔除图像输入后成功率降至70.78%(降幅7.37%),在L1简单题上差距最大(94.10% vs. 87.95%);双向推理策略有效——仅前向推理降至71.38%(降幅6.77%),平均搜索深度从7.73降至5.50;门控机制关键——去除后降至70.18%(降幅7.97%),训练损失均值与方差升高,注意力分布恶化(首令牌注意力分数:标准模型0.136 vs. 无门控0.658);模型规模影响适度——参数量减至2.29百万(标准8.85百万)仅下降3.34个百分点,且仍优于其他消融变体,显示良好的缩放特性。

讨论部分。研究从四个系统维度审视现有几何问题求解方法的差异:信息融合机制、问题建模范式、方法架构和求解过程建模。实验证实多模态优于单模态、分类优于生成、神经符号优于纯符号/纯神经、双向优于单向,这些发现为后续研究提供了经验性设计指导。关于数据合成策略,TDAG双向拓扑遍历是专为该双向逐步神经符号框架设计的内在组件,与基线方法存在架构性不兼容。训练-测试划分基于几何问题类别,模型均快速收敛,提示未来需采用更细粒度的(状态,定理)对划分以提升泛化。该方法以仅8.85百万参数超越大规模语言模型,彰显神经符号融合在效率与可解释性方面的固优势。

研究结论部分。研究人员呈现了一种用于几何问题求解的神经符号框架,其中门控增强多模态神经网络通过迭代双向推理引导形式化符号求解器。神经组件主动过滤几何语言并预测定理,符号组件在结构化证明图中执行严格演绎。该协同机制在FormalGeo7K上取得89.63%的问题求解成功率,并产生人类可读、可验证的证明。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号