用于从自然语言中学习小学数学的自组织群网络

《Knowledge-Based Systems》：Self-Organizing Group Network for learning primary mathematics from natural language

　　

摘要

大型语言模型（LLMs）和Transformer架构在数学推理任务中面临着显著的分布外泛化挑战。一个关键限制在于它们无法有效建模对称性，而对称性是群论中的核心属性，对于构建可靠且可解释的模型至关重要。为了解决这个问题，我们引入了自组织群网络（SOGN），这是一个受群论启发的新框架。SOGN以系统化、逐步的方式学习群结构，促进了网络内部的一致性、适应性和泛化能力。在初级数学任务上的实验结果表明，SOGN的性能优于标准的LLMs和基于Transformer的模型。特别是在20K个算术和符号推理样本中，SOGN在长序列算术任务（操作数高达100位）上实现了100%的准确率，而Transformer和GPT的准确率低于10%。在PrOntoQA和PrOntoQA-OOD等基准数据集上，这些数据集测试了组合和分布外推理；以及在SVAMP和MAWPS等数据集上，这些数据集包含各种现实世界的算术问题，SOGN在分布外变体上实现了100%的准确率，并且比GPT-4o高出近20%。此外，SOGN通过学习的群操作产生了明确且可解释的推理轨迹。实现代码和数据集可在https://github.com/ymxiong/sogn25/获取。

引言

大型语言模型（LLMs）在广泛的自然语言处理任务中展现了出色的性能。然而，它们在基本数学推理（如计数和基本算术运算）方面仍然存在困难，尤其是当问题长度增加时[1]、[2]、[3]、[4]。这种限制在长序列场景中尤为明显，因为像Transformer这样的模型的错误率会随着输入长度的增加而急剧上升。

主要原因在于大多数LLMs所依赖的Transformer架构的泛化能力有限[5]。例如，在20位数操作数上加法任务上训练的Transformer，在超过100位序列时表现出泛化限制，其准确率迅速下降[6]。其他研究也报告了类似发现[7]，表明LLMs在面对分布外（OOD）数学问题时的推理性能急剧下降。诸如PrOntoQA-OOD [8]和GSM-Symbolic [7]之类的基准测试进一步表明，即使问题的表述有细微的结构变化，也会导致准确率大幅下降。这些发现表明，当前的LLMs过于依赖表面的统计规律，而没有获得对底层数学结构的深刻理解，从而限制了它们在多样性符号形式上的泛化能力。我们通过图1中的实证评估进一步证实了这一限制。在20位加法任务上训练后，一旦输入超过100位，模型的准确率就会迅速下降。GPT-4o也观察到了类似的泛化边界，这再次证明了现有架构在长序列推理方面存在固有的限制。

最近的研究[9]、[10]、[11]、[12]表明，组合机制可能在一定程度上有助于缓解Transformer在长序列任务上的局限性。然而，随着序列长度的增加，性能仍然会稳步下降。其他研究[6]、[13]、[14]探索了编码动态信息的方法，如位置编码、序列长度和上下文。虽然这些方法通过突出输入序列的关键部分部分缓解了问题，但它们并未完全克服Transformer架构的固有 limitations。从根本上说，这两类方法都试图调节对称性并保留对推理至关重要的信息，从而减少了基于Transformer的模型面临的组合难度。这一观察激励我们系统地研究如何显式学习并利用对称性来增强LLMs在长序列和OOD推理任务中的泛化能力。

为了解决这些挑战，我们从群论中汲取灵感——群论是描述对称性和不变性的基础框架。根据群论，每个守恒量都与一个潜在的对称性相关联[15]，而这些对称性在任意长度的变换下保持基本的结构属性[16]。这一原理为关于不变性的推理提供了统一的数学基础，适用于从数学到物理等多个学科[17]。

基于这一理论基础，我们引入了自组织群网络（SOGN），这是一种新颖的、注重对称性的神经架构，它将群论原理直接嵌入到学习过程中。SOGN通过识别、封装和重用对称模式来逐步自我组织其内部结构，从而能够通过自主的、基于假设的推理内化数学规律。与传统需要显式操作建模的模型不同，SOGN直接从数据中学习算术和代数规则（如加法、减法、乘法和除法），通过检测输入序列中的不变转换模式来实现这一点。这种框架代表了从基于参数的学习向基于结构的推理的转变，为实现可解释和可泛化的神经计算提供了一条路径。我们的实验结果表明，SOGN捕捉并泛化了初级算术和符号推理任务背后的数学结构。

本文的主要贡献总结如下：

• •
  我们强调了对称性在机器学习中的关键作用，并展示了对称性感知结构如何增强组合泛化、结构化表示和数学推理的可解释性。
• •
  我们提出了SOGN，这是一个受群论启发的框架，它将代数原语注入神经网络（NN）中，以基于对称性和不对称性进行推理。实验表明，训练有素的SOGN在长序列算术任务上实现了100%的准确率，并在基于自然语言的算术任务上具有强大的分布外泛化能力。
• •
  我们引入了一种自组织机制来限制网络的增长。从经验上看，它防止了模型规模爆炸，并在紧凑的架构下保持了完美的长序列准确率。

章节片段

相关工作

近年来，分布外（OOD）泛化问题在机器学习领域引起了广泛关注。这个问题涉及到模型在测试数据偏离训练样本分布时的稳定性能[11]。尽管最近的研究强调提取不变特征对于应对OOD挑战至关重要，但对确保泛化所需的不变性类型的清晰理论理解仍然缺失

动机

为了研究Transformer在算术任务上的泛化边界，我们设计了一个控制实验，将一个简单的计算任务分解为两个独立的输入序列。通过独立改变左右操作数的长度，我们评估了模型在不同对称性条件下的准确率。如图2的上半部分所示，当两个序列长度相等时，Transformer的准确率非常相似，而当长度不一致时

自组织群网络（SOGN）

如图3所示，SOGN基于三种核心类型的神经元构建：感知神经元、断言神经元和自组织神经元。在训练过程中，感知神经元接收与断言神经元相关的大量输入序列，自组织神经元生成连接它们的结构假设。

图3的下半部分进一步提供了一个说明这三种神经元类型如何在群论约束下协作的示例。

实验

我们的实验全面评估了所提出的SOGN在初级数学和符号推理领域的泛化能力。具体来说，我们设计了涵盖初级数学核心类别的任务，评估模型捕捉数值和关系推理背后的组合和结构规律的能力。为此，我们解决了以下五个研究问题：

• •
  RQ1：SOGN能否执行基本数学推理（包括

讨论和未来工作

本研究的结果揭示了当前大规模神经架构的一个根本局限性：尽管Transformer和LLMs在记忆和模式识别方面表现出色，但它们缺乏表示结构对称性的内在机制。这一限制限制了它们实现系统泛化的能力，而系统泛化对于数学推理和自然语言理解至关重要。

通过引入SOGN，我们展示了嵌入群论

结论

在本文中，我们介绍了SOGN，这是一种克服数学问题解决中分布外泛化挑战的新方法。利用群论构建对称性，SOGN在初级数学任务中展示了出色的学习能力。我们在多个数据集上的实验结果强调了对称性不仅对于优化模型架构和提高任务性能至关重要，而且在推动更广泛的

CRediT作者贡献声明

熊一鸣：编写——原始草稿、方法论、形式分析、数据整理、概念化。王健：编写——审稿与编辑、项目管理、资金获取。李冰：监督、项目管理。朱宇涵：数据整理。赵玉琪：验证。

利益冲突声明

作者声明他们没有任何已知的竞争性财务利益或可能影响本文所报告工作的个人关系。

致谢

本研究得到了中国国家自然科学基金（编号：62032016）的支持。

熊一鸣|王健|李冰|朱宇涵|赵玉琪