探究大型语言模型的符号逻辑推理能力

《ACM Transactions on Intelligent Systems and Technology》：Probing the Symbolic Logical Reasoning Ability of Large Language Models

本文提出逻辑大型语言模型L3M，通过逻辑表达式和约束学习实现And/Or/Not等基本逻辑操作，在理论任务（逻辑方程求解）中表现优异，并在推荐系统等实际任务中超越现有模型。

　　

摘要

大型语言模型（LLMs）通过学习单词之间的关系，在各种研究领域取得了显著的成功。然而，尽管这些模型能够根据所学的模式进行预测和推理，但它们缺乏逻辑推理能力，而逻辑推理能力对于解决理论和实践领域的问题至关重要。此外，传统的逻辑推理方法在解决基于逻辑的问题时非常有效，但不适合处理推荐等一般性任务。

为应对这些挑战，本文提出了一种逻辑大型语言模型（L3M），它结合了逻辑推理和大型语言模型的优势。L3M中的数据以逻辑表达式的形式表示，模型利用逻辑约束来学习基本逻辑运算（如“与”、“或”和“非”）的规则。我们在理论任务（解决逻辑方程）和实际任务（推荐系统）上进行了实验。理论实验的结果表明，L3M在解决逻辑表达式和变量方面表现出色。此外，在序列推荐任务中，L3M的性能也优于现有的最先进推荐模型。