大语言模型战略推理的涌现

《Journal of Behavioral and Experimental Economics》：The emergence of strategic reasoning of large language models

　　

•大语言模型（LLMs）的当前发展聚焦于增强其推理能力。•在我们的研究中，我们评估了标准LLMs和推理LLMs在涉及策略推理的任务上的表现——这需要更高阶的迭代推理过程；而这一分析此前尚未针对LLMs进行过。•本研究为理解LLMs在策略推理方面的现状提供了见解，突出了它们在复杂推理挑战中的潜力和局限性，这在当前人工智能发展背景下具有至关重要的意义。

引言

随着对大语言模型（LLMs）的依赖日益普遍，评估LLMs的推理机制是否也具备策略推理能力变得至关重要——策略推理是指在多智能体环境中，通过预测和适应他人的行为来选择最优行动方案的过程。虽然已有研究表明LLMs在个体决策（经济理性）（Chen等人，2023；Kim等人，2024）、数学（Ahn等人，2024；Zhou等人，2024）、简单推理问题（Hagendorff等人，2023；Webb等人，2023）和编程任务（Anthropic，2024；OpenAI，2024）方面具备推理技能，但这并不必然意味着它们拥有策略推理能力。事实上，策略推理似乎是一种涌现能力，在早期标准LLMs中几乎不存在，只有随着推理LLMs的出现才变得明显可观察。这代表了LLMs发展以来在策略推理能力上的一个重大进步。1

此类能力对于日益流行的智能体AI（AAI）的应用至关重要，AAI涉及多智能体决策环境，其中AI/LLM系统具有竞争性或合作性目标，需要不断预判和适应以完成自主、实时的任务。AAI的关键现实应用包括：自主金融智能体，通过预判市场动向做出交易决策（An等人，2024；Luo和Duan，2025）；通过预测需求来协调资源的供应链系统（Almutairi和Kim，2025；Xu等人，2024）；以及需要智能体推断并策略性预判对方反应的谈判系统（Abdelnabi等人，2024；Kwon等人，2024）。与个体决策不同，这些类型的应用要求智能体形成关于其他人（LLMs和/或人）将如何行动的信念，以完成任务。2 这些AI智能体的策略复杂性因此对人类决策者产生重大影响。随着人们越来越多地使用LLMs获取策略建议（如谈判、投资等），更复杂的LLMs可能提供更好的输出，从而改善策略情境中的决策。从市场角度来看，不同LLMs之间策略复杂性的差异可能产生潜在的不对称性，使用较不复杂LLMs的用户可能被采用更具策略性系统的用户所利用。因此，研究LLMs的策略复杂性具有超越模型性能基准测试的更广泛意义。

在本研究中，我们的目标是探索策略推理能力的这种涌现（Schaeffer等人，2023；Wei、Tay等人，2022），利用OpenAI的ChatGPT-4和OpenAI-o1-preview（GPT-4、GPT-o1）、Anthropic的Claude-3.5-Sonnet和Claude-4-Sonnet-Thinking（Cl-3S、Cl-4ST），以及Google的Gemini 1.5 Flash和Gemini Flash Thinking 2.0 Experimental（Ge-1.5、Ge-2T）。我们调查推理LLMs——特别是经过专门推理技术设计的（GPT-o1、Cl-4ST和Ge-2T）——是否展现出复杂的策略推理能力，以及这些能力是否已经存在于更标准的LLMs中。3 为了评估和深化对LLMs策略推理的理解，我们采用行为经济学框架——研究人类行为的普遍方法——为了解LLMs在多大程度能在策略环境中导航提供有价值的见解。?

我们使用行为经济学文献中的三个经典博弈来探索策略推理：p-猜数字博弈（pBCG）、猜谜游戏（GG）和11-20要钱博弈（MRG）（分别来自Arad和Rubinstein，2012；Costa-Gomes和Crawford，2006；Nagel，1995b），使我们能够通过估计LLMs的策略推理深度来评估它们，并调查我们是否在不同博弈之间观察到相似之处或差异。??? 这些博弈涵盖了不同的推理需求。在pBCG中，迭代最优反应推理导致唯一的对称均衡，因此均衡行动在各玩家之间相同。相比之下，GG具有角色特定的激励，并在玩家之间产生非对称的均衡行动。最后，MRG需要概率推理：均衡是行动的随机化，而非玩家的单一确定性行动。因此，三个博弈之间均衡形式的差异需要不同深度的推理才能获得均衡。使用这些博弈为我们提供了评估LLMs的关键工具，因为其重点在于通过清晰、明确的规则进行逻辑和策略推理，并且至关重要地，其行动空间使我们能够直接测试策略推理能力的深度。

行为经济学中最深刻的两个模型——捕捉有限策略复杂性所涉及的递归过程——是水平k模型（Nagel，1995b；Stahl和Wilson，1994；Stahl和Wilson，1995）和认知层级（CH）模型（Camerer、Ho等人，2004）。? 这些有界理性的替代模型能够提供更准确的行为预测。行为经济学研究主要集中在人类成人，也有一些针对儿童的研究（Brocas和Carrillo，2020；Crawford等人，2013；Hermes和Schunk，2022）。我们应用这两个模型来评估LLMs，通过测量代表迭代推理层级的策略推理水平——这一调查此前尚未针对LLMs进行过。

层级中最低的一级，称为第0级，是完全非策略性的，即在不考虑他人行动的情况下做出行动。? 下一级别代表更具策略性的行为（第1级），相信所有其他人都是非策略性的（第0级）。类似地，第2级的信念是所有其他人都是由较低级别组成的。在水平k模型中，这些较低级别——称为"水平"——总是在推理层级中低恰好一级，例如，水平2（L2）假设所有其他人都是水平1（L1）。在CH模型中，这些较低级别——称为"步骤"——容纳了所有较低推理步骤的组合，例如，步骤2假设所有其他人是步骤0和步骤1的混合。随着我们向上移动，这种模式在更高级别中持续。在此过程中，了解其他人正在利用多少阶段的迭代推理（即其他人的水平）是至关重要的。通过这种方式，我们旨在回答LLMs在多大程度上具有策略复杂性。

为了评估LLMs的策略推理，我们指导LLMs在各种处理条件下参与不同的博弈。为了从每个LLM获得响应分布，我们在固定提示和温度下请求100个独立响应，使我们能够近似模型的条件选择分布。附加处理包括改变博弈本身的参数。? 通过估计水平k模型和CH模型，我们能够确定推理深度（直到固定水平/步骤），方法是将每个博弈中每个模型的预测与观察数据进行匹配。我们的总体结果是：（i）推理LLMs与标准LLMs相比展现出更高的策略推理；（ii）在获得足够反馈的情况下，LLMs能够学习并达到更高阶的策略推理（特别是标准LLMs）；（iii）推理LLMs的学习速度比标准LLMs更快；（iv）标准LLMs始终表现出比典型人类受试者（来自实验经济学文献）更差的策略推理。

推理LLMs增强的推理技术是最有可能解释它们更高策略推理的原因。具体来说，GPT-o1、Cl-4ST和Ge-2T利用专门的大规模强化学习来增强其推理技能，采用思维链推理——模型逐步解决问题的过程，逐步接近问题（Wei、Wang等人，2022）——在实践中意味着训练LLMs将复杂任务分解为较小的、可管理的步骤，模拟人类式推理。1? 通过这种方法，推理LLMs通过探索各种策略和识别潜在错误来完善其推理，进一步增强了其解决问题能力，以一种迭代的和（似乎）反思的过程，确保在回答之前进行更仔细的评估。11

使用行为和实验经济学中的标准方法和模型，我们能够具体评估LLMs的策略推理能力。我们有助于对推理LLMs与标准LLMs之间进行比较的持续关注，以及LLMs与人类行为之间比较的兴趣（Latif等人，2025；Zhang等人，2025）。此外，我们强调，在获得足够反馈的情况下，即使在单次博弈中表现不佳的LLMs也能完善其策略，这与人类受试者（Ho等人，1998；Nagel，1995b；Weber，2003）和推理LLMs形成了类比。将思维/推理技能纳入LLMs的运作机制，清晰地表明了推理LLMs为何比标准LLMs表现优异，并且在许多经典博弈中能够超越人类受试者，尽管根据博弈结构和/或参数的不同，仍存在重要局限性。我们的研究强调了持续改进这些机制的重要性，特别是对于需要高阶推理的交互式任务。

---

段落摘要

方法

收集LLMs数据

我们通过OpenAI、Anthropic和Google的API收集LLMs数据。所使用的每个LLM的精确模型名称如下：gpt-4、o1-preview-2024-09-12、claude-3-5-sonnet-20241022、claude-sonnet-4-20250514、gemini-1.5-flash、gemini-2.0-flash-thinking-exp-1219。为了保持一致性和可重复性，我们在所有博弈中使用相同的系统消息，唯一差异在于游玩的轮数。我们要求LLMs将最终答案放在[]中，以便轻松提取其结果。

p-猜数字博弈

我们首先概述pBCG，考察其行为博弈理论的理论预测，该理论考虑了完全理性和有界理性。在简要描述这些模型如何估计之后，我们解释了使用LLMs实现pBCG的方法。

博弈。一组n≥2名玩家同时在[0,100]区间内选择一个数字。游戏的获胜者是所选数字最接近所有玩家所选数字平均值给定目标乘数（p）的玩家。

猜谜游戏

Costa-Gomes和Crawford（2006）提出的猜谜游戏（GG）是一个双人博弈，两名玩家都猜测对手的猜测，类似于pBCG。与pBCG不同，两名玩家可能具有不同的目标乘数和不同的答案域，这对双方而言都是共同知识。2? 目标乘数和答案域的这种不对称性——

要钱博弈

MRG相比pBCG和GG具有几个优势。从理论角度来看，其简单性引发了与水平k推理相关的行为，具有直观的L0假设，并清晰地分离了行动空间中的推理水平。此外，不存在纯纳什均衡，要求玩家依赖更复杂的策略推理。32

讨论

在本文中，我们评估了标准LLMs和推理LLMs在行为经济学中三个著名博弈上的策略推理能力。推理LLMs通常比标准LLMs展现出更大的策略复杂性，但这种差异的强度在不同博弈中有所变化。在pBCG中，推理LLMs在单次博弈中展现出更高水平的迭代推理，并在具有反馈的重复博弈中更快地收敛于理性预测。在GG中，CRediT作者贡献声明

Gavin Kader：写作 – 审阅和编辑、写作 – 原创草稿、软件、方法学、数据管理。Dongwoo Lee：写作 – 审阅和编辑、写作 – 原创草稿、方法学、正式分析、概念化。

代码可用性

我们的代码公开可用，链接在此处。

未引用参考文献

Binz和Schulz（2023），Loya等人（2023），Zhu等人（2024）

Gavin Kader | Dongwoo Lee