面向大规模隐藏信息博弈的可扩展决策：Ataraxos在Stratego、Barrage Stratego、Hanabi与dou dizhu中的超人表现

《Nature》：Scalable decision-making for games of imperfect information

　　

现实世界决策通常涉及隐藏信息（hidden information），即一个智能体未知而另一个智能体拥有的信息。不幸的是，大量隐藏信息的存在使已有强化学习（reinforcement learning, RL）和搜索方法失效。即使有数百万美元的产业研究努力¹，Stratego——一种具有大规模隐藏信息的棋盘战争游戏——的顶级人类水平对弈仍超出人工智能（artificial intelligence, AI）的触及范围。研究人员在此介绍 Ataraxos，一种用于 Stratego 的 AI，其基于研究人员为隐藏信息下的自博弈强化学习（self-play reinforcement learning）和测试时搜索（test-time search）所开发的通用技术。Ataraxos 以较大优势击败了有史以来获得荣誉最多的人类 Stratego 玩家——据研究人员所知，实现了该游戏历史上首个超人结果——同时消耗的计算量和数据量比先前努力少若干数量级。使用相同技术，研究人员构建了 Barrage Stratego 的超人 AI，以及 Hanabi 和 dou dizhu 的最先进 AI，均具有低成本和样本效率。该方法在对抗性、合作性和团队博弈中的成功，确立了在大量隐藏信息下有效的强化学习和搜索设计模式，这是战略决策领域长期渴望的目标。

该论文发表在《Nature》。研究背景在于，现实世界决策常涉及隐藏信息（hidden information，一个智能体未知而另一个智能体拥有的信息），不完全信息（imperfect information）是金融市场、军事冲突和谈判等真实场景的特征。在完美信息博弈如国际象棋和围棋中，概念上“正确做法”简单：选择使结果局面价值最大化的着法；但在不完全信息中，决策价值不仅取决于此后采用的策略，还取决于此前和当时使用及反事实会使用的策略，因为这些会影响隐藏信息的后验分布。同期反事实之间的频率与价值依赖关系复杂。已有最成功方法依赖基于公共信息（public information）的问题变换，但其成本随隐藏信息量增长，仅适用于隐藏信息较少场景，如德州扑克（Texas hold’em）的1,326种可能手牌。因此，大规模隐藏信息下的战略决策仍是开放问题。Stratego 具有超过10³³种可能棋子配置，成为挑战问题；产业研究多年、涉及数十名研究人员、耗费数百万美元计算，仍未达到超人水平。研究人员因此开发 Ataraxos，并在20局系列赛中击败 Pim Niemeijer；这是该游戏历史上首个超人结果，且训练成本仅几千美元。研究人员还将技术用于 Barrage Stratego、Hanabi 和 dou dizhu，说明强化学习和搜索不再因大量隐藏信息而无法高性能运行，实现了战略决策领域长期愿望。

关键技术方法不超过250字：研究人员采用自博弈强化学习（self-play reinforcement learning）与测试时搜索（test-time search）的通用设计模式。核心包括策略-价值网络（policy–value network），通过自博弈提出决策并预测结果；协调正则化强度与策略更新规模，早期强正则化、激进更新，后期弱正则化、小更新。信念网络（belief network）在最终策略网络的自博弈数据上训练，建模隐藏信息并按似然采样。测试时搜索通过一次阻尼自博弈更新等价实现，结合信念采样、策略-价值网络 rollout 估值和表格更新选择动作。Stratego 中，set-up network 与 move network 两个相互依赖自博弈过程耦合；训练使用自定义 CUDA（Compute Unified Device Architecture）模拟器和 NVIDIA H100 GPU，数据来自自博弈，无人类样本队列。

研究结果如下。Overview of Ataraxos（Ataraxos概述）：Ataraxos 基于 tabula rasa 自博弈强化学习和测试时搜索，包含策略-价值网络、信念网络和搜索程序。自博弈中，协调正则化强度与策略更新大小，保持更新与正则化相称，抑制不完全信息导致的循环、发散或混沌学习动态；训练中自适应两者促进早期快速提升和后期持续改善。信念网络在最终策略-价值网络的自博弈上训练，作为生成模型采样隐藏信息。测试时，信念网络先生成隐藏信息实现，策略-价值网络在每种实现下 rollout 候选动作并估值，然后视估值来自自博弈执行一次额外更新，仅用于当前决策，并从更新后策略选择动作。Stratego 实例化两个相互依赖自博弈过程：set-up 网络学习排列40枚棋子，move 网络学习移动棋子；两者通过游戏耦合。信念网络预测对手隐藏棋子类型。测试时 set-up 直接从 set-up 网络采样，move 使用搜索。总训练成本几千美元，CUDA 模拟器每秒执行数百万状态更新，样本效率高。

Evaluation（评估）：对 Pim Niemeijer 进行20局系列赛，历时3周，以有效胜率（effective win rate，平局计半胜）衡量。Pim 的荣誉包括4次世界冠军、15次荷兰全国冠军、2次在线世界冠军，超过600周排名第一；据 George Franka 称为“有史以来最佳 Stratego 玩家”。Ataraxos 以15胜1负4平获胜，有效胜率85%，在最高水平人类对弈中无先例。Pim 可适应 Ataraxos，而 Ataraxos 不适应 Pim，据 Vincent de Boer 称这构成大 handicap。若假设结果独立同分布，精确单侧二项检验显示 Ataraxos 更可能赢而非输的 P 值小于2.6×10^?4。2025年 Stratego 世界锦标赛 demo 中，40局记录95%有效胜率（38胜2负0平）。

Application to other games（应用于其他游戏）：研究人员将 Ataraxos 技术用于 Barrage Stratego、Hanabi 和 dou dizhu，跨越两人零和、完全合作和两团队零和博弈，均取得最先进结果。

Barrage Stratego：Barrage Stratego 每方8枚棋子，比经典40枚更危险，需要更高风险、诈唬和放水。研究人员对三位顶级人类玩家，每位均为两届 Barrage 世界冠军，进行四个50局系列赛（对第3和第4排名各一，对第1排名两）。Ataraxos 赢得每个系列；在相同假设下，精确单侧二项检验 aggregate P 值小于1.3×10^?5。这是据研究人员所知 AI 首次在 Barrage Stratego 超过顶级人类。评估中先评估无搜索的策略网络，对世界第4 Axel Hangg 为29胜17负4平，对世界第3 Sébastien Crot 为36胜12负2平，对世界第1 Pim Niemeijer 为26胜21负3平；随后对 Pim 进行第二50局系列赛评估搜索策略，尽管 Pim 已积累信息，搜索策略以31胜14负5平显著优于策略网络。

Hanabi：Hanabi 是完全合作不完全信息博弈最重要基准，获2013年 Spiel des Jahres 最佳棋盘游戏奖。玩家合作按升序构建五色烟花堆，只能看到队友手牌。五人变体交易数超过5×10²⁷。研究人员实现2至5人变体，所有变体以统计显著性刷新最先进结果；两人变体所需计算比先前最先进少两个数量级。全部玩家使用搜索时，平均分和完美25分游戏百分比为：2人 24.654±0.007、77.53%±0.42%；3人 24.863±0.005、89.90%±0.30%；4人 24.852±0.005、88.40%±0.32%；5人 24.410±0.009、58.05%±0.49%。随着使用搜索的玩家数增加，性能单调提升，多人变体增益尤其大。

Dou Dizhu：dou dizhu 是中国最流行纸牌游戏之一，有数百万活跃玩家和数十亿下载。三人非对称团队博弈，地主对抗两个农民，可能交易数超过3×10²⁴。研究人员对先前最先进 PerfectDou 及其前身 DouZero 评估。按 PerfectDou 设定，一智能体控制地主，另一智能体分散控制两个农民。Ataraxos 以统计显著性击败 PerfectDou 和 DouZero，建立新最先进。角色平均分：Ataraxos 对策略网络0.107±0.012，对 PerfectDou 0.199±0.015，对 DouZero 0.350±0.016；策略网络对 PerfectDou 0.152±0.004，对 DouZero 0.286±0.004；PerfectDou 对 DouZero 0.142±0.004。Ataraxos 对每个基线均最强。

讨论与结论部分，研究人员将 Ataraxos 与 DeepNash 比较。DeepNash 由 DeepMind 开发，2022年4月在 Gravon 评估，赢得50局中42局，但未达网站最高排名；当时玩家群已迁移，对手非顶级，在线一次性比赛可能未激发最大努力，对手不知对 bot，也不知其固定策略可被利用。2023年 Stratego 世界锦标赛 demo 中 DeepNash 对人类19胜9负，输给多数高排名玩家，包括 Pim。DeepMind 表示 DeepNash 代码已不可用，无法评估。成本方面，DeepNash 用1,024个 tensor processing unit 节点训练2至3个月，按2025年价格约300万至450万美元；Ataraxos 强化学习模型用16个 H100 训练1周，信念模型用4个 H100 训练4天，2025年价格低于8,000美元。样本方面，DeepNash 训练约55亿局和5万亿至10万亿训练样本；Ataraxos 约1.6亿局和约500亿训练样本。进一步改进机会：学习方面 Ataraxos 通过特征访问历史而非直接跨时间学习；信念模型若交织空间注意与时间注意或循环模型，在计算归一化性能上可更强，但强化学习中未观察到开箱即用改进。搜索方面，Ataraxos 搜索模拟单次更新，改进有界；更复杂搜索可继续利用额外计算，可能结合 knowledge-limited subgame solving。研究结论翻译：强化学习和搜索的结合已被证明是战略决策的强大配方。但过去，该配方对不完全信息设置适用性有限。本文 AI 的成功表明，大量隐藏信息的存在不再构成禁止性障碍。这使实际 AI 可触及许多能够构建快速、准确模拟器的战略决策问题。