迭代博弈中策略的演化:一种融合混合遗传算法与CMA-ES优化的深度多智能体强化学习方法

《Frontiers in Artificial Intelligence》:Evolution of strategies in iterated games: a deep multi-agent reinforcement learning approach with hybrid genetic and CMA-ES optimization

【字体: 大 中 小 】 时间:2026年06月22日 来源:Frontiers in Artificial Intelligence 4.7

编辑推荐:

  本研究旨在解决自利智能体在社会困境中合作涌现这一演化博弈论、多智能体系统与行为科学领域的核心未解问题。尽管记忆深度为一(memory-one, M1)的互惠策略(如以牙还牙,Tit-for-Tat)已被广泛研究,记忆深度为二(memory-two, M2)的双

  
本研究旨在解决自利智能体在社会困境中合作涌现这一演化博弈论、多智能体系统与行为科学领域的核心未解问题。尽管记忆深度为一(memory-one, M1)的互惠策略(如以牙还牙,Tit-for-Tat)已被广泛研究,记忆深度为二(memory-two, M2)的双边互惠策略——其策略空间规模达216=65,536——的演化特性仍有待深入刻画。研究人员构建了一个统一的基于智能体的计算框架,将Q学习多智能体强化学习(multi-agent reinforcement learning, MARL)引擎与Moran过程、Wright-Fisher过程及复制动力学选择机制相整合,系统探究了M2双边互惠策略在八项受控仿真实验中的演化命运。在标准囚徒困境(Prisoner's Dilemma, PD)条件下(T=5, R=3, P=1, S=0, N=100, μ=0.05, β=2.0, ε=0.02),仿真收敛至高合作拟均衡态,平均合作率ρC = 0.814 ± 0.029。M2策略类别共同占据了演化均衡种群的61.0%,且全部三种M2策略在入侵全背叛(ALLD)驻留种群时均实现固定概率Pfix = 1.000——较中性预期提升10倍。合作对于行为噪声具有鲁棒性,可承受ε≈0.15以下的噪声水平;超过该阈值则发生噪声诱导的相变,导致合作均衡崩溃。研究人员系统性地改变了选择压力、突变率、博弈类别及种群规模,证实M2优势在所有测试条件下均保持稳健。这些结果确立了M2双边互惠作为含噪声迭代社会困境中主导演化策略类别的地位,并为其涌现与存续条件提供了严格的计算表征。
本研究聚焦于自利智能体在社会困境中合作行为的涌现与维持问题,这一难题横跨生物学、社会科学与计算科学领域。在缺乏亲缘关系、中央 enforcement 或共享身份的情况下,理性智能体面对社会困境时个体激励指向背叛,然而生物种群、人类社会及多智能体系统中的实证观察却普遍显示出稳定而广泛的合作现象。迭代囚徒困境(iterated Prisoner's Dilemma, IPD)自Axelrod的开创性计算机竞赛以来一直是研究合作的经典模型,其中"以牙还牙"(Tit-for-Tat, TFT)策略的成功揭示了直接互惠(direct reciprocity)的重要性。然而,行为记忆的深度从根本上制约着智能体在噪声与对抗条件下维持合作的能力。M2策略以其基于两轮双边历史的条件响应,构成了比M1策略丰富得多的策略空间,理论上被认为具有更强的噪声鲁棒性,但其在多智能体演化竞争中的具体命运尚未得到系统性表征。

多智能体强化学习(MARL)与演化博弈论的融合为此提供了新的计算视角。研究人员构建的统一框架整合了三项核心方法支柱:其一是基于时序差分(temporal-difference, TD)学习的MARL引擎,采用Q学习算法(Watkins and Dayan, 1992),状态空间定义为四种可能的(自身行动,对手行动)组合,即?? = {CC, CD, DC, DD},通过贝尔曼TD更新规则进行Q函数估计评定,学习率α=0.10,折扣因子γ=0.90,探索率εQL=0.10;其二为演化动力学模块,实现了基于适应度的比例选择、Moran过程及Wright-Fisher过程三种选择机制;其三为参数化记忆深度架构,编码M0至M2行为策略,其中M2策略由16位二进制基因组表征,策略空间规模|??| = 216 = 65,536。该框架还实现了颤抖手噪声模型(trembling-hand noise),以概率ε翻转预期行动。在MARL选择机制下,子代智能体以拉马克式(Lamarckian)学习遗传方式继承亲代Q表,并附加高斯扰动ΔQ(s,a)~??(0,σQ2),其中扰动标准差σQ=0.05。

研究人员开展了八项系统仿真实验(E1–E8),涵盖基线动态、噪声敏感性、选择压力、跨博弈比较、记忆深度隔离、M2入侵分析、突变率扫描及有限种群规模效应。

**E1:基线种群动态**。在标准囚徒困境条件下,仿真展现出三阶段演化轨迹:快速合作入侵期(0–30代,TFT与TFT-2快速扩展)、缓慢的M1至M2巩固期(30–120代,由噪声鲁棒性驱动)、以及稳定拟均衡期(150代后,ρC = 0.814 ± 0.029)。香农熵H的下降证实了种群围绕M2簇的逐渐凝聚。

**E2:M2双边互惠的优势与入侵分析**。M2策略类别在均衡种群中占据61.0%,显著高于M1策略的26.2%和M0策略的13.8%。入侵分析表明,TFT-2、WSLS-2和GRIM-2三种M2策略作为10%少数群体引入ALLD驻留种群时,全部50次重复均实现固定(Pfix = 1.000),较中性预期(P0 = 0.10)提升10倍。该结果与Moran过程解析固定概率公式ρMoran = (1?r?1)/(1?r?N)的预测(r≈1.4时ρ≈0.97)高度一致。

**E3:行为噪声对合作的影响**。合作对低至中等噪声保持鲁棒:ε从0升至0.02时ρC仅下降2.0个百分点;ε=0.10时显著下降至0.739;ε=0.15时呈现大方差(BSE=0.163)的失稳迹象;ε=0.20时发生崩溃式相变(ρC = 0.550,BSE=0.294,呈双峰分布),表明噪声摧毁了条件策略的信息基础。

**E4:选择压力的效应**。中等选择压力(β=1.0–2.0)优化合作结果,峰值出现在β=1.0(ρC=0.822)。强选择(β≥4.0)引发胜者为王(winner-takes-all)的不稳定性,产生高方差(β=4.0时BSE=0.211),与有限种群演化博弈论预测一致。

**E5:跨博弈类别比较**。合作率随背叛诱惑递增而单调递减:和谐博弈(Harmony Game, ρC=0.889)> 猎鹿博弈(Stag Hunt, 0.845)> 雪堆博弈(Snowdrift/Hawk-Dove, 0.809)> 囚徒困境(0.801)。M2策略在高困境条件下占优(PD中TFT-2占19.8%,Stag Hunt中升至47.4%),而低困境条件下ALLC占优,表明M2双边互惠的生态价值与背叛诱惑强度正相关。

**E6:记忆深度作为合作能力的决定因素**。封闭策略池实验显示:M0单独运行时合作率近乎随机(0.509±0.006);M1与M2单独运行时均收敛至ρC=0.800,但M2以更少的策略类型实现同等合作水平,体现其更高的人群占比优势。

**E7:突变率、多样性与合作**。在μ≤0.10范围内合作保持鲁棒(降幅2.2–3.1个百分点);μ≥0.20时逼近突变-选择错误阈值,合作显著下降(μ=0.30时ρC=0.756)。香农熵H随μ单调递增,从0升至2.12。

**E8:有限种群规模效应**。种群规模N∈{20, 50, 100, 150, 200}变化时合作率保持稳健(0.787–0.828),无显著单调趋势(Kruskal–Wallis检验:χ2=3.41, p=0.49)。最小种群(N=20)因遗传漂变放大而产生最高合作率,N=150时因亚群循环呈现较高方差。

综合讨论与主要发现方面,研究人员就策略空间覆盖度与行为等价类两个解释性问题进行了说明。研究评估的三种命名M2策略(TFT-2、WSLS-2、GRIM-2)是对完整65,534元素双边互惠子空间的理论引导式抽样,而非穷举搜索;16位基因组在均衡分析中近乎行为可分,因所有16种历史状态在颤抖手噪声下均为正概率可达。三种策略均满足真正双边互惠标准(Δs>0且Δo>0),确认其经验 dominance 反映的是双边条件作用。

研究结论部分指出,该工作呈现了一个统一计算框架,整合MARL与演化动力学以系统研究迭代社会困境中记忆深度分层策略的演化。核心论断——M2双边互惠策略在囚徒困境演化策略空间中占据主导稳定地位——获得全部八项实验的一致支持。四项主要经验贡献包括:M2策略占据61.0%均衡种群份额、三种M2策略均实现Pfix=1.000的入侵成功、合作在ε≈0.15处呈现噪声诱导相变、以及M2优势的游戏结构条件依赖性。三项次要发现涉及突变鲁棒性(μ≤0.10)、最优选择压力区间(β=1.0–2.0)及有限种群稳健性。理论层面,该结果挑战了M1策略作为IPD理论自然分析单位的传统聚焦,提示两轮记忆视界可能是噪声重复博弈中演化动力学的自然鲁棒吸引子。研究方法上,Q学习与演化选择的整合通过Lamarckian Q表遗传实现,其收敛性确认了M2 dominance 结果对选择机制具体建模假设的稳健性。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号