解释独立多智能体玻尔兹曼Q学习中的亚稳态合作现象——一种确定性近似方法 David Goll, Wolfram Barfuss, Jobst Heitzig

《Applied Sciences》：Explaining Metastable Cooperation in Independent Multi-Agent Boltzmann Q-Learning—A Deterministic Approximation David Goll, Wolfram Barfuss and Jobst Heitzig

　　

摘要

多智能体强化学习涉及通过共享环境相互作用的智能体，这些智能体的学习过程是耦合的。本文提出了一种离散时间近似模型，用于多智能体Boltzmann Q学习，该模型考虑了智能体的更新频率。我们证明了为什么之前的模型无法准确描述实际的随机学习动态，而我们的模型能够再现多种复杂的动态现象，包括囚徒困境等社会困境中的短暂合作和亚稳态。我们发现，增加折扣因子会通过超临界Neimark–Sacker分岔诱导振荡，从而阻止收敛，这种分岔将唯一的稳定不动点转变为一个稳定的极限环。这一分析有助于更深入地理解多智能体学习动态的复杂性以及无法实现收敛的条件。