通过Q学习方法研究连续时间随机线性二次系统的斯塔克伯格博弈

《Science China-Information Sciences》：Stackelberg games for continuous-time stochastic linear quadratic systems via Q-learning

提出基于Q学习的动态Stackelberg博弈求解方法，通过演员-批评神经网络逼近未知系统参数下的Q函数与控制策略，结合贝尔曼方程与梯度下降法建立在线模型免费算法，证明其在持续激励条件下对所有控制策略几乎 surely收敛，并验证闭环系统状态与估计误差的有界性。

　　

摘要

本文提出了一种Q学习方法，用于解决涉及领导者与N个追随者的随机线性二次斯塔克伯格博弈问题，其中系统动态是未知的。目标是通过求解基于领导者-追随者层次结构的耦合哈密顿-雅可比-贝尔曼方程来获得均衡策略。对于每个参与者，包含未知系统参数的Q函数可以通过评论家神经网络进行近似，而控制策略可以通过演员神经网络进行近似。然后根据贝尔曼方程和梯度下降方法给出调整法则。本文开发了一种在线无模型算法，并证明了在持续激励条件下，该算法对于任意控制策略几乎都能确保收敛。在一些温和的条件下，还证明了闭环系统状态和估计权重误差几乎可以确保一致地最终有界。最后，通过一个数值示例来展示所提算法的有效性。