分布式多玩家系统中的异步自触发纳什学习

《Neurocomputing》：Asynchronous self-triggered nash learning in distributed multiplayer systems

　　杨高富|宋瑞卓
北京科技大学自动化与电气工程学院，中国北京100083

摘要
在稀疏通信网络中，参与者之间难以直接交换信息，这使得基于同步更新的常规观测器设计失效，而完全连接的网络方法则不切实际。为解决这一问题，本文提出了一种基于异步触发观测器的离策略无模型强化学习算法，用于求解网络多玩家系统中的纳什均衡。在参与者无法直接获取非相邻信息的有约束通信拓扑下，该算法设计了自触发观测器来估计所需的无用信息。此外，根据观测器的最大事件间隔以及哈密顿-雅可比-贝尔曼残差，构建了异步学习触发条件，使每个参与者能够独立更新其控制策略。在巴拿赫空间框架下的理论分析证明了所提算法的收敛性，仿真研究也验证了其有效性。

引言
多玩家微分博弈[1][2]将系统动态与个体目标函数相结合，为动态系统推导出最优控制策略。这些策略通过平衡各参与者的利益来解决冲突[3][4]，从而实现整个系统的最佳性能。在控制理论中，多玩家非零和博弈[5][6][7]旨在为每个参与者找到纳什均衡策略。在先前的研究[2][8]中，自适应动态规划被广泛用于计算纳什均衡。然而，这类方法通常依赖于对系统矩阵的精确了解，而在实际场景中，由于系统动态部分或完全未知，这种了解往往不可得。随后，人们开始在强化学习框架中引入神经网络来计算纳什均衡策略[9]，利用其近似未知函数的能力[10]。最近，数据驱动的离策略方法[11][12]也被开发出来，以消除对明确系统动态的依赖。不过，这些研究通常假设每个参与者都能获取其他参与者的信息，而这在现实中往往并不现实。

网络控制策略提供了一种替代方案，它允许参与者通过通信网络交换信息，而不需要完全连接的结构。这种方法能够节省网络资源，增强对网络干扰的抵御能力，并以分布式方式计算每个参与者的决策或控制[13][14][15]。正是由于这些优势，基于网络的通信被引入到多玩家游戏中，形成了网络多玩家游戏结构。这种结构给非相邻参与者之间的信息交换以及同步策略解决方案的实现带来了挑战。在网络系统中[16]，并非所有参与者都直接相连。因此，构建观测器[17]是一种有效的方法，可用于获取非相邻参与者的信息，从而为网络多玩家游戏中的每个参与者提供关于非相邻参与者的估计值。然而，这也会带来新的挑战，包括增加的通信开销、获取非相邻参与者信息的时间以及启动策略评估和改进的流程。此外，网络环境中的通信效率各不相同，监测特定条件可能会消耗大量计算资源。为了解决这些问题，事件触发机制被引入到网络多玩家游戏中，因为事件触发[18][19][20]可以通过仅在需要时触发更新来有效降低通信和采样频率。尽管已有若干研究[21][22][23]将事件触发应用于多玩家系统中的协调策略设计[24][25]，但它们大多依赖同步触发[26][27][28]，这仍然会导致多余的通信开销和潜在的网络拥堵。为克服这一限制，本文提出了一种异步事件触发机制，它能选择性地启动更新，从而避免因同时触发而产生的通信高峰。

与通常依赖完整系统信息的传统博弈论方法[5]相比，本文研究了网络多玩家非零和博弈，并提出了一种分布式数据驱动算法。在该框架中，每个参与者仅使用来自邻近参与者的本地可用信息来计算自身的控制策略。如图1所示，所提框架将观测器触发机制与强化学习过程相结合。采样过程由观测器触发信号控制，该信号决定了零阶持有器的更新。观测器触发条件由同步误差和采样误差决定，而学习触发条件则基于采样结果和哈密顿-雅可比-贝尔曼残差构建。此外，最大观测器触发间隔用于判断是否已获得准确的控制信息。本文的贡献可总结如下：
• 提出了一种异步观测器触发机制，该机制将自触发策略集成到观测器中，以便在稀疏网络约束下从非相邻参与者处获取信息，同时减少通信开销。最大触发间隔经过严格推导，可用于确定观测过程的完成情况。
• 基于观测器的最大触发间隔，为复杂的通信拓扑提出了异步学习触发机制。该机制使参与者能够独立更新其控制策略，从而克服了网络约束下同步更新的局限性。
• 开发了一种数据驱动的分布式强化学习算法，用于在具有通信约束的离散时间非零和博弈中学习纳什均衡，该算法利用来自观测器的控制信息以及自触发的观测完成信号。与传统基于自适应动态规划的方法[18]相比，所提方法降低了计算和通信成本。

章节节选
预备知识
符号表示法中，和分别表示所有维向量集和×矩阵集。表示矩阵是正定的。和分别是相应尺寸的单位矩阵和零矩阵。表示克罗内克积。表示将矩阵的元素按顺序排列成一个向量。是将矩阵或向量的块矩阵或元素排列在对角线上得到的对角矩阵。索引表示与系统时间步相关的信息。

具有自触发机制的观测器
本节为观测器(6)设计了一种自触发机制，以减轻通信负担。通过应用极值原理，分析了所提机制的最小和最大触发间隔，以此防止连续触发并确定观测过程的完成时间。

基于双重触发的数据驱动强化学习控制
本节基于第3节中推导出的观测器特性，提出了一种改进的强化学习方法，用于求解纳什均衡策略。首先，如图1中的绿色区域所示，为(7)推导出了一个迭代式自触发观测器。然后，如图1中的蓝色区域所示，设计了一个学习触发器，基于最大触发间隔来激活强化学习过程，从而形成一种基于双重触发的数据驱动无模型强化学习算法，用于求解纳什均衡。

仿真
本节利用[39]中的航天器跟踪模型来验证所提算法的有效性。航天器的运动在欧拉-希尔参考系中描述。航天器相对于目标的相对运动由下式给出，其中表示沿和方向的控制输入，而是一个与参考轨道半径和引力常数相关的参数。五个位于不同位置的推进器提供了控制输入。

结论
本文提出了一种改进的PI算法，用于计算纳什均衡。该算法结合了双重自触发机制，以减轻观测器的通信负担，并确定是否已从其他参与者那里获得所需的控制增益信息。此外，还采用了离策略算法来进行策略评估。通过在控制输入中注入探测噪声信号，可以收集足够丰富的数据用于策略评估。此外，……

CRediT作者贡献声明
杨高富：写作——审稿与编辑，写作——初稿撰写，软件，方法论。宋瑞卓：写作——审稿与编辑，指导，资金获取。

利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文的研究工作。

致谢
本研究部分得到了中国国家自然科学基金项目62273036、62403045的支持，同时也得到了北京科技大学青年教师跨学科研究项目（中央高校基本科研业务费）项目FRF-IDRY-23-036的支持。杨高富于2018年在中国山西农业大学太谷分校工程学院获得学士学位，目前在北京科技大学攻读仪器科学与技术专业的博士学位。他的研究兴趣包括多玩家游戏、自适应动态规划以及神经网络。