有限人口LQG社会控制的去中心化策略：一种强化学习方法

《Automatica》：Decentralized strategies for finite population LQG social control: A reinforcement learning approach

　　**摘要**
本文提出了一种新颖的无模型算法，用于处理具有乘性噪声的有限种群线性-二次-高斯（LQG）分散式社会控制问题。成本函数中的状态权重和控制权重不限于半正定。对于有限视界和无限视界情况，目标是通过求解两个代数Riccati方程（AREs）来获得社会最优解，而无需预先知道系统矩阵。然后，我们完成了无模型算法的设计，用于解决分散式社会控制问题。特别是在无限视界情况下，算法的收敛性基于对Lyapunov型算子谱特性的分析。比较了有限视界和无限视界情况下强化学习（RL）解的差异。最后，通过一个数值示例证明了所提算法的有效性。

**引言**
分散式社会控制为解决大型种群合作微分博弈提供了一种有用的方法，这些博弈的特点是代理们寻求优化共同成本。分散式社会控制在系统控制、金融数学、群体动力学和工程等多个领域引起了广泛关注（Aurell和Djehiche，2018；Cardaliaguet等人，2019；Carmona等人，2013；Tembine等人，2013）。Mean field博弈起源于Huang等人（2007）和Lasry与Lions（2007）的开创性工作。Mean field博弈和控制在理论和应用方面具有巨大潜力。Mean field博弈可以分为两种类型：线性-二次-高斯（LQG）型和其他更一般的类型，后者由其状态-成本设置决定。由于广泛的实际应用背景，LQG型在Mean field问题中更为常用。有关LQG型Mean field博弈的文献包括Moon和Ba?ar（2017）的研究，这些研究涉及风险敏感成本和最坏情况风险中性成本；Bardi和Priuli（2014）的遍历成本；Li和Zhang（2008a）的时平均随机成本；Wang和Zhang（2012）的马尔可夫跳跃参数；以及M. Li等人（2025）的部分观测情况。一些关于非线性Mean field博弈的最新工作包括Fischer（2017）和Lacker（2020）。此外，还研究了Huang和Huang（2017）的鲁棒Mean field博弈，Bensoussan等人（2015）和Li与Wang（2024）的Stackelberg Mean field博弈，以及Moon（2020）的零和微分Mean field博弈。Mean field模型已被广泛用于研究社会最优解。社会最优解与一种团队决策问题相关（Ho，1980），但具有高度复杂的交互作用。因此，可以将团队决策问题表述为所有合作代理共享一个共同的成本函数。合作代理的目标是在大规模种群系统中最小化总成本。然而，实现社会最优解通常需要所有代理的集中式信息，这带来了巨大的计算和实施挑战。为了应对这些挑战，人们开发了分散式合作优化框架，利用Mean field模型逐步实现社会最优解。Huang等人（2007）开发了一种状态聚合技术，获得了一组具有??-Nash均衡性质的分散控制定律。Huang等人（2012）提出了社会确定性等价方法，用于逐步实现社会最优解。B.-C. Wang等人（2020）给出了系统均匀稳定的必要和充分条件，并使用两个Riccati方程的解设计了一组分散控制定律。Huang和Yang（2021）采用重新缩放方法将Riccati常微分方程（ODE）简化为某种低阶ODE系统，这为渐近可解性提供了一个必要和充分条件。大多数关于Mean field博弈和控制的现有工作都研究了大型或无限种群系统。然而，在许多实际情况中也考虑了小型或中等规模种群系统（Kizilkale和Malhamé，2016；Ma等人，2013）。在Mean field博弈和控制理论中，经典结果对有限种群系统存在局限性。具体来说，从这些结果得出的渐近最优策略可能导致有限种群系统的性能损失。因此，研究有限种群系统的最优分散控制是非常重要的。Wang等人（2023）首次提出了有限种群分散博弈和团队可解性的必要和充分条件，这些条件基于前向-后向随机差分方程（FBSDEs）。Liang等人（2024）考虑了离散时间设置下的有限种群系统的最优分散策略。值得注意的是，成本函数的权重矩阵不必是确定的，分散式社会最优控制的可解性由两个Riccati方程的常规解的存在性决定。近几十年来，Mean field博弈和控制的数值方法受到了极大关注。已经设计了多种用于Mean field模型的数值方法，如固定点方法（Caines和Huang，2021；Li和Zhang，2008b）、半拉格朗日方案（Carlini和Silva，2012）、有限差分离散化（Briceno-Arias等人，2018）等。然而，这些方法要求知道系统动力学，这限制了它们的实际应用性。无需系统矩阵即可学习Mean field博弈和控制解的问题引起了极大兴趣。最近，强化学习（RL）已成功应用于解决复杂的决策问题（H. Wang等人，2020）。在RL中，代理通过与环境互动来学习控制策略（Rizvi和Lin，2018）。更多细节请参见Sutton等人（1998）。已经为Mean field博弈和控制开发了多种算法，包括Q-learning（Angiuli等人，2022；Gu等人，2021；Guo等人，2019）、熵正则化（Guo等人，2022）、虚拟游戏（Perrin等人，2020）。L. Wang等人（2020）和Chen等人（2021）分析了RL在Mean field控制和有限代理问题之间的联系。Hu等人（2023）考虑了非均匀种群。N. Li等人（2025）采用Lyapunov递归的策略迭代方法，用于解决无限视界下的连续时间LQG Mean field控制问题。Xu等人（2023）和Xu等人（2025）分别提出了一种无模型方法，用于解决LQG Mean field博弈和Mean field社会控制问题。然而，大多数研究要么关注Mean field博弈，要么关注无限种群系统。关于有限种群上Mean field社会控制的学习算法的研究相对较少。大多数相关工作都集中在无限种群或大型种群系统上，使用传统数值方法。然而，现有研究存在以下不足：（1）关于经典Mean field博弈和控制的结果主要集中在大型或无限种群系统上。然而，对于实际的有限种群系统，使用上述结果得到的策略可能会导致显著的最优性损失。相应的数据驱动方法在有限种群系统中效果不佳。（2）现有的无模型算法主要集中在无限视界情况，而在有限视界问题上的研究较少。上述两种情况下RL解的关系尚不清楚，需要进一步研究来填补这一空白。（3）现有结果仅在权重矩阵??和??满足（半）确定性条件时保证策略迭代算法的收敛性。相反，对于非标准/不定权重矩阵，收敛性分析很少。在本文中，我们研究了离散时间下的有限种群LQG Mean field社会控制问题。如果系统动力学已知，可以通过求解两个Riccati方程获得最优控制增益（Liang等人，2024）。然而，当代理的动力学完全未知时，技术挑战就会出现。受到上述相关工作的启发，特别是Liang等人（2024）和Xu等人（2025），本文开发了一种用于解决有限种群LQG Mean field社会控制问题的无模型算法。与现有工作不同，本文考虑了有限种群系统的无模型学习。本文的主要贡献如下：（1）我们开发了一种无模型算法，在不定权重矩阵下找到分散策略。与依赖正（半）确定状态和控制权重以实现收敛的传统方法不同，我们放宽了这一条件，允许使用不定权重矩阵。此外，我们展示了有限视界和无限视界情况下RL解的三个差异。（2）我们提出了迭代方程的单调递减性质，这与矩阵求逆方法不同。当ARE中存在与控制相关的二次项（???????????）时，直接矩阵求逆公式方法是不可行的。我们将两个耦合的ARE合并为一个新方程，并证明了迭代算法的单调递减性和有界性，确保了迭代序列的收敛性。（3）为了解决不定ARE问题，我们展示了具有不定权重的迭代算法在有限视界和无限视界情况下的收敛性。特别是在无限视界情况下，这是基于对Lyapunov型算子谱特性的分析。

**问题表述**
考虑一个具有??个同质玩家的有限种群系统，其中玩家????的动力学由离散时间线性随机差分方程?????(??+1)=????????(??)+????????(??)+(????????(??)+????????(??))??????(??)给出，其中{??????∈???,??∈??}和{??????∈???,??∈??}分别是玩家????的状态和控制过程。?????(??)是均值为零、方差为??2的标量高斯白噪声。??、??∈???×??和??、??∈???×??是给定的确定性系数矩阵。玩家????的个体成本函数为……

**主要结果**
在本节中，我们开发了一种无模型方法来近似求解AREs（8）、（9）。首先，我们设计了两种基于模型的策略迭代算法来解决AREs（8）、（9）。然后，通过使用无模型方法，可以避免对系统动力学的依赖。

**主要结果**
在本节中，我们研究了提出的无模型算法在??→∞（无限视界情况）时的性质。

**假设4**
系统（1）[??,??;??,??]是??2????????????????????????????????????且㏒?≠?，其中㏒??{(??,??)=(????,????)∣㏒??(??,??)>0,??(??)>0}，?{ { { { { { { { { { { { { { { { { ???????????(??,??)?[㏒???(??,??)??????(??,??)????(??,??)????(??,??)],??(??)?[???(??)?????(??)???(??)???(??)]，其中?{ { { { { { { { { { { { { { { { ?????(??,??)????1??3(?????????????????????)+??2???????3??+?????????????,㏒℃?[??????????+??2???????3??,㏒℃?[??+??????????+??2???????3??,㏒℃?[??+1??3(?????????????????????)+???????3??+??2???????3?????,㏒℃?[???????3??+??2???????3??,㏒℃?[??+???????3??+??2???????3??]