数值控制与滚动时域强化学习：基于经验回放的多智能体包含控制研究解读

《Measurement and Control》：Receding-horizon neuro-fuzzy reinforcement learning with experience replay for containment control of multi-agent systems

　　

针对扰动下的多智能体系统（multi-agent systems, MAS）包含控制问题，研究人员提出一种融合经验回放的滚动时域神经模糊强化学习方法。该方法将MAS的最优控制问题转化为一系列有限时域的前向滚动优化问题，并采用融合策略改进与策略优化的值迭代框架。同时，基于模糊神经网络设计了分布式演员-评论家策略框架，并结合经验回放机制进行权重更新，从而提升在线学习效率与策略可解释性。数值仿真结果表明，所提方法在性能代价与平均误差范数方面均优于滚动时域强化学习（receding-horizon reinforcement learning, RHRL）及基于神经网络的自适应动态规划（neural network-based heuristic dynamic programming, NN-HDP）方法。

### 研究背景与问题
近年来，多智能体系统因其相较于单智能体系统在执行复杂任务方面的显著优势而受到广泛关注。包含控制旨在通过设计适当的控制协议，驱使跟随者收敛到由领导者构成的凸包内，从而协同完成诸如协作覆盖、护航等集体目标。在关键设备保护、区域监视等应用场景中，包含控制展现出重要的实用价值，已形成滑模控制、基于观测器的控制、状态反馈、输出反馈等多种设计方法。然而，现有方法多依赖精确的数学模型，难以适应动态环境。强化学习为多智能体包含控制提供了新途径，但已有基于学习的方法通常基于无限时域性能指标求解最优策略，面临策略收敛效率低、数据利用效率不足、黑箱特性导致策略可解释性差等问题。滚动时域强化学习通过序列化滚动分解无限时域问题可在一定程度上提升学习效率，但其优化过程常局限于当前时步交互数据，数据利用率有待改善。模糊神经网络融合了模糊逻辑的可解释性与神经网络的学习能力，为高效策略特征表示提供了新方向，但其在多智能体协同包含控制方面的应用仍缺乏系统性研究。为此，研究人员提出一种融合经验回放的滚动时域神经模糊强化学习方法以填补上述空白。

### 研究内容与结论
研究人员提出滚动时域神经模糊强化学习（receding-horizon neuro-fuzzy reinforcement learning with experience replay, RNFL-ER）方法，用于多智能体系统的包含控制。该方法将包含控制问题重构为有限时域内的滚动优化问题；在滚动时域强化学习框架中设计基于模糊神经网络的分布式演员-评论家结构以逼近最优策略；并整合经验回放机制进行网络权重更新，提升数据利用效率与包含控制策略的可解释性。主要贡献包括：其一，提出一种基于分布式滚动时域优化的在线强化学习方法，在局部通信条件下兼顾策略学习效率与包含控制性能；其二，设计融合经验回放的神经模糊演员-评论家权重更新机制，推导最优控制策略，改善数据利用效率并增强策略可解释性；其三，通过多组仿真实验验证所提方法在控制性能与包含精度方面均优于RHRL与NN-HDP方法。

### 技术方法
研究人员在提出RNFL-ER方法时采用了以下关键技术手段：一是代数图论建模，建立领导者-跟随者通信拓扑的图模型，为分布式控制提供结构基础；二是模糊神经网络函数逼近器，将高斯隶属函数与模糊推理规则嵌入神经网络结构，用于逼近值函数与策略函数，兼顾可解释性与非线性逼近能力；三是滚动时域优化机制，将无限时域最优控制问题转化为逐次推进的有限时域优化问题；四是值迭代求解框架，融合策略评估与策略改进步骤，通过贝尔曼方程递推求解最优值函数与最优策略；五是经验回放训练机制，将历史交互数据存入经验池并通过随机采样打破样本相关性，提升学习效率与数据利用率；六是李雅普诺夫稳定性分析，通过构造包含性能指标的李雅普诺夫函数证明闭环系统渐近稳定性。仿真验证采用两组算例：第一组为一般线性多智能体系统，包含三名领导者和三名跟随者；第二组为RLC电路组成的多智能体系统，包含两名领导者和四名跟随者。

### 数值仿真结果
由于原文未提供可用的仿真源代码或可复现的实验环境，本文无法直接复现原文的数值仿真实验。以下仿真结果完全基于原文所报告的数据进行客观总结与转述，研究人员未执行新的仿真计算。

#### Case 1
仿真1中，通信拓扑包含3名领导者和3名跟随者，领导者的初始状态分别设为x₀¹(1)=[0.125, 0.267]^?、x₀²(1)=[0.698, 0.7612]^?和x₀³(1)=[0.6135, 0.358]^?，跟随者初始状态在(0,1)内随机选取。图4给出的状态轨迹与图5给出的状态误差曲线表明，RNFL-ER方法可使所有跟随者收敛至领导者张成的三角凸包内，且相比RHRL与NN-HDP方法获得更平滑的轨迹与更小的包含误差。图6进一步显示跟随者各状态分量始终保持在领导者状态取值范围内。图7给出的网络权重收敛曲线表明，在三轮策略学习过程中，演员网络权重均快速收敛至常值。在控制策略上叠加标准差为σ=0.1的零均值高斯白噪声后，图8显示RNFL-ER方法仍保持较低状态误差与较快收敛速率。以最大瞬态超调量O_s=max_k,i‖e_i(k)‖作为避碰安全性指标，在含噪工况下RNFL-ER的超调量为0.3480，相比RHRL的0.4928减少29.38%，相比NN-HDP的0.6365减少45.33%，验证了所提方法在暂态安全方面的优势。

#### Case 2
仿真2采用RLC电路组成的多智能体系统验证所提方法的有效性。系统经采样间隔0.05s的前向欧拉法离散化后，得到离散时间模型x_i(k+1)=[0.90.05; ?0.050.975]x_i(k)+[0; 0.05]u_i(k)。领导者初始状态设为x₀¹(1)=[?0.5, 0.4]^?与x₀²(1)=[?0.7, 0.5]^?。图10与图11表明RNFL-ER方法驱动所有跟随者进入领导者凸包，并获得比RHRL与NN-HDP更平滑的状态轨迹和更小的包含误差。图12显示演员-评论家权重在各学习回合内均快速收敛至常值。在控制策略中加入幅值为0.2的随机扰动后，图13显示所提方法仍取得较低状态误差。统计指标（性能代价J_a、均方根误差R_m、误差范数均值M_e与标准差S_t）对比表明，RNFL-ER在所有指标上均优于对比方法，相比NN-HDP方法，性能代价减少至少9.06%，平均误差范数减少至少29.11%。在仿真1基础上进行的30次独立重复实验并配合置信区间与独立双样本t检验（显著性水平α=0.05，临界值t_0.025,29=2.045）表明，所提方法性能指标的置信区间宽度更窄，且所有p值均小于0.01，证实所提方法在不同初始条件下保持稳定一致的控制性能。

### 讨论与结论
RNFL-ER方法通过滚动时域优化分解无限时域问题，显著提升了策略学习效率；引入模糊神经网络作为演员-评论家函数逼近器，在保持非线性逼近能力的同时增强了策略可解释性；结合经验回放机制提高样本利用效率；终端惩罚矩阵的引入使闭环系统在有限时域近似下仍能保证渐近稳定性。该方法可推广至多机器人协同护航、搜索救援等受外部扰动影响的分布式协同控制任务。未来研究方向包括：通过引入控制输入增量惩罚改善轨迹平滑性，以及探索输入饱和、拓扑切换、时延与丢包等复杂场景下的优化方案。