基于动态补偿器的积分强化学习在未知非仿射非线性多智能体系统中的应用

《Neurocomputing》:Dynamic compensator-based integral reinforcement learning for unknown nonaffine nonlinear multiagent systems

【字体: 大 中 小 】 时间:2026年04月08日 来源:Neurocomputing 6.5

编辑推荐:

  研究人员提出了一种基于动态补偿器(Dynamic Compensator, DC)的纯数据驱动一致性控制方案,面向未知非仿射非线性多智能体系统(Unknown Nonaffine Nonlinear Multiagent Systems, UNNMASs),采

  
研究人员提出了一种基于动态补偿器(Dynamic Compensator, DC)的纯数据驱动一致性控制方案,面向未知非仿射非线性多智能体系统(Unknown Nonaffine Nonlinear Multiagent Systems, UNNMASs),采用积分强化学习(Integral Reinforcement Learning, IRL)方法实现控制。通过引入动态补偿器构建增广系统,将非仿射系统的控制问题转化为仿射增广系统的最优控制问题,从而无需依赖系统动力学模型的具体知识。该方法仅需单个评价神经网络(Critic Neural Network)求解耦合Hamilton-Jacobi方程,并保证权重误差动力学的渐近稳定性。基于Lyapunov直接法,闭环系统在局部邻域一致性误差(Local Neighborhood Consensus Error, LNCE)意义下的稳定性得以证明。仿真实验验证了该控制方案的有效性。
该研究发表于《Neurocomputing》,聚焦于分布式控制领域中的多智能体系统(Multiagent Systems, MASs)一致性问题。随着无人机编队、移动通信、电力系统及移动机器人等领域的快速发展,分布式控制在大规模系统中面临计算与存储资源不足的挑战,迫切需要高效的一致性控制策略。传统动态规划方法通过求解Hamilton-Jacobi-Bellman(HJB)方程获得最优控制,但存在“维数灾难”问题。自适应动态规划(Adaptive Dynamic Programming, ADP)结合神经网络(Neural Networks, NNs)在时间序列中近似求解HJB方程,已成为非线性系统优化控制的重要工具。然而,现有ADP方法大多针对仿射系统,对非仿射系统的研究尚处于起步阶段,且多采用集中式控制,难以应对现代大规模系统的扩展性需求。此外,多数方法依赖系统辨识,且评价神经网络的权重误差仅能保证一致最终有界(Uniformly Ultimately Bounded, UUB),缺乏渐近稳定性保证,影响控制性能。
研究人员构建了由动态补偿器与局部邻域一致性误差(LNCE)组成的增广系统,将非仿射MASs的一致性问题转化为仿射增广系统的最优控制问题,避免了系统辨识的需求。提出的纯数据驱动IRL一致性控制(IRLCC)方案仅需单个评价神经网络结构,简化了控制架构并降低了计算负担。改进的权重更新律确保了评价神经网络权重误差动力学的渐近稳定性,提升了控制精度与可靠性。
关键技术方法:研究采用图论描述智能体间的通信拓扑,定义加权邻接矩阵与拉普拉斯矩阵。通过引入动态补偿器,设计增广状态向量并构建增广系统动力学模型。利用积分强化学习方法,基于输入输出数据直接求解耦合Hamilton-Jacobi方程,无需系统动力学先验知识。采用Lyapunov直接法证明闭环系统的稳定性,并通过数值仿真验证方案有效性。
研究结果:
Graph theory:研究人员采用加权图表示智能体间的信息交互,定义节点集、边集及加权邻接矩阵,构建拉普拉斯矩阵用于描述通信拓扑结构。
Problem formulation:针对未知非仿射非线性MASs,建立节点动力学模型,明确一致性控制的目标与约束条件。
Augmented system design with dynamic compensator:通过动态补偿器构造增广系统,将非仿射系统的控制问题转化为仿射增广系统的最优控制问题,并设计虚拟控制策略。
Simulation studies:通过仿真实验验证所提DC-based IRLCC方案在不同通信拓扑下的有效性,证明其能够实现精确的一致性控制。
Conclusions:研究成功将动态补偿器与IRL结合,解决了未知非仿射非线性MASs的一致性控制难题,提升了控制结构的简洁性与稳定性。
讨论与结论:该研究突破了非仿射MASs一致性控制对系统辨识的依赖,提出的单评价神经网络结构降低了计算复杂度,并通过改进权重更新律实现了权重误差的渐近稳定。研究成果为多智能体系统在复杂非线性环境下的分布式协同控制提供了理论支持与应用参考。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号