基于双时间尺度Actor-Critic的分布式共识多任务强化学习算法

《IEEE Transactions on Control of Network Systems》:Distributed Actor-Critic Multi-Task Learning With Shared and Task-Specific Parameters

【字体: 大 中 小 】 时间:2026年10月23日 来源:IEEE Transactions on Control of Network Systems 5.3

编辑推荐:

   **摘要:** 针对具有有限状态空间和动作空间的马尔可夫决策过程,提出了一种新的双时间尺度多智能体Actor-Critic算法,用于分布式基于共识的离策略多任务强化学习(MTRL)。该算法基于价值函数近似的局部准则函数,以及定义为局部准则加权和的全局准则函数推导而来。Cri

  **摘要:**针对具有有限状态空间和动作空间的马尔可夫决策过程,提出了一种新的双时间尺度多智能体Actor-Critic算法,用于分布式基于共识的离策略多任务强化学习(MTRL)。该算法基于价值函数近似的局部准则函数,以及定义为局部准则加权和的全局准则函数推导而来。Critic算法采用GTD(1)算法的形式,在快速时间尺度上运行;而新的Actor算法在慢速时间尺度上运行,是一种基于共识的策略梯度算法,由Critic算法和全局准则函数推导得出。所采用的信息结构约束仅允许直接访问局部状态、动作和奖励。Actor参数包括智能体之间共享的参数以及保持任务特定的参数。在温和条件下,证明了向相关联的平均常微分方程(ODE)的弱收敛性。同时证明了估计过程几乎全部时间都停留在全局准则稳定驻点集合的邻域内。还提供了基于连接稳定性的所得ODE稳定性分析,并据此提出了Critic特征向量的设计方案。所提出的算法还可视为强化学习并行化的工具,能够显著降低方差并改善瞬态性能。文章通过交通工程领域的代表性示例对算法性能进行了实验验证。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号