将Actor-Critic强化学习与进化算法相结合,用于多模态多目标优化

《IEEE Transactions on Neural Networks and Learning Systems》:Integrating Actor–Critic Reinforcement Learning With Evolutionary Algorithm for Multimodal Multiobjective Optimization

【字体: 大 中 小 】 时间:2026年04月08日 来源:IEEE Transactions on Neural Networks and Learning Systems 8.9

编辑推荐:

  多模态多目标优化问题求解中,传统算法环境选择适应性不足。本文创新性融合动作-批评强化学习与进化算法,通过协同在线学习提升环境适应能力。建立动态调整 nich size 的强化学习过程,以收敛与多样性指标为状态、niche size 调整为连续动作、状态优化为奖励,构建适应机制。采用双全连接神经网络分别作为演员网络生成动作和批评网络评估状态,结合局部收敛质量评估实现多样性-收敛性平衡。实验表明,该算法在48个基准问题和实际应用中均优于十种经典算法,尤其在平衡多模态 Pareto 前沿优化方面表现突出。

  ```html

摘要:

有效解决多模态多目标优化问题(MMOPs)需要在多样性和收敛性之间保持最佳平衡。传统算法往往难以适应环境选择的变化,导致在各种MMOPs上的性能不佳。本文创新地将演员-评论家强化学习(RL)与进化算法相结合,通过其演员和评论家组件之间的协同在线学习显著提高了环境选择的适应性。建立了一个动态优化生态位大小的RL过程,该过程决定了多样性和收敛性偏好之间的权衡。该过程通过以下方式构建:1) 将收敛性和多样性度量定义为状态;2) 将生态位大小调整定义为连续动作;3) 将状态改进定义为奖励。采用两个专门的全连接神经网络作为演员网络进行动作生成,以及评论家网络进行价值估计,它们通过实时在线学习共同适应种群状态。这种自适应生态位技术结合了局部收敛质量评估,能够全面评估多样性和潜在收敛性。广泛的实验验证表明,与十种最先进的算法相比,所提出的算法在48个基准问题和一个实际应用中表现出更优越的性能。结果一致显示,在平衡维持和整体优化效果方面,该算法优于现有算法。

引言

在实际工程和科学应用中,许多优化问题需要同时优化多个竞争目标,这被称为多目标优化问题(MOPs)。数学上,最小化形式的MOP可以如下正式定义[1]:

最小化F(x
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号