HSFKG-DRL:混合自进化模糊知识引导的深度强化学习

《ADVANCED ENGINEERING INFORMATICS》:HSFKG-DRL: Hybrid self-evolving fuzzy knowledge guided deep reinforcement learning

【字体: 大 中 小 】 时间:2026年04月24日 来源:ADVANCED ENGINEERING INFORMATICS 9.9

编辑推荐:

  本文提出HSFKG-DRL框架,通过自演化模糊神经网络动态整合先验知识,结合知识引导策略和置信度动作选择,提升强化学习样本效率与安全性。实验表明其优于现有方法,学习效率提升13.4%,成功率达7.8%,安全性提升96.2%,并引入DAR和RAE评估可解释性。

  
Suyu Zhu | Mingjun Li | Dean Hu | Chao Jiang
湖南大学机械与车辆工程学院,中国长沙

摘要

强化学习(RL)方法通常存在数据效率低和学习行为不稳定的问题。相比之下,人类的学习过程本质上受到先验知识的指导,而不是完全从零开始学习。受此启发,本文提出了一种新的框架,称为混合自进化模糊知识引导深度强化学习(HSFKG-DRL),该框架采用了一个轻量级且可解释的神经模糊系统作为教师,在学习过程中提供越来越准确和适应性的知识指导。为了无缝整合这种进化知识,我们引入了一种知识引导的策略蒸馏方法和基于置信度的动作选择策略。这种与算法无关的设计避免了机械模仿,减轻了不安全的随机探索,并实现了从知识引导控制到完全自主策略学习的平滑过渡,而无需预先定义的时间表。在TurtleBot3导航任务上的综合仿真和真实世界实验验证了该框架的有效性和通用性。结果表明,HSFKG-DRL的性能优于现有的最佳方法,学习效率提高了13.4%,成功率提高了7.8%,同时安全性显著提高了96.2%。此外,我们还提供了全面的可解释性分析,以可视化知识的演化和内部决策过程。我们还引入了两个新的指标:方向一致性率(DAR)和规则激活熵(RAE),用于评估训练出的规则与手工制定规则的核心逻辑的一致性及其稀疏程度。所提出方法的真实世界实现过程在以下视频中进行了展示:https://youtu.be/uvBEeNrif-g。

引言

深度强化学习(DRL)是一种学习范式,它使智能体能够通过与环境的试错互动来获得最优的决策策略。由于其强大的表示能力和端到端(E2E)优化机制,DRL在解决复杂的序列决策问题方面展现了显著的潜力,例如游戏玩法[1]、[2]、机器人控制[3]、[4]和自动驾驶[5]、[6]。然而,DRL长期以来一直受到样本效率低下的限制[7]、[8]。即使对于相对简单的任务,学习有效的策略通常也需要与环境进行数百万次互动。当扩展到具有更高维状态和动作空间的更复杂场景时,所需的数据量急剧增加,使得训练变得耗时且在许多实际应用中不切实际[9]。
相比之下,人类的学习效率非常高,因为人类很少从零开始学习复杂技能。相反,他们利用从经验、指导和推理中获得的累积先验知识,并通过互动和反馈不断改进这些知识。受此启发,提出了一种称为知识引导强化学习(KGRL)的研究方向,旨在将人类的先验知识纳入强化学习过程,以提高学习效率和训练稳定性。现有的KGRL方法涵盖了广泛的研究范式。典型的例子包括利用专家演示来为策略初始化提供直接指导的模仿学习[10]、[11];在训练过程中结合人类反馈或纠正性干预的人机协同强化学习[12]、[13];将先验知识嵌入奖励函数中的奖励塑形方法[14]、[15];以及旨在以可解释和可重用形式编码人类经验的显式知识表示,如模糊规则和知识图谱[16]、[17]。除了这些传统范式之外,包括高级机器学习模型和元启发式算法在内的计算智能领域在解决实际工程预测和优化任务方面也证明了其高效性[18]、[19]。受到这些技术成功的启发,研究人员越来越多地探索结合模糊逻辑的可解释性、人工神经网络的强大学习能力和高级优化算法的调优效率的混合架构。这些混合范式在各种具有挑战性的领域(如目标分类和复杂模式识别[20]、[21])中展示了卓越的能力。尽管方法多样,现有的KGRL方法仍面临几个共同的基本挑战。首先,有效的知识表示仍然具有挑战性,因为人类的先验知识往往是抽象的或隐含在经验中的,这使得在不牺牲语义保真度的情况下将其编码为机器可解释的结构变得困难[16]。其次,知识整合是一个关键挑战,因为通过演示或人类干预不当整合先验知识可能会偏置探索并干扰策略优化[22]。第三,先验知识的固有限制不可避免,因为人类经验往往是不完整的、特定于任务的或次优的。这需要学习机制能够通过与环境的持续互动来完善注入的知识,而不是将其视为静态或绝对可靠的监督[9]。
为了解决上述挑战,本文提出了一种新的知识引导强化学习框架,称为混合自进化模糊知识引导深度强化学习(HSFKG-DRL)。该框架以与算法无关的方式灵活地将先验知识整合到强化学习中。通过用知识引导的动作选择和策略蒸馏替代无指导的随机探索和纯基于梯度的优化,该框架为探索和策略学习提供了明确的指导,从而提高了样本效率和训练稳定性。此外,通过将先验知识建模为自进化的模糊结构,所提出的方法克服了静态知识表示的固有局限性。这使得知识可以通过互动逐步完善,从而在训练过程中提供越来越准确和有信息量的指导。本工作的主要贡献可以总结如下:
  • 1.
    提出了一种可解释的自进化模糊网络,以人类可读的形式表示人类的先验知识。与静态或手工制定的知识表示不同,模糊教师的结构和参数可以通过与环境的互动动态扩展、合并和细化,从而适应性地纠正不完整或不完美的先验知识。
  • 2.
    提出了一种受师生框架[23]启发的统一框架,用于将进化模糊知识整合到强化学习中。通过引入知识引导的策略蒸馏和基于置信度的动作选择策略,该框架避免了机械模仿,减少了随机探索,并确保了从知识引导控制到自主策略学习的平滑过渡,从而提高了样本效率和训练稳定性。
  • 3.
    为了全面评估所提出的方法,在TurtleBot3移动机器人平台上进行了仿真和真实世界导航实验。此外,我们提供了全面的可解释性分析,以可视化知识的演化和内部决策过程。我们还引入了两个指标DAR和RAE,以定量评估进化知识的可解释性。
本文的其余部分组织如下。第2节回顾了知识表示和利用的相关工作。第3节介绍了模糊推理系统和强化学习的初步知识。第4节详细描述了所提出的HSFKG-DRL框架。第5节报告了实验设置和结果。第6节给出了结论。

相关研究

相关工作

本文的目标是开发HSFKG-DRL框架,这是一种利用先验知识来指导策略学习和探索的知识引导强化学习方法。因此,本节回顾了关于知识表示和利用的现有研究。通过分析它们各自的优点和局限性,我们强调了所提出方法的动机、新颖性和实际意义。

初步知识

由于所提出的知识引导强化学习框架采用模糊逻辑作为先验知识的核心表示,本节首先简要介绍了模糊推理系统。此外,还介绍了几种标准的强化学习框架,为将所提出的框架与现有的DRL方法集成奠定了基础。不同基础强化学习框架的具体集成方案将在下文中介绍

方法论

在本节中,我们介绍了一种人类知识引导的强化学习框架,称为HSFKG-DRL。HSFKG-DRL的总体架构如图1所示。该框架通过师生范式将可解释的模糊先验知识整合到学习过程中,其中基于模糊规则的教师行为体在线进化其结构和参数,而学生行为体模仿、改进并最终超越教师的指导。通过解耦状态

实验

为了验证所提出的HSFKG-DRL框架的有效性和通用性,我们将其应用于TurtleBot3移动机器人的避障任务,并在仿真和真实世界环境中进行了实验。在这个任务中,机器人必须自主地从初始位置导航到预定义的目标点,同时避免与其周围的静态和动态障碍物发生碰撞。本节提供了实验设置的详细描述,

结论

本文提出了一种HSFKG-DRL框架,这是一种受师生范式启发的知识引导强化学习方法。与依赖黑盒神经教师的传统师生框架不同,HSFKG-DRL采用了一个轻量级且可解释的模糊神经网络作为教师,其结构和参数通过与环境的互动在线进化。这个自进化的模糊教师不断改进和扩展先验知识,提供

CRediT作者贡献声明

Suyu Zhu:撰写——原始草稿、软件、方法论。Mingjun Li:撰写——审阅与编辑、调查、概念化。Dean Hu:监督、形式分析。Chao Jiang:资源、项目管理。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号