Fuzzy–TD3：一种基于先验知识的可解释控制用确定性策略梯度方法

《ISA Transactions》：Fuzzy–TD3: A prior-knowledge guided deterministic policy gradient for interpretable control

　　•引入了一种基于T–S模糊算子的TD3模型，该算子通过固定的最优反馈律来编码先验知识。•提出了重新参数化的前件表达式，以便在基于梯度的训练过程中保持有效的模糊划分。•与标准TD3相比，该方法提高了样本效率及稳态调节性能。•在整个训练过程及部署阶段都能保持可解释的策略，从而将强化学习与传统控制方法相结合。

引言
强化学习作为一种强大的数据驱动控制方法，使得系统能够通过与环境交互直接学习最优决策策略。由于无需依赖精确的数学模型，强化学习能够处理高度非线性且复杂的系统[1]。因此，它被越来越多地应用于工业领域，如过程控制、机器人技术以及自主系统等[2]、[3]。尽管取得了这些进展，大多数实际应用的强化学习控制器仍然依赖于神经网络策略[4]。虽然这类“黑箱”模型效果不错，但它们缺乏可解释性，难以整合先验知识，也难以与线性化、增益裕度及鲁棒性分析等传统控制原理相衔接[5]。对于那些对安全性和成本要求极高的工业应用而言，控制器不仅需要具备出色的实际性能，还必须具有可解释性，能够有效地整合现有的控制知识，并且要符合控制工程中常见的验证与认证标准[6]、[7]。

模糊推理系统为基于神经网络的策略提供了一种有力的替代方案。模糊推理系统利用IF–THEN规则来表示控制策略，其前件具有可解释的语言形式，后件则较为透明，这使得策略更易于审核和验证[8]、[9]。隶属函数可实现规则的逐级激活，从而在连续域上实现平滑的控制动作。此外，在适当条件下，模糊推理系统具备与神经网络相同的通用逼近能力[10]，同时还能自然地实现规则层面的先验知识注入以及可解释性，而这些正是工业领域强化学习控制所必需的。

已有不少研究将模糊推理系统与基于价值的强化学习方法相结合，尤其是Q学习。Q学习通过迭代最小化时间差误差来估计状态-动作价值，并选择能够最大化预期收益的动作。这种方法已被用于调整PID控制器[11]、模糊控制器[12]、模型预测控制器[13]、增益调度控制器[14]，以及优化调度决策[15]。当与模糊规则库结合时，Q学习可通过隶属度加权插值来实现连续的动作输出[16]，而模糊结构也被用于奖励函数设计[17]以及价值函数构建[18]，以此来编码控制启发式规则。然而，基于价值的方法仍然存在维度灾难问题[19]，在高维连续空间中的探索效率也较为有限[20]，这就促使人们转向直接优化参数化策略的演员-评论家方法。

为了解决这些问题，确定性策略梯度算法应运而生，它能够支持连续动作空间[21]。深度确定性策略梯度算法则通过引入经验回放和目标网络，进一步提升了离线训练的稳定性[22]，而双延迟DDPG则通过双重评论家学习、延迟策略更新以及目标策略平滑处理，提高了稳定性并提升了样本效率[23]。不过，这些框架中的神经网络演员仍然缺乏透明度，难以轻易整合规则层面的知识，有时还需要额外的规则模块[24]，这限制了它们在安全要求极高的场景中的应用[25]。

近期的一些研究试图将模糊推理系统与DDPG类方法相结合。例如，Nabeel等人[26]将模糊系统用于对训练后的DDPG输出进行后处理，以此平滑过渡并提升系统的鲁棒性；而另有研究[27]则提出了一种由遗传模糊系统引导的DDPG变体，以提升学习效率。更近期的研究中，Ortiz-Mu?oz等人[28]在基于TD3的强化学习中引入了模糊划分作为结构化的状态表示，以此规范并平滑演员-评论家学习过程。不过，这类方法要么在学习循环之外使用模糊逻辑，要么未能充分利用模糊逻辑将先验知识直接嵌入到演员结构中。还有些研究则完全将演员和评论家都建模为模糊推理系统[29]，但这些研究主要利用的是它们的逼近能力，而非可解释性。在另一项研究中[30]，虽然通过TD3优化了神经模糊PID控制器，但模糊参数仍然是固定不变的。还有一个相关方向是将模糊控制与TD3通过混合策略结构相结合。例如，Hazem[31]使用了带有基于TD3的残差补偿项的模糊基准控制器，而另有研究[32]则通过分阶段加权组合的方式，将模糊规则演员与神经网络TD3演员相结合。但在这两种情况下，最终策略仍然依赖于基于神经网络的组件，因此所得到的控制器在规则层面并不能被视为完全可解释的。为清晰展示这些方法的差异，表1根据模糊推理系统在强化学习中的作用、策略的可解释性以及先验知识的利用情况对这些方法进行了总结。总体而言，尽管近期的模糊强化学习及DDPG类方法在推动可解释且基于数据的控制发展方面取得了进展，但目前仍缺乏一种统一的框架，能够将模糊推理系统演员整合到演员-评论家学习循环中，同时实现先验控制知识的规则层面直接利用，而这正是本研究所要解决的问题。

为此，我们提出了Fuzzy–TD3这一全新的演员-评论家框架，它将神经网络型的双评论家与Takagi–Sugeno（T–S）模糊演员相结合。与以往的模糊强化学习方法不同，Fuzzy–TD3直接将T–S模糊演员作为TD3的确定性策略，并在规则-后件层面注入先验控制知识。具体而言，对于那些存在可靠局部线性化模型的操作区域，其模糊规则的后件会被固定为基于模型推导出的局部最优控制律，而其余的后件则通过数据学习得到。为了在基于梯度的优化过程中保持有效的模糊划分，前件参数会被重新参数化，从而确保整个训练过程都具有可解释性。此外，我们还设计了相应的兼容性改进措施，以便将模糊演员无缝集成到TD3的学习循环中。这样的设计不仅能够生成具有物理意义的策略，还能提高样本效率，并相较于TD3提升稳态性能。

本文的主要贡献如下：
(1)提出了一种针对TD3中T–S模糊演员的规则层面先验知识注入方法，该方法能够提高样本效率并降低稳态误差。
(2)提出了一种可微分的模糊前件重新参数化策略，该策略既能保留模糊语义，又能确保划分结果具有物理意义。
(3)提出了一种与TD3兼容的模糊演员输出方案，该方案能够在饱和状态下保持嵌入的最优控制律，同时提升训练的兼容性。

本文的其余部分结构如下：第2节回顾了DDPG类算法以及T–S模糊系统；第3节详细介绍了所提出的Fuzzy–TD3算法；第4节通过两个倒摆基准测试——小车-杆倒摆和旋转倒摆——展示了仿真结果，同时还进行了消融实验、扰动恢复测试以及先验敏感性分析；第5节则总结了本文的研究成果，并指出了未来研究的方向。

初步介绍
为更好地阐述本文提出的算法，我们首先介绍强化学习相关的符号表示、确定性策略梯度以及T–S模糊模型。

所提出的Fuzzy–TD3的结构
Fuzzy–TD3的整体结构如图1所示，其中表示从回放缓冲区中抽取的迷你批次，而则表示终止条件。该框架遵循标准的演员-评论家架构，采用了经验回放、目标网络、带有截断的双评论家机制、延迟策略更新以及目标策略平滑处理等经过验证的技术，这些技术与TD3中的做法类似。与传统的神经网络演员不同，Fuzzy–TD3采用的是T–S模糊演员，它包含固定的先验后件以及可训练的...

仿真研究
为评估所提出的方法，我们在两个非线性欠驱动控制基准测试上进行了仿真实验：小车-杆倒摆和旋转倒摆。其中，小车-杆倒摆被用作主要的基准测试，用于进行详细的对比分析、消融实验、扰动恢复测试以及先验敏感性分析。旋转倒摆基准测试则用于在更强的非线性耦合、粘性摩擦等条件下进行额外的验证...

结论与未来工作
本文提出了Fuzzy–TD3，该方法用T–S模糊演员取代了TD3中的神经网络演员，并将基于模型推导出的局部反馈律嵌入到特定的规则后件中。其余的后件以及所有的前件则通过强化学习进行优化，同时保持了基于规则的策略结构。在两个倒摆基准测试上的仿真结果表明，Fuzzy–TD3不仅提高了样本效率及稳态调节性能，同时还保持了良好的瞬态响应性能...

CRediT作者贡献声明
刘凯楠：写作——审稿与编辑、写作——初稿撰写、可视化、验证、软件、资源、方法论、研究调查、数据整理、概念构建。李林祥：软件、形式化分析。班晓军：监督、项目管理、资金获取、概念构建。谢胜坤：写作——审稿与编辑。邱建斌：写作——审稿与编辑。

利益冲突声明
作者声明自己不存在任何可能影响本文研究成果的已知财务利益或个人关系。

刘凯楠|李林祥|班晓军|谢胜坤|邱建斌