基于动态事件触发机制的高阶不确定非线性系统安全强化学习跟踪控制

《Neurocomputing》：Safe reinforcement learning tracking control for high-order uncertain nonlinear systems with dynamic event-triggered mechanism

　　

摘要
本文提出了一种基于强化学习（RL）的安全动态事件触发（DET）跟踪控制方案，适用于一类高阶不确定非线性系统。为了降低控制更新频率，通过将在屏障函数信息纳入内部动态变量，设计了一种动态事件触发机制（DETM）。然后，针对避障安全约束，在反步设计的第一步引入了降阶控制屏障函数（CBF）。这样一来，就避免了在基于高阶 CBF 构建二次规划问题时保守地处理未知非线性函数导数的问题。此外，为了增强反步框架处理未知系统动态的能力，采用神经网络来近似未知非线性项，并引入演员 - 评论家结构来在线优化控制策略。基于这些进展，首先构建了一个满足安全约束的基于 RL 的虚拟控制器。随后，基于屏障李雅普诺夫函数（BLF）设计了一个实际控制器，其中对误差进行约束以减少二次规划问题的保守性，同时保证系统安全和良好的跟踪性能。最后，展示了仿真结果以证明所提出控制方案的有效性。

引言
近年来，不确定非线性系统的安全控制在机器人、自动驾驶、无人系统和智能制造等领域引起了越来越多的关注 [1]，[2]。对于高阶严格反馈非线性系统，未知动态、建模误差和外部干扰使得同时保证稳定性、跟踪精度、安全约束和通信效率具有挑战性 [3]，[4]。

反步控制为严格反馈非线性系统提供了一套系统的递归框架。通过结合模糊逻辑系统、神经网络和自适应估计技术，现有方法可以处理未知非线性动态并保证闭环信号的有界性 [5]，[6]。然而，传统的反步控制主要关注稳定性和跟踪性能，而由状态约束或避障引起的安全需求难以直接解决 [7]，[8]。强化学习（RL），特别是演员 - 评论家架构，为未知动态下的非线性控制提供了在线优化工具 [9]，[10]。特别是，演员 - 评论家 RL 已被纳入反步控制中，以优化虚拟和实际控制律，将递归设计从以稳定性为中心的控制扩展为以性能为中心的控制 [11]。该框架后来针对具有未知动态的系统进行了简化，降低了学习律设计的复杂性并放宽了持续激励条件 [12]。然而，基于 RL 的控制律并不 inherent 满足安全约束，这促使了 RL 优化与可验证安全机制的集成。

控制屏障函数（CBF）提供了安全关键控制的有效工具。基于 CBF 的二次规划框架将安全需求转化为控制输入上的不等式约束，实现了安全与稳定性目标的协调设计 [13]，[14]。CBF 方法随后被扩展到非线性系统、安全 RL 和实际安全关键场景 [15]，[16]。然而，对于高阶严格反馈系统，安全函数通常相对于实际控制输入具有较高的相对阶。虽然高阶 CBF 可以解决此类约束 [17]，但其构建需要重复对安全函数求导，其中未知非线性动态可能会增加实现复杂性并引入保守性。为了降低高阶系统安全设计的复杂性，CBF 已与反步和降阶思想相结合。带有 CBF 的安全反步为高阶安全控制提供了递归设计方法 [18]，而基于降阶 CBF 的安全关键控制表明，低阶安全模型引起的约束可以减少复杂系统的设计负担 [19]。然而，对于具有未知非线性动态的严格反馈系统，仍然缺乏一个集成降阶 CBF、RL 优化、基于 BLF 的误差约束和事件触发机制的系统框架。

通信效率是网络和嵌入式控制系统的另一个关键问题。虽然演员 - 评论家强化学习可以在线优化控制策略，但神经网络更新和频繁的控制传输可能会带来相当大的计算和通信负担。事件触发控制通过按需更新机制减轻了不必要的更新。它也被纳入基于 RL 的最优反步方案中，以减少计算负担并避免芝诺行为 [20]，[21]。此外，在 [22] 中提出了一种集成积分强化学习和自适应动态规划的事件触发预设性能控制方法，用于多人博弈非线性系统，在保留预设性能的同时有效提高了通信效率。与静态事件触发机制（ETM）[23]，[24] 相比，动态事件触发机制（DETM）[25]，[26] 可以通过辅助动态变量自适应调节触发阈值，从而在控制性能和通信消耗之间提供更灵活的权衡 [27]，[28]。在 [29] 中，一种带有辅助变量的动态触发阈值被嵌入到安全约束混合零和博弈最优控制框架中，在保持安全约束的同时减少了资源消耗。然而，大多数现有的触发机制是基于跟踪误差、控制误差或内部系统变量设计的，而安全约束信息尚未在触发条件中得到充分利用。受这些研究的启发，本文进一步研究了动态事件触发机制与安全导向最优控制的集成。

基于上述观察，本文提出了一种针对一类具有未知非线性动态的高阶非线性系统的安全基于 RL 的 DET 控制方法。本文的主要贡献总结如下：
(1) 为了降低控制更新频率，设计了一种 DETM，其中触发阈值由系统状态和屏障函数信息共同表征。在这种机制下，只有当控制性能显著恶化时才更新控制输入。通过根据实时系统需求自适应调节触发频率，有效减少了冗余的控制更新和通信消耗，同时在理论上排除了芝诺行为。
(2) 在反步框架内开发了一种降阶安全约束处理方法。对于安全函数相对于实际控制输入具有较高相对阶的严格反馈非线性系统，在反步设计的第一步引入了降阶 CBF。这样一来，安全约束是在虚拟控制层面施加的，并构建了一个基于 CBF 的二次规划问题以获得安全滤波的基于 RL 的虚拟控制律。与 [17] 中基于高阶 CBF 的方法相比，所提出的设计避免了在构建二次规划（QP）问题时需要重复对未知非线性动态求导的需求。此外，设计了一个基于 BLF 的实际控制器，将第二步反步误差约束在指定范围内，从而进一步减少所提出的安全控制方案的保守性。
(3) 构建了一个基于演员 - 评论家架构的递归自适应 RL 控制器。在反步过程的每一步，采用 RBF 神经网络来近似未知非线性动态。评论家网络估计性能指数梯度中的未知项，而演员网络生成虚拟和实际控制律。通过所提出的自适应更新律，实现了安全约束下控制策略的在线优化。

本文的其余部分组织如下。第 2 节介绍了系统描述、问题表述和必要的预备知识。第 3 节开发了所提出的安全基于 RL 的 DET 控制方案，包括基于降阶 CBF 的安全约束设计、基于 BLF 的反步控制器、演员 - 评论家学习框架和 DETM。第 4 节提供了仿真结果以验证所提出方法的有效性。最后，第 5 节总结全文。

章节摘要
系统描述
考虑以下严格反馈形式的不确定非线性系统：
其中 表示系统的部分状态向量， 是系统状态， 是系统输出， 是控制输入。函数 是一个未知的平滑非线性函数，用于表征系统中的未建模动态、参数不确定性和外部干扰。上述系统可以表示一类具有级联结构的非线性动力植物，如机械系统，

主要结果
在本节中，首先使用反步方法构建了一个自适应安全关键基于 RL 的 DET 控制器。在反步设计的第一步中，通过 RL 获得标称虚拟控制律，并通过解决由 CBF 引起的二次规划问题进一步生成安全虚拟控制律。在此基础上，通过跟踪安全虚拟控制律并纳入 BLF，开发了后续的控制器，导出了一个自适应安全关键基于 RL 的 DET

数值仿真
例 1
考虑一个在二维欧几里得空间中演化的欧拉 - 拉格朗日（EL）系统 [34]。其动力学模型描述如下：
其中 表示系统的广义坐标， 是实际控制输入。系统矩阵指定为：
系统参数选择为 , , .
定义 (82) 中的状态变量为 和 . 然后，系统 (82) 可以转换为以下严格反馈形式：
其中 , , 和 . 由于 是正定的，其逆 存在。因此， 是

结论
针对一类高阶不确定非线性系统的安全跟踪控制，开发了一种安全基于 RL 的 DET 控制方法。通过在反步设计中引入降阶 CBF，将高相对阶安全约束转化为第一步虚拟控制设计中的二次规划问题，避免了直接高阶 CBF 构建所需的对未知动态的重复求导。在此基础上，使用 BLF 来约束反步误差，同时神经网络

CRediT 作者贡献声明
Gengwei Li: 写作 – 初稿，概念化。Jinyu Xu: 写作 – 初稿，方法论。Renhua Huang: 写作 – 初稿，方法论。Jiuxiang Dong: 写作 – 审阅与编辑，资金获取，概念化。

利益冲突声明
作者声明，他们没有已知的竞争财务利益或个人关系可能出现在影响本论文报告的工作中。

Gengwei Li 于 2013 年获得中国天津南开大学概率论与数理统计学硕士学位。她目前在中国沈阳东北大学攻读控制工程博士学位。她当前的研究兴趣包括 UAV 自主决策、模糊自适应控制、事件触发控制。

Gengwei Li|Jinyu Xu|Renhua Huang|Jiuxiang Dong
东北大学信息科学与工程学院，中国辽宁沈阳，110819