受非对称输入约束和未知动力学限制的随机系统事件触发强化学习安全控制

《Neural Networks》：Event-Triggered Reinforcement Learning-Based Safe Control for Stochastic Systems Subject to Asymmetric Input Constraints and Unknown Dynamics

　　

摘要
本文研究了通过自适应动态规划（ADP）和广义模糊双曲模型（GFHM）对输入受约束的未知随机系统进行安全最优控制（SOC）。首先，采用 GFHM 来近似随机系统的未知非线性项，从而无需精确的系统建模。其次，开发了一种修正的非二次值函数来解决不对称输入约束（AICs）问题，其中引入带有阻尼系数的控制障碍函数（CBF）来惩罚不安全行为。第三，基于 ADP，通过求解修正的哈密顿 - 雅可比 - 贝尔曼（HJB）方程获得最优控制策略。此外，提出了一种动态事件触发机制（DETM）以减轻计算负担并节省通信资源。另外，利用李雅普诺夫方法保证了系统状态和评论神经网络（CNNs）权重估计误差的一致最终有界性（UUB）。最后，提供了两个仿真例子来证明所提出控制策略的有效性。

引言
随机系统广泛存在于实际场景中，例如生态管理（Zhang et al., 2025b）、金融决策（Syed et al., 2025）和工程控制（Zhu and Huang, 2021）。演化过程受到随机扰动、不确定输入或随机参数的影响，这使得难以直接应用传统的确定性控制方法。随机最优控制（OC）涉及两个核心挑战：基于数据的未知动力学不确定性建模，以及在 Wei et al. (2023) 和 Si et al. (2024) 中对解析上难以处理的随机 HJB 方程的近似求解。尽管 Si et al. (2024) 和 Ming et al. (2022) 研究了随机系统的 OC，但它们并未考虑系统的安全要求。

随机控制设计中的一个关键挑战是有效解决未知非线性动力学问题。在近期研究中，为了解决非线性和不确定性问题，开发了各种近似方法，包括神经网络（NNs）（Ma et al., 2026）、广义模糊双曲模型（GFHM）（Zhang et al., 2017）和模糊逻辑系统（FLSs）（Zhang et al., 2024）。在这些方法中，GFHM 展示了显著优势，它利用双曲正切函数作为基函数，避免了传统神经网络中的基函数选择难题，并在无需精确系统建模的情况下提供了快速、准确的估计（Liu, Wang, Zhang, 2017, Qin, Pang, Wang, et al., 2026b, Zhang, Su, Zhang, Luo, 2019）。近期的研究已成功将 GFHM 应用于无模型系统的自触发控制（Ming et al., 2023）、非线性系统的安全 OC（Wang et al., 2025）以及输入受约束随机系统的 OC（Zhang et al., 2025d）。然而，上述建立的 GFHM 是为单输入系统提出的，其在多输入随机系统中的应用研究仍未被探索。

另一方面，安全已成为现代工程系统中的关键问题（Wang et al., 2023），涵盖多智能体协调（Zhang et al., 2025c）、机器人导航（Wang et al., 2022）、无人机（UAV）避障（Dai et al., 2020）和自动驾驶（Lin et al., 2023b）等广泛领域。在这些应用中，任何安全约束的违反——如碰撞、超速、超出操作限制——都可能对设备造成不可逆的损害，引发严重的环境危害，甚至造成人身伤害。因此，设计能够同时确保系统安全并实现预期性能目标的控制策略已成为控制领域具有挑战性的研究前沿。在 Jiang and Guo (2023) 中，Jiang et al. 为人类 - 机器人协作工作区开发了 CBF 增强的模型预测控制，在优化任务性能的同时保持最小分离距离。在 Li et al. (2025b) 中，Li et al. 将 CBFs 整合到运动规划中以强制执行避撞和车道保持约束，实现通过复杂交通场景的安全导航。在 Habibi et al. (2023) 中，Habibi et al. 设计了利用障碍李雅普诺夫函数（BLFs）的四旋翼分层控制结构，以同时解决避障和轨迹跟踪问题，在不确定的动力学和环境扰动下实现安全的自主飞行。同样，Qin et al. 基于分布式 CBF 提出了多智能体机器人团队的共识协议，以解决非线性系统的非零和（NZS）微分博弈问题，确保编队安全并避免智能体之间的碰撞，见 Qin et al. (2024a)。尽管取得了这些进展，但大多数现有的 CBFs 仅限于确定性系统，随机系统中的安全问题尚未得到有效解决。

此外，输入受限控制是受限控制的一个特殊场景，所有实际执行器（机器人机械臂、飞机和化工过程）都具有输入范围限制（Ma, Zhu, Zhou, et al., 2026, Qin, Pang, Wang, et al., 2026b），如果控制算法不考虑输入限制，可能导致系统控制性能下降（Habibi, Safaei, Voos, et al., 2023, Wang, Chen, Li, et al., 2022），因此输入约束问题受到了广泛关注。在 Yao et al. (2024) 中，学者们研究了针对输入受限和状态不可测量系统使用柔性性能控制方法。在 Wu and X. Li (2022) 中，作者基于有限时间理论设计了输入饱和下复杂动态网络的同步控制策略。然而，实际执行器往往表现出不对称的正负饱和边界，需要不同的处理方法。在 Yao et al. (2025a) 中，研究了高阶受限系统的双柔性性能控制。在 Song et al. (2024) 中，Song et al. 利用 Nussbaum 函数和时变 BLF 解决了对称饱和和死区问题。在 Yao et al. (2025b) 中，Yao et al. 为具有输入约束的非线性系统开发了由滑模柔性性能边界引导的控制方案。然而，上述方法侧重于确定性非线性系统，未考虑随机不确定性。尽管上述方法有效解决了输入约束问题，但它们大多关注可行性和稳定性分析，对最优性的考虑不足。

ADP 可以通过算法（如值迭代或策略迭代）结合函数近似技术（如 NNs）在线近似 HJB 方程的解，从而在无需知道完整系统动力学的情况下获得近似的 OC 策略（Qin, Pang, Wang, et al., 2026a, Qin, Sun, Sun, et al., 2025a, Zhang, Yuan, Meng, et al., 2025a）。在 Guo et al. (2025) 中，Guo et al. 研究了具有 AICs 的 NZS 博弈系统的事件触发 OC 问题。在 Qin et al. (2024b) 中，Qin et al. 研究了基于 ADP 的 NZS 博弈系统的安全 OC 问题。为了实际应用，Zhang et al. (2026a) 研究了多智能体系统（MASs）的基于 ADP 的 OC 方法。Lin et al. 在 Lin et al. (2026) 中研究了基于 ADP 的大规模多智能体系统的 OC 问题。尽管取得了这些进展，关于具有 AICs 的随机系统 OC 问题的研究有限，这需要进一步的研究。

为了减少不必要的采样带来的通信和计算负担，事件触发 ADP 方法在 OC 领域得到了广泛研究（Hu, Chen, Qin, 2026, Liu, Liang, Wang, et al., 2025, Pan, Chen, Liang, 2024, Wei, Jiang, 2025）。与静态事件触发机制（ETM）不同，动态事件触发机制（DETM）可以通过引入内部动态变量产生更大的事件间隔，从而进一步降低通信频率（Qin, Wang, Hou, et al., 2025b, Zhang, Meng, Liang, et al., 2026b）。在 Lin et al. (2023a) 中，DETM 被应用于多人 Stackelberg-Nash 博弈系统，有效减少了通信负担。在 Li et al. (2025a) 中，为异质多智能体系统开发了一种基于 DETM 的分布式预定时间控制器。这些研究表明，DETM 可以在保持控制性能的同时有效减少系统资源消耗。

根据上述研究，本文致力于具有 AICs 的非线性随机系统的安全 OC 问题。主要创新如下：
1) 本文开发了一种在不对称执行器限制下用于不确定非线性随机系统的安全 OC 框架，其中使用了 ADP 方法，并且可以通过求解嵌有 CBF 的改进 HJB 方程获得随机 OC 策略。
2) 设计了一种基于 GFHM 的多输入随机系统标识器，利用双曲正切基函数近似未知非线性动力学，无需精确的系统建模。严格分析证实，识别误差满足均方一致最终有界（UUB）。
3) 与 Li et al. (2025b), Habibi et al. (2023), Qin et al. (2024a) 中提出的方法不同，为随机系统构建了 CBF 增强的非二次成本函数，以同时处理安全约束和不对称输入限制问题。此外，为了平衡安全性和最优性能，引入了一个阻尼系数。
4) 与静态事件触发机制（Hu, Chen, Qin, 2026, Wei, Zhou, Lu, et al., 2023, Zhu, Huang, 2021）相比，开发了 DETM 通过在触发条件中引入内部动态变量来自适应调整触发阈值，与静态 ETM 相比产生更大的事件间隔，从而有效减少计算负担和通信资源。

本文的组织如下：第 2 节建立问题并介绍系统模型。第 3 节呈现基于 GFHM 的识别。在第 4 节中，设计安全和鲁棒 OC。在第 5 节中，设计动态事件触发控制和评论 NNs。在第 6 节中，展示两个例子和仿真结果。最后，结论在第 7 节中展示。

章节片段
问题建模
考虑以下非线性随机系统：
$d\varsigma=F(\varsigma,\mu_j)dt+h(\varsigma)dw=[f(\varsigma)+\sum_{j=1}^N E_j \mu_j]dt+h(\varsigma)dw$
其中 $\varsigma(t) \in R^n$ 代表系统状态，$\mu_j \in R^n$ 是第 $j$ 个控制器的控制律，$w(t)$ 是具有自身概率分布的随机变量。未知非线性函数 $f(\varsigma)=[f_1(\varsigma),\dots,f_n(\varsigma)]^\top$ 满足 $f(0)=0$。$E_j \in R^{n \times n}$，$h(\cdot) \in R^{n \times n}$ 表示利普希茨连续函数且 $h(\cdot) \le h_{\bar{}}$，$h(0)=0$。$F(\varsigma,\mu_j)=f(\varsigma(t))+\sum_{j=1}^N E_j \mu_j(t)$ 是局部利普希茨连续的。

假设设计 GFHM 标识器
为了应对系统不确定性，构建了一种基于 GFHM 的标识器，这得益于模糊双曲模型的通用近似特性。最初，随后定义广义模糊双曲规则（GFHR）基。

定义 2 GFHR 基被定义为由 2M 条规则组成的模糊系统，通过基于变换的正负模糊集，这些规则将 n 个输入变量映射到系统输出。

引理 1 Zhang et al., 2019 根据定义 2，对于多输入单输出

安全和鲁棒 OC 设计
在本节中，构建了一个非二次成本函数来制定具有 AICs 处理的安全和鲁棒 OC 问题。安全关键系统 (1) 的操作约束和安全条件构成集合 D：
$D=\{\varsigma \mid S(\varsigma) \ge 0\}$
其中 $S(\varsigma)$ 是导数定义良好的光滑函数。

这里，$\text{int}D$ 代表其内部，D 的边界记为 $\partial D$。安全集包括三个区域：
$D=\{\varsigma \in R^n \mid S(\varsigma) \ge 0\}, \partial D=\{\varsigma \in R^n \mid S(\varsigma)=0\}, \text{int}(D)=\{\varsigma \in R^n \mid S(\varsigma)>0\}$

假设 2 为了执行安全，一个

动态事件触发控制和评论 NNs 的设计
事件触发时刻由一个递增序列 $\{t_s\}_{s=0}^{\infty}$ 表示，其中 $t_0=0$。随后，触发误差为
$e(t)=\bar{\varsigma}(t)-\varsigma(t), t \in [t_s, t_{s+1})$
其中 $\bar{\varsigma}(t)=\varsigma(t_s)$。
基于 (31)，近似 OC 律被制定为
$\mu_i^*(\bar{\varsigma})=\rho_{1,i} \tanh(\frac{-1}{2\rho_{1,i}} R_{ii}^{-1} E_i^T \nabla V_i^*(\bar{\varsigma}))+\rho_{2,i}$

假设 3 Wei and Jiang, 2025 存在一个正定函数 V 使得对于 $\varsigma$ 和 $e$，以下不等式成立：
$LV \le \mathcal{j}\|e\|^2 - \mathcal{i}\|\varsigma\|^2$
其中 $\mathcal{i} > 0$ 且 $\mathcal{j} > 0$。

例 1
考虑具有不对称输入饱和的随机系统：
$d\varsigma=[f(\varsigma)+\sum_{j=1}^3 E_j \mu_j]dt+h(\varsigma)dw$
其中
$f(\varsigma)=\begin{bmatrix} \varsigma_2 - 2\varsigma_1 - 7\sin(\varsigma_1) \\ -3.5\varsigma_2 - \varsigma_1 \end{bmatrix}$
$E_1=\begin{bmatrix} 0 \\ \sin(\varsigma_1) \end{bmatrix}, E_2=\begin{bmatrix} 0 \\ \cos(\varsigma_1) \end{bmatrix}, E_3=\begin{bmatrix} 0 \\ 0.5\cos(\varsigma_1)\sin(\varsigma_1) \end{bmatrix}$
$h(\varsigma)=\begin{bmatrix} 0 \\ 0.1\sin(\varsigma_2) \end{bmatrix}$
其中 $\varsigma=[\varsigma_1, \varsigma_2]^\top \in R^2$ 是状态向量，初始值为 $\varsigma_0=[1, -1]^\top$。控制输入 $\mu_1, \mu_2$ 和 $\mu_3$ 的界限设为 $\mu_{1,min}=0.2, \mu_{2,min}=-0.3, \mu_{3,min}=0.8$ 和 $\mu_{1,max}=1, \mu_{2,max}=0.4, \mu_{3,max}=1$，因此 $\rho_{1,1}=0.4, \rho_{1,2}=0.35, \rho_{1,3}=0.1$ 和 $\rho_{2,1}=0.6, \rho_{2,2}=0.05, \rho_{2,3}=0.9$。结论

本文提出了一种利用 RL 针对具有 AICs 的非线性随机系统的安全 OC 方案。开发了基于 GFHM 的标识器来近似未知系统动力学，并证明识别误差渐近收敛。设计了一个结合 CBF 的非二次成本函数以同时处理不对称约束和安全要求。单一评论 NN 的采用减少了计算负担。此外，提出的 DETM

未引用的参考文献
图 6
图 6 CRediT 作者贡献声明
Yuling Liang：方法论。Feng Qin：写作 - 初稿。Lei Liu：调查。Yi Zhang：监督。Zhongyang Ming：可视化。

利益冲突声明
作者声明，他们没有已知的 competing 财务利益或个人关系，这些利益或关系可能会影响本文报告的工作。

Yuling Liang|Feng Qin|Lei Liu|Yi Zhang|Zhongyang Ming