基于拉格朗日的非线性时滞随机系统安全Q学习

《Neural Networks》：Lagrangian-based safe Q-learning for nonlinear delayed stochastic systems

　　

- 首个适用于连续时间非线性系统的安全 Q 学习。
- 用于随机延迟系统的自适应安全乘子估计。
- 动态安全干预避免了随机延迟系统中的过度保守性。
- 通过 Lyapunov–Krasovskii 分析建立了随机安全性和均方有界性。

引言

在工业自动化、智能交通和远程医疗等安全攸关领域（Cheng, Tavakoli, 2021, Javed, Hassan, Ahmad, Ahmed, Ahmed, Saadat, Guizani, 2024, Su, Yang, Ferrigno, De Momi, 2019, Wang, Lin, Wang, De Schutter, Xu, 2023, Xiao, Ge, Han, Zhang, 2022），自主系统通常面临多重物理约束，包括通信延迟、环境随机扰动和模型不确定性（Liu, Zhu, 2023, Yang, Li, Zhu, 2025, Zhang, Zhu, 2021）。与此同时，任务要求系统轨迹必须约束在预定义的安全集内，同时保持令人满意的控制性能；任何安全违规都可能导致不可逆转的后果。受这些实际需求的启发，本文研究了具有状态延迟、未知动态和显式安全约束的随机系统的最优控制。

自适应动态规划（ADP）为最优控制问题提供了一条可靠的实现路径（Jiang, Chai, Chen, 2025, Ming, Zhang, Li, Liang, 2024a, Ming, Zhang, Yu, Ma, 2025, Sun, Ming, 2023, Wang, Gao, Liu, Li, Lewis, 2024, Wang, Zhao, Ha, Ren, 2021）。然而，传统 ADP 算法在迭代学习过程中缺乏安全机制，容易突破安全边界，在探索和在线运行阶段违反运行约束。为弥补这一缺陷，各种安全增强的 ADP 算法已被提出。根据安全约束的引入和处理方式，常见的安全 ADP 方法可分为以下几类。

障碍变换方法（Guo, Hu, Wu, ?elikovsky, 2023, Liu, Zhang, Ming, Wang, Agarwal, 2024, Mahmud, Abudia, Nivison, Bell, Kamalapurkar, 2024）通过非线性变换将有约束状态映射为无约束状态，然后在变换后的空间中应用标准自适应控制或近似动态规划。这些方法很直观，但变换通常需要状态约束具有特定的几何形式。

罚函数方法（He, Shi, van den Boom, De Schutter, 2025, Massiani, Heim, Solowjow, Trimpe, 2023）直接在代价函数中添加安全约束的罚项，通过求解增强型最优控制问题来实现安全性与性能之间的折中。尽管结构上较为简单，但约束满足程度在很大程度上取决于罚权重的选择，且这些方法在理论上缺乏严格的正向不变性保证，在大的随机扰动或模型误差下容易发生约束违反。

安全滤波器方法直接在控制器输出端引入在线约束优化，通过对标称控制输入进行最小修改来确保安全。代表性方法包括基于模型预测控制（MPC）的安全滤波器和基于障碍函数的安全滤波器。MPC 屏蔽方法（Gros, Zanon, 2022, Wabersich, Hewing, Carron, Zeilinger, 2022, Wabersich, Zeilinger, 2021）将安全约束嵌入在线滚动时域优化中，利用 MPC 的约束处理能力为基于学习的控制器提供安全滤波器。然而，这些方法需要在每一步在线求解一个约束优化问题，计算代价较高，且在漂移动态完全未知时难以直接应用。

相比之下，基于障碍的约束优化方法直接将安全约束表征为障碍函数沿系统轨迹的导数约束。通过应用 Karush-Kuhn-Tucker（KKT）条件，将约束优化转化为涉及拉格朗日乘子的无约束优化问题，在适当的正则性和可行性条件下，可提供严格的安全性保证。

在这一框架内，Bandyopadhyay 和 Bhasin 进行了逐步探索。他们首先将该框架与 Q 学习相结合，提出了首个适用于连续时间线性系统的安全 Q 学习算法，使用常数增益来近似最优拉格朗日乘子（Bandyopadhyay and Bhasin, 2023）。Q 函数集成了最优值函数和系统 Hamilton 函数（Ming et al., 2024b），因此最优控制律可以用 Q 函数参数进行解析表示，完全避免了对系统动态的显式依赖。然而，当从线性扩展到非线性系统时，常数增益近似的理论保证遇到了根本性困难：在线性系统中，值函数的二次结构允许将近似误差视为有界扰动，不影响 Lyapunov 分析中的整体稳定性；而在非线性系统中，值函数不再是二次的，近似误差与状态非线性耦合，从而破坏了严格的安全性保证，导致过度保守的策略。

为应对这一挑战，他们引入了一个辨识器来在线估计漂移动态，并构建了依赖于状态的安全乘子，提出了基于障碍 Lyapunov 函数（BLF）的 Actor–Critic–Identifier–Lagrangian（ACIL）算法（Bandyopadhyay and Bhasin, 2025）。安全干预强度根据状态自适应调整，克服了常数增益方法中固定干预导致的过度保守性，在安全性和最优性之间实现了更好的折中。

然而，ACIL 对系统辨识的依赖引入了额外的计算负担和近似误差，这在耦合状态延迟和随机扰动的场景中尤为突出。为克服现有方法的局限性，我们提出了一种基于 BLF 的安全 Q 学习算法。首次将安全 Q 学习扩展到连续时间非线性系统，同时将自适应乘子估计推广到随机系统，实现在未知系统动态下的安全在线学习。该方法保留了自适应、状态依赖的安全机制的优势，同时避免了在线系统辨识引入的计算和近似负担。

我们的贡献有三方面：

1. 我们将原本仅适用于确定性系统的自适应安全乘子估计方法扩展到受随机扰动和状态延迟影响的系统。通过将状态安全要求重新表述为基于 BLF 的无穷小生成元约束，并重新推导乘子更新律，安全性保证机制在耦合的随机扰动和状态延迟效应下依然有效。

2. 首次将安全 Q 学习引入连续时间非线性系统。通过对安全 Q 函数进行结构化参数化，我们提出了一种无模型积分学习律，无需显式知识或在线辨识系统动态，从而显著简化了算法结构并降低了在线计算负担。

3. 通过构造适当的 Lyapunov–Krasovskii 泛函，我们通过统一的 BLF 期望界和概率紧子集保证建立了闭环系统的随机安全性。此外，证明了系统状态和 Critic 权重估计误差在均方意义下一致最终有界。

预备知识

考虑一类具有状态延迟和未知动态的非线性 It? 随机系统，其状态方程描述为：

$$\begin{cases}
dx(t) = [Ax(t) + u(t) + f(x(t-\tau)) + A_d x(t-\tau)]dt + G(x(t), x(t-\tau))dw(t), \\
x(t) = \varphi(t),\ t \in [-\tau, 0],
\end{cases}$$

其中 $x(t) \in \mathbb{R}^n$ 表示系统状态，$u(t) \in \mathbb{R}^n$ 是控制输入，$w(t)$ 表示 m 维标准布朗运动，$\tau > 0$ 是常数状态延迟。矩阵 $A, A_d \in \mathbb{R}^{n \times n}$ 是未知常数矩阵。非线性函数 $f: \mathbb{R}^n \to \mathbb{R}^n$ 表示未知的非线性漂移。

安全 Q 学习

然而，实现上述最优性条件需要系统动态的精确知识，而求解相关 HJB 方程的解析解通常是不可行的。为克服这些局限性，本节开发了一种自适应安全 Q 学习框架，能够在无需系统动态显式知识的情况下实现在线安全最优控制。

安全性与稳定性分析

本节建立了所提出的安全 Q 学习方案的随机安全性和实际稳定性性质。分析在假设 3 中指定的紧操作区域 $\Omega \subset C^\circ$ 上进行。

**定理 1** 在假设 1–3 下，若初始条件满足 $x(0) \in C^\circ$，则在所提出的控制律下，期望 BLF 保持一致有界，即 $\mathbb{E}[B(x(t))] \leq \overline{B}$ 对某个有限常数 $\overline{B} > 0$ 及所有 $t \geq 0$ 成立。此外，对任意 $\varepsilon \in (0, 1)$，存在一个紧集 $C_\varepsilon \subset C^\circ$，使得……

仿真结果与分析

在本节中，提出两个代表性数值算例，以评估所提出的安全 Q 学习方法的闭环调节性能、在线学习行为、安全约束满足程度以及性能改善。算例 1 考虑一个具有状态延迟和扩散项的非线性 It? 随机系统，并通过安全消融、不同安全边界和蒙特卡洛模拟进一步检验所提出的安全机制。算例 2 考虑……

结论

我们为具有状态延迟和未知动态的一类连续时间非线性 It? 随机系统开发了一种安全 Q 学习算法。通过将 BLF 约束引入随机 HJB 方程并采用 KKT 条件，我们解析推导出了安全最优控制律。我们将自适应安全乘子估计方法从确定性设置扩展到随机状态延迟设置，并设计了一种无模型积分学习律，不需要显式……

CRediT 作者贡献声明

Kaidi Xing：撰写——原稿、方法论、调查研究、形式分析、概念构思。
Zhongyang Ming：撰写——审阅与编辑、监督、资源、项目管理、方法论、获取研究经费。
Jiayue Sun：验证、形式分析。

利益冲突声明

作者声明不存在任何已知的竞争性财务利益或个人关系，这些利益或关系可能影响本文所述工作的客观性。

致谢

本研究得到了博士后科学基金和中国博士后科学基金资助（项目编号：BX20250400）；国家自然科学基金（62503093）；广东省基础与应用基础研究基金（2024A1515110109）；中央高校基本科研业务费（N25XQD038）；辽宁省自然科学基金青年博士启动基金项目（2025-BS-0110）的资助。

Kaidi Xing | Zhongyang Ming | Jiayue Sun