通过强化学习实现的非线性系统神经网络数据驱动的预定义时间最优控制

《Neurocomputing》：Neural network data-driven predefined-time optimal control for nonlinear systems via reinforcement learning

　　**摘要**
本文研究了具有未知动态的非线性系统的预定义时间最优控制问题。基于预定义时间稳定性理论和神经网络（NN）逼近技术，构建了一个预定义时间最优控制器。由于非线性系统动态未知，因此设计了一种积分学习算法来模拟这些不确定的非线性系统。为了实现预定义时间最优控制器，开发了一种基于神经网络的强化学习（RL）价值迭代（VI）算法，以求解哈密顿-雅可比-贝尔曼（HJB）方程并获得预定义时间最优控制器。证明了所提出的算法是收敛的，并且这种基于神经网络的预定义时间最优控制方法能够确保闭环系统在给定的有限稳定时间内保持预定义时间稳定并达到最优状态。最后，通过计算机仿真结果和对比分析展示了所提出最优控制方案的有效性。

**引言**
在过去十年中，非线性系统的智能最优控制取得了显著进展，已经开发出了许多智能最优控制策略[1]、[2]、[3]、[4]、[5]、[6]、[7]、[8]。自适应动态规划（ADP）和神经网络（NN）逼近技术被应用于解决最优控制问题。例如，[2]、[3]中提出的自适应最优控制方法适用于已知非线性系统，而[4]、[5]、[6]中提出的自适应NN最优控制方案则是为未知非线性系统设计的。高和江[7]以及朱等人[8]为完全未知的非线性系统开发了自适应NN最优方法。上述最优控制策略不仅实现了最优控制性能，还保证了受控非线性系统的稳定性。

值得注意的是，所有这些智能最优控制策略都是在渐近稳定性理论框架下开发的，即它们使受控非线性系统在无限时间间隔内达到平衡点。然而，对于许多实际系统来说，其状态轨迹在有限时间内收敛到平衡点更为理想。为了解决这个问题，黄等人[9]和Polyakov[10]发展了有限时间/固定时间稳定性理论。基于这些理论并结合强化学习（RL）技术，边等人[11]、张和陈[12]、Haddad和L’Afflitto[13]、张等人[14]以及王等人[15]为非线性系统开发了智能自适应有限时间/固定时间最优控制方案。这些最优控制算法确保闭环系统在有限时间间隔内稳定。需要注意的是，上述有限时间最优控制器的收敛时间受系统初始状态的影响，而固定时间最优控制器的收敛时间则取决于多种设计参数，这限制了它们的广泛应用。

为了克服有限时间/固定时间控制方法的局限性，一些预定义时间控制器在[16]、[17]中为非线性系统进行了研究。与有限时间/固定时间控制器不同，预定义时间控制器的收敛时间不依赖于系统的初始状态，而是通过给出一个稳定时间来确定的。由于预定义时间控制的优点，Sui等人[18]和王等人[19]为非线性系统提出了自适应智能预定义时间跟踪控制方法。最近，Kokolakis等人[20]、赵等人[21]和蔡等人[22]利用PI算法开发了非线性系统的自适应NN预定义时间最优控制方法。这些最优控制方法不仅确保了闭环非线性系统的预定义时间稳定性，还在给定的有限稳定时间内实现了性能指标的最小化。需要指出的是，[20]、[21]、[22]中的RL算法是基于初始可接受控制策略存在的假设。这些策略的共同假设是整个系统是可稳定的，并且最优价值函数具有正定解。然而，在存在干扰信号的情况下，最优价值函数不再具有正定性，这使得获得初始可接受策略变得困难。为了解决这一问题，[23]、[24]中为非线性系统开发了基于价值迭代（VI）的最优控制方法。基于VI算法，江等人[25]和高等人[26]为非线性系统开发了最优输出反馈控制方法。需要强调的是，上述基于VI的最优控制方法只能在无限时间间隔内实现最优控制性能，而不能在有限时间间隔内实现。

据我们所知，目前还没有基于ADP理论和VI算法为未知非线性系统开发预定义时间最优控制方法。

基于以上讨论，本文研究了具有未知动态的非线性系统的预定义时间最优控制问题。本文提出了一种使用强化学习VI算法的预定义时间最优控制方法。本研究的主要进展如下：
(1) 本文提出了一个基于预定义时间稳定性理论的非线性系统NN最优控制框架。基于该框架和VI算法，开发了一种预定义时间NN最优控制方法和强化学习算法，使得受控系统在预定义时间间隔内保持预定义时间稳定并实现最优控制性能。虽然[23]、[24]、[25]、[26]中也研究了最优控制问题，但这些研究是基于渐近稳定性理论而非预定义时间稳定性理论。
(2) 本文开发了基于神经网络的强化学习VI算法来解决预定义时间最优控制问题。所提出的算法可以同时求解HJB方程的解和预定义时间最优控制器。本文严格证明了该RL算法的收敛性。尽管[20]、[21]、[22]在PI算法框架下为非线性系统提出了自适应NN预定义时间最优方法，但这些方法对神经网络的初始值敏感。此外，本文提出的算法在实现过程中不需要[20]、[21]、[22]中所需的初始可接受控制策略。

本文的结构如下：第二节是一些预备知识和问题表述；第三节介绍了预定义时间最优控制器；第四节是NN数据驱动学习算法及其收敛性证明；第五节展示了仿真结果和讨论；第六节给出了结论。

**符号说明**
• 对于给定的矩阵$A$，其$p$-范数表示为$\|A\|_p$。矩阵$A$的摩尔-彭若斯逆记为$A^+$。
• 对于向量$x$和$y$，定义$|x-y|$表示$x$和$y$之间的距离。对于给定的实数$\lambda$，定义$\gamma(\lambda)$为$\exp(-\lambda)$。

**预定义时间稳定性**
考虑以下形式的非线性系统：
$$
\dot{x} = f(x) + u(t), \quad x(0) = x_0
$$
其中$\dot{x}$是系统状态向量，$f(x)$是连续函数且满足某些条件。假设系统(1)的平衡点位于原点。

**定义1 [17]**
对于给定的预定义时间$t$，如果存在一个任意小的正数$\epsilon$，使得对于所有$t \in [t, t+\delta]$，非线性系统(1)的解满足$|x(t) - x_0| \leq \epsilon$，则称系统(1)的平衡点在预定义时间内是稳定的。

**引理1 [17]**
对于系统(1)中的非线性函数$f(x)$，假设存在一个常数$K > 0$，使得对于所有$t \in [t, t+\delta]$，有$|f(x(t)) - f(x_0)| \leq K|u(t)|$。

**数据驱动学习算法**
在本节中，设计了一种积分学习算法来模拟未知的非线性函数，并提出了一种基于神经网络的VI算法来解决预定义时间最优控制问题。最后给出了收敛性证明。根据[25]、[26]、[27]中的通用逼近性质，神经网络可以在紧集上逼近未知的连续函数$f(x)$，即
$$
A\mathbf{x} \approx f(x)
$$
其中$A$是理想权重向量，$\激活函数$g$是神经网络的激活函数，$\epsilon$是逼近误差。$n$表示神经网络的节点数。

**数值仿真**
本节通过一个数值例子验证了所提出的基于神经网络的预定义时间最优控制方法的有效性。

**结论**
本文研究了具有未知动态的非线性系统的预定义时间最优控制设计问题，提出了一种预定义时间最优控制设计和基于神经网络的强化学习VI算法。该算法可以同时求解HJB方程的解和预定义时间最优控制器，实现闭环系统的预定义时间稳定性和最优控制性能。尽管在[23]、[24]、[25]、[26]中也研究了最优控制问题，但这些研究是基于渐近稳定性理论，而不是预定义时间稳定性理论。