基于Carleman近似的非线性系统自适应最优控制设计：一种三阶段策略迭代方法

《Neural Networks》：Carleman approximation based adaptive optimal control design of nonlinear systems: A three-phase policy iteration approach

　　

摘要：作为自适应动态规划中解决自适应最优控制问题的一种高效算法，策略迭代在迭代过程中始终需要一个初始的容许控制猜测。这种初始化过程并不简单，尤其对于不稳定系统或系统动力学完全未知的情况更是如此。为克服这一局限性，本文提出了一种基于神经网络的策略迭代的新型连续时间非线性系统自适应最优控制器设计方案。通过采用Carleman线性化技术，我们将非线性模型提升为双线性形式，从而使得最优反馈控制可以从状态依赖Riccati（SDR）方程中推导出来，而非从Hamilton-Jacobi-Bellman方程中推导。为在未知系统参数条件下求解SDR方程，我们利用了一种基于同伦的三阶段策略迭代算法，该算法直接从状态和输入测量中学习最优控制协议。与现有结果相比，所提出的算法具有自动更新初始参数的能力，并且指定神经网络的相同基函数来近似所有未知函数，从而带来计算效率的提升。两个案例研究验证了我们的方法。

引言：最优控制是指设计一种控制协议，以最小化（或最大化）特定的性能准则。该数学公式能够为闭环装置产生最佳可能行为，因此被广泛用于解决众多现实世界的工程问题，例如仅列举几项，模块化机械臂的安全控制、电动汽车的自适应巡航控制、矿物过程的最优运行控制以及工具可供性的配方控制。根据动态规划原理和Pontryagin极大值原理，非线性系统的最优控制解可以通过求解所谓的Hamilton-Jacobi-Bellman（HJB）方程获得，该方程对于线性系统简化为代数Riccati方程。需要注意的是，解决非线性最优控制问题至少存在两个重大困难。首先，相应的HJB方程是一个非线性偏微分方程，通常不存在解析解。其次，基于模型参数设计的最优控制器在系统动力学不可用的实际场景中无法实施。

自适应动态规划（ADP）是强化学习的一个新分支，是一种计算智能技术，能够在未知环境下迭代学习最优控制律。与经典强化学习不同，ADP可用于解决由微分方程表示的动力系统中的决策问题，其中状态和动作均存在于连续空间中。通过数据测量，ADP已成为在缺乏精确系统参数知识的条件下处理连续时间自适应最优控制问题的有价值候选方案。利用Galerkin近似方法，Vrabie和Lewis以及Luo等人分别开发了在政策和离政策的ADP算法，用于在未知漂移动力学和完全未知动力学下求解HJB方程。Possieri和Sassano进一步提出了一种新颖的评论家-识别器架构，克服了传统ADP算法依赖输入输出轨迹样本的局限性。Qin等人提出了一种针对互联非线性系统的安全最优控制方案，该方案采用了一种新颖的动态事件触发采样机制，并具有同时处理不连续状态约束的能力。然而，这些基于策略迭代的算法的一个共同缺点是要求有一个初始的容许控制，这对于不确定的非线性系统在实践中往往难以获得。

近年来，几种基于线性化近似的ADP方案已被应用于非线性系统，这些方案避开了最优控制器设计中的HJB方程。通过Taylor级数展开，非线性两时间尺度工业模型被线性化，将二阶残差误差视为扰动输入。Mukherjee等人利用奇异摄动理论推导了一些降阶次优控制器，但这种线性化机制仅适用于非线性动力学的小扰动。使用修正的Koopman线性化，Zeng等人将非线性状态和输入项纳入数据驱动的最优控制器设计。然而，Koopman算子的定义仍然强烈依赖于基础模型结构。Juang和You介绍了一种可解释的基于模糊系统的ADP算法，用于通过基于模型的演员-评论家架构的移动机器人控制。基于Jacobian线性化原理，Manoochehri rahbar等人提出了一种针对部分未知双线性系统的局部最优控制策略。因此，这些现有出版物受限于一阶近似、小信号扰动或模型动力学的先验知识。

Carleman嵌入技术是一种提升过程，它将有限维非线性模型转换为无限维双线性或线性表示，且不损失保真度。此外，这种方式赋予研究人员将模型阶数截断到任何所需有限值的灵活性。与仅在操作点附近有效的一阶线性化策略不同，Carleman提升技术可用于在更广泛的范围内研究非线性系统的控制问题。基于Carleman线性化，Kar等人推导了一种在政策ADP算法，用于不确定动力学非线性系统的最优控制问题，但这种学习算法存在三个关键缺陷。首先，该算法需要知道系统输入动力学，而非完全无模型的。其次，该方案假设初始容许控制的可用性，这对于不确定的非线性系统往往是不切实际的。第三，截断系统（面向学习）的状态轨迹由于被忽略的截断误差而偏离原始系统的状态轨迹。这种情况会导致迭代过程中出现不正确的解甚至算法发散。

贡献：受上述观察的启发，本文研究了具有不确定动力学的连续时间非线性多项式系统的最优控制问题。首先，我们通过Carleman算子提供命题1，将非线性模型提升为无限维双线性形式。基于此结果，表明最优反馈可以从状态依赖Riccati（SDR）方程中推导，而非从HJB方程中推导。为在有限空间中执行此设计，我们还引入了截断的近似最优控制协议，并在定理1中证明了其闭环稳定性。然后，通过结合同伦迭代方法和逐步近似过程，我们进一步提出了数据驱动的三阶段策略迭代算法1，其中引理3至5保证了解的唯一性，用于在缺乏系统动力学知识的情况下学习近似最优控制器，定理2给出了其收敛性证明。需要注意的是，算法1具有自动更新初始参数的能力，并指定神经网络的相同基函数来近似所有未知函数。这与现有的一阶线性化方法不同，后者仅在操作点附近有效，所提出的控制器在更大信号扰动下能够稳定闭环系统。与Chen等人提出的现有同伦策略迭代不同，后者主要关注为未知线性系统找到初始稳定策略，本文提出的同伦机制旨在解决非线性系统（即Carleman近似后的高维双线性系统）自适应最优控制的初始化难题。与一些现有的ADP算法不同，算法1在初始化过程中不再需要神经网络，从而显著提高了计算效率。与Kar等人的方法相比，算法1考虑了截断误差，既不需要输入动力学信息也不需要初始稳定控制猜测。这意味着我们提出的方法具有更好的收敛性，且更容易应用于实际工程装置。

**非线性最优控制问题**

考虑非线性系统：

z? = f(z) + g(z)u

其中 z = [z?, z?, …, z?z]? ∈ ??z 是系统状态，u = [u?, u?, …, u?u]? ∈ ??u 是控制输入，z 和 u 均假设为可测量的，f: ??z → ??z 和 g: ??z → ??z × ?u 是 z 的多项式映射，且 f(0) = 0。所追求的是 f(z) 和 g(z) 的精确知识不可用。关于(1)的最小化目标函数指定为：

J(z, u) = ∫?^∞ (z?Qz + u?Ru) dt

其中 Q = Q? ∈ ??x × ?x ? 0 和 R = R? ∈ ??z × ?z ? 0 为权矩阵。反馈控制……

**基于Carleman线性化的非线性最优控制问题解法**

考虑非线性多项式系统(1)，其中映射 f(z) 和 g(z)u 使用 z 的Kronecker幂表示如下：

f(z) = Σ???^Nf F? z[k]

g(z)u = Σ????? (G?,? + Σ???^Ng G?,? z[k]) u?

其中 F? ∈ ??z × ??z??，G?,? ∈ ??z，G?,? ∈ ??z × ??z?? 为常数矩阵，z[k] ∈ ???z?? = z ? z ? ? ? z（k次），Nf, Ng ∈ ??。注意 ? 表示Kronecker积，?? 表示正整数。Carleman线性化是一个无限维非线性映射，其中元素……

**自适应最优控制器设计：三阶段策略迭代**

截断最优控制器(20)的设计需要求解SDR方程(21)，而该方程通常没有解析解。本节的目的是推导一种数据驱动的策略迭代算法，该算法不仅不依赖于系统(1)的动力学知识，而且能自动更新所有初始参数以设计控制器(20)。我们将本节分为三个小节来实现这一目标。首先，我们回顾两种基于模型的策略迭代算法……

**案例研究**

在本节中，我们将讨论两个示例来验证所开发方法的有效性。为了评估所设计控制协议的性能，我们进一步将这些结果与能给出最优解的HJB方程(4)进行比较。

**结论**

本文研究了连续时间非线性系统的自适应最优控制问题。本文的第一个主要贡献是，我们利用Carleman嵌入技术将非线性最优控制问题转化为双线性最优控制问题。所得的最优反馈控制器与SDR方程相关联，这有效地绕过了传统上获得HJB方程解的困难。本文的第二个主要贡献……

CRediT作者贡献声明：

Jianguo Zhao：写作——审阅与编辑，写作——原稿，监督，软件，方法论，调查，形式化分析，数据整理，概念化。

Zhijiang Gao：写作——审阅与编辑，形式化分析。

Chunyu Yang：监督，方法论，数据整理。

Pak Kin Wong：写作——审阅与编辑，监督。

利益冲突声明：作者声明他们不存在已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

我们的工作部分由中国国家自然科学基金（资助号62403467和62273350）、江苏省自然科学基金（资助号BK20241635）以及澳门特别行政区科技发展基金（资助号0091/2023/AMJ）资助。

Jianguo Zhao | Zhijiang Gao | Chunyu Yang | Pak Kin Wong