基于核的线性矩阵不等式方法求解哈密顿-雅可比-贝尔曼方程与非线性最优控制

《Physica D: Nonlinear Phenomena》：Kernel-Based LMI Approaches to Solving the Hamilton–Jacobi–Bellman Equation and Nonlinear Optimal Control

　　

我们提出一种凸优化方法，用于近似求解非线性最优控制中出现的哈密顿-雅可比-贝尔曼（HJB）方程。计算非线性控制问题的最优代价函数（值函数）通常难以处理；我们的方法通过在再生核希尔伯特空间中表示值函数，并利用舒尔补将该不等式重写为核系数上的线性矩阵不等式，使HJB不等式的一侧变为凸。由此得到的有限维配点问题是半定规划，可用标准凸优化软件求解。关键的新元素是平衡点处的里卡蒂-海森等式，它强制近似值函数的曲率与稳定代数里卡蒂解相匹配。当该矩阵非零时，该等式排除了平凡的全零近似；它还将近似平衡点附近的反馈线性化固定为稳定线性二次调节器。我们证明了关联闭环代价、值误差和HJB残差的精确轨迹恒等式，给出了试验空间的近似容量估计，从里卡蒂固定的线性化建立了局部指数稳定性，并给出了一个后验单纯形测试，将顶点残差和曲率界转化为连续域证书。在一维多项式基准和范德波尔振荡器的数值实验中报告了残差和闭环代价。在一维基准中，精确值函数已知且可在所选有限试验空间中表示，计算结果与其在数值精度上一致。在范德波尔振荡器上，与相同多项式次数的Albrekht/Navasca–Krener展开进行比较表明，核方法在配点处强制满足单边HJB不等式，在给定的正方形区域上具有低于0.10的认证连续域违规容差，并且代价与测试的最佳基线差距约在百分之一以内。在一个受控的核误设实验中，随着中心点的增加，残差趋于饱和，相对于已知最优值的观测损失达到13.5%；增加核的次数在该示例中消除了这一损失。

引言

哈密顿-雅可比-贝尔曼（HJB）方程为求解非线性最优控制问题提供了基石[1]。对于具有无限时域代价泛函的控制仿射系统 ˙??=???(??)+???(??)???，最优值函数 V*(x) 满足一个非线性偏微分方程，其解给出了最优反馈控制律。然而，直接求解HJB方程对于一般非线性系统在计算上是不可行的，这是控制理论中的根本挑战之一。传统方法如有限差分法和动态规划受维度灾难的严重影响[1]，计算成本随状态维数指数增长。基于神经网络的方法已被提出以解决可扩展性问题[2]；关于用于HJB反馈设计的深度学习方法的数据生成算法综述，可参见[3]。这些方法通常缺乏关于最优性和稳定性的先验理论保证。和方（SOS）规划[4]，[5]提供了具有严格保证的凸性，但随多项式次数扩展性差，且仅限于多项式系统。

在众多学习和逼近方法中，再生核希尔伯特空间（RKHSs）[6]，[7]已成为具有坚实数学基础的动力系统分析的强大框架。关于核方法用于非线性系统逼近的基础性工作[8]，[9]建立了RKHS表示可以有效地捕获非线性输入-输出映射和系统动态，并扩展到离散时间系统[10]、平衡降阶[11]和随机受迫系统的经验估计器[12]。核方法已被证明特别适用于逼近算子理论量：Koopman生成元和Schr?dinger算子[13]、Koopman算子的本征函数[14]、通过Koopman本征函数的李雅普诺夫函数[15]，以及亚稳态系统的降维[16]。在稳定性分析中，核方法已应用于从噪声数据近似李雅普诺夫函数[17]和中心流形逼近[18]，[19]。其他应用包括具有临界转变的多尺度系统[20]、用于慢-快随机微分方程的微观局域核设计[21]、传输方程[22]、用于数据自适应学习的核和方[23]、代理建模[24]、预测非线性时间序列[25]，以及与神经网络的联系[26]。与其他学习方法相比，基于核的方法提供了可解释性、严格的理论分析、具有正则化的良好理解的数值实现、自然的不确定性量化，以及具有先验误差估计的保证收敛性[27]，[28]，[29]，[30]，[31]。

最近，涉及Koopman算子的算子理论方法已被用于逼近HJB方程的解[32]。Koopman算子提供了非线性动力学的线性（但无限维）表示，使得可以将线性系统理论应用于非线性问题。同样，涉及Perron-Frobenius算子的算子理论方法提供了通过密度对偶空间中的公式化来最优控制的凸方法[33]，并成功应用于数据驱动的最优控制设计[34]，[35]，[36]。尽管这些基于算子的方法提供了理论基础，但其实际实现依赖于计算框架，如基于RKHS的方法。在本文中，我们采用一种直接方法，利用RKHS框架既用于凸重构，也用于HJB方程的数值逼近。

所提出的方法受到线性系统最优控制的启发，特别是里卡蒂方程的凸LMI公式化[37]。对于线性系统，代数里卡蒂方程 ???(??)=0 在求解最优控制问题中起着关键作用。严格来说，里卡蒂方程 ???(??)=0 和不等式 R(P) ≤ 0 在矩阵变量 P 中都是非凸的；然而，不等式 R(P) ≥ 0 定义了 P 中的一个凸集。基于这种类比，我们将里卡蒂框架扩展到哈密顿-雅可比方程，形成了HJB不等式的凸LMI表示。尽管从里卡蒂方程导出的LMI是有限维的，但从HJB方程产生的LMI是无限维的。为了应对这一点，我们采用基于RKHS的方法[38]来获得有限维逼近，并辅以适当的约束以确保稳定解。

本文做出以下贡献，我们精确陈述这些贡献，以便区分真正的新颖之处与文献中已有的内容。首先，我们使用HJB不等式的舒尔补重构（引理3.2）来获得一个在核系数上线性的约束；舒尔步骤本身是众所周知的[37]，我们将其作为引理而非定理呈现。其次，我们使用梯度的标准核表示（备注3.6）。第三——这是新颖的元素——我们在SDP内部强加里卡蒂-海森等式 ??2???(0)=??，其中P是线性化的稳定代数里卡蒂解。V*在海森矩阵在平衡点满足里卡蒂方程这一事实是经典的，可追溯到Al'brekht [39]和Lukes [40]，并在Navasca–Krener Taylor递归中算法化[41]；我们相应地引用命题3.9。当P ≠ 0时，该等式排除了V ≡ 0；因为系数目标是严格凸的，只要可行集非空，SDP就有唯一的系数向量。第四，我们推导了精确的闭环代价恒等式和相应的两项次优性估计（定理3.17和推论3.18）；该估计同时保留了点态值函数误差|????(??0)???*?(??0)∣和累积的正残差超出量。我们还记录了一个条件点态值差估计：任何针对特定反馈生成近似的独立验证的L∞梯度界给出了相应的值差界（推论3.20）。另外，定理3.26记录了试验空间的Matérn/Sobolev近似容量速率；这些速率表明这些空间可以包含好的近似，但在没有单独验证的情况下，它们不会转移到SDP优化器。局部指数稳定性保证（定理3.23）是从里卡蒂固定的闭环线性化证明的，而不是从配点之间的残差符号证明的。第五，改编自连续分段仿射李雅普诺夫认证中使用的顶点加曲率论证[42]，[43]，我们给出了HJB残差的后验单纯形证书（定理3.14）。它将有限网格诊断与连续域结论清晰地分离。第六，我们报告了验证网格残差诊断、闭环代价、当V*已知时的真正次优性间隙，否则是最佳测试基线间隙。范德波尔比较包括Albrekht / Navasca–Krener Taylor展开作为基线。我们还包括一个受控误设研究，其中有限次多项式试验空间无法表示V*：随着中心点的增加，残差趋于饱和，观测到的次优性达到13.5%。第3.8节使用这个例子来激励一个细化诊断，明确地呈现为启发式方法，而不是RKHS成员资格的证明。

本文其余部分组织如下。第2节阐述最优控制问题。第3节发展理论框架，包括LMI重构、RKHS逼近、里卡蒂-海森约束和性能保证。第4节讨论与经典李雅普诺夫函数构造的关系。第5节呈现数值结果，第6节得出结论。

问题表述

考虑控制仿射系统
˙??=???(??)+???(??)???,??∈???,??∈???,
其中 ??:???→??? 和 ??:???→???×?? 是光滑函数，具有无限时域代价
???(??0,??)=∫∞0[???(???(??))+12????(??)???????(??)]????,
其中 ??:???→?≥0 是状态代价函数，且 ??∈???×?? 是对称正定矩阵。
假设2.1 基本假设
在本文中，我们假设：
1.函数f, g, 和q足够光滑（至少C2）。
2.原点??=0是无控动力学的平衡点：???(0)=0。
3.状态代价满足 ???(0)=0 且 q(x) > 0 对于 x ≠ 0。
4.对(A, B)是

初步知识：舒尔补

我们首先回顾舒尔补引理，这是我们的重构的基础。
引理3.1 舒尔补
设M为如下形式的对称分块矩阵
??=[?????????]
其中 ??∈???×??, ??∈???×??, 且 ??∈???×?? 且 C?0（正定）。则
???0??????????1????≥0.
更一般地，如果C?0，则 M?0 当且仅当 A?0，range(B)?range(C)，且 ??????????????0，其中C?表示Moore-Penrose伪逆。
证明
由于C?0，我们可以写出
??=[????????10??]?[?????????1????00??]?[??0???1??????].
这是一个同余变换，它保持符号（正定、负定或不定性的）

特殊情况：g?≡?0 与李雅普诺夫构造的联系

当 g(x)?≡?0 时，凸HJB不等式(4)退化为
?????(??)?????(??)+???(??)≥0.
沿无控动力学，这给出 ˙??≥???，这是一个下代价不等式，而不是李雅普诺夫递减证书。Giesl[46]研究的李雅普诺夫构造类型使用相反的不等式 ?????(??)?????(??)≤????(??)，等价于在平衡点之外 ˙??≤???<0。因此，与径向基函数李雅普诺夫构造的关系是符号对偶的：相同的核机制可以表示这样的函数，但凸HJB侧使用的是

数值结果

我们呈现三个数值实验。第一个（第5.1节）是一个一维多项式基准，其最优值函数已知精确解且位于有限试验空间中；计算的SDP解与V*在10?8范围内一致，并且在所有测试初始条件下闭环代价的精确间隙为零。第二个（第5.2节）是对误设情况 ??*?? 的受控研究，展示了观测到的代价退化。第三个（第5.4节）是范德波尔

结论

核-LMI方法将所选的HJB不等式侧转化为有限维凸半定配点问题。只要可行集非空，严格凸目标选择唯一的系数向量。新的元素是显式的里卡蒂-海森等式：当其稳定解非零时，它排除了平凡向量并强制局部反馈线性化与LQR匹配。舒尔重构和二级Albrekht /

未引用的浮动元素
图3，图4和表1。

未引用的参考文献
[49]，[50]，[51]，[52]，[53]

CRediT作者贡献声明
Boumediene Hamzi：撰写-初稿，软件，方法论，调查，形式分析，概念化。
Umesh Vaidya：撰写-初稿，方法论，调查，概念化。

利益冲突声明
作者声明他们没有已知的可能影响本文所述工作的竞争性经济利益或个人关系。

Boumediene Hamzi|Umesh Vaidya