用于未知线性系统LQG控制的基于数据的确定性等价方法

《Journal of the Franklin Institute》：Data-based certainty-equivalence methods for LQG control of unknown linear systems

　　

摘要

本文研究了具有过程和测量噪声的未知线性时不变（LTI）系统的联合状态估计与控制问题。目标是基于数据驱动的方法重构线性二次高斯（LQG）控制器。本文提出了一种基于半定规划（SDP）计算稳态卡尔曼增益的方法。通过采用确定性等价的概念，将未知的无噪声数据矩阵替换为测量对应的数据矩阵，从而得到一个可以直接从含噪输入 - 状态 - 输出数据中求解的 SDP，进而获得确定性等价观测器增益，而无需进行系统模型估计。基于确定性等价观测器增益提出的观测器，在保证信噪比（SNR）足够高的情况下，既能提高估计性能又能保证稳定性。此外，通过将所提出的观测器与已有的确定性等价线性二次调节器（LQR）控制器相结合，本研究开发了一套完整的确定性等价 LQG 控制器，并证明了完全基于数据控制器的可行性。最后，通过数值仿真验证了所提出控制方法的有效性和优越性。

引言

在现代控制系统中，LQG 控制作为一种经典的最优控制方法，已广泛应用于工程、航空航天、自动化、电力系统、工业流程和机器人等领域 [1], [2], [3]。LQG 控制包括用于状态反馈的 LQR 和用于最优估计的卡尔曼滤波器。传统的 LQG 控制假设系统具有已知的线性模型且噪声服从高斯分布。仅在这些理想条件下，LQG 控制器才能提供最优性能 [4]。然而，在实际应用中，系统模型往往受到不确定性、参数变化或外部干扰的影响，这使得精确建模变得困难，并限制了 LQG 控制方法的适用性。为了解决这一局限性，基于数据的控制方法应运而生。基于数据的控制是指通过收集到的输入 - 输出数据构建系统控制律，而不依赖于已知的系统模型 [5]。

基于数据的控制方法可以根据其对系统辨识的依赖性分为两种不同的途径：直接法和间接法 [6]。在 LQG 问题背景下，关于基于数据的控制已涌现出大量文献。经典的间接方法利用数据来识别系统模型，随后将该模型用于控制器设计，如 [7], [8], [9] 所述。相比之下，直接基于数据的控制绕过了显式的系统辨识，而是直接从数据中推导控制策略或优化控制器参数。这一概念由基本引理形式化，该引理建立了 LTI 系统的行为可以通过由时间序列数据构建的矩阵的值空间来表征 [10]。基本引理推动了基于数据的控制技术的重要进展 [11], [12]，使得各种控制策略得以开发。这些包括模型预测控制 [13], [14]、自适应方法 [15], [16]、基于强化学习的控制 [17], [18], [19], [20]、反馈控制策略 [21], [22], [23] 等等。

根据是否考虑不确定性，基于数据的控制方法也可分为确定性等价方法和鲁棒方法 [6]。经典的确定性等价基于数据的控制方法，如 [24], [25], [26], [27] 中所述，假设数据准确代表了系统动力学，并直接使用它来估计模型或控制器。相比之下，鲁棒数据驱动方法，如 [28], [29], [30], [31] 中采用的方法，明确解决了数据不确定性问题，并在设计控制器时考虑了最坏情况场景。

虽然鲁棒 LQG 控制器在最坏情况不确定性下提供了稳定性保证，但它们往往导致保守的控制性能，并可能使确定性等价 LQG 问题不可行 [32]。受有界噪声和干扰的 LTI 系统的相关最优估计器设计也在 [33] 中进行了研究。相比之下，在高信噪比条件下，确定性等价方法不仅保持可行，而且实现了优越的控制性能 [24], [34]。然而，其在状态估计中的有效性尚未得到检验。此外，虽然显式正则化在高不确定环境中可能有益，但在高信噪比条件下，它可能引入不必要的保守性，从而降低状态估计性能和控制性能 [35]。此外，即使我们分别确保了确定性等价 LQR 增益和观测器的稳定性，闭环稳定性也不会自动得到保证。根本原因在于，一旦模型失配存在或噪声特性发生变化，状态与估计误差之间假设的独立性和解耦性就不再严格成立。因此，通常允许控制器和观测器独立设计的分离原理，在这种实际的不确定设置中无法保证最优性甚至稳定性。仅使用数据为未知线性系统实现稳定和近最优控制及状态估计的挑战，激发了我们对确定性等价基于数据的 LQG 的研究。

本文的目标是建立高信噪比条件使确定性等价方法能够在基于数据的观测器设计中确保稳定性和近最优性能，同时消除对显式正则化的需求。此外，本工作旨在构建一个完整的基于数据的确定性等价 LQG 控制器，并从理论上证明该控制器能保证闭环系统稳定性。在模拟案例研究中，评估了确定性等价观测器的性能，并与几种方法进行了比较，包括 [32] 中引入的鲁棒方法、[36] 中的基于数据的移动视界估计（MHE）以及基于辨识的卡尔曼滤波器（KF）。确定性等价方法在高信噪比下表现出优越的性能，从而验证了在不确定性极小的场景中确定性等价控制的优越性。

本文的贡献总结如下：

(i) 本文建立了一个基于信噪比（SNR）的充分条件，保证了基于数据的确定性等价观测器 SDP 的可行性，而无需任何额外的显式正则化，同时确保所得到的观测器增益是稳定的。

(ii) 利用确定性等价 LQR 增益和观测器增益，构建了一个确定性等价 LQG 控制器。此外，建立了统一的充分条件 SNR > ?。在该条件下，所得到的基于数据的 LQG 控制器保证了未知 LTI 系统的闭环稳定性。

(iii) 与鲁棒 LQG 控制器相比，确定性等价 LQG 控制器在高信噪比下可实现更优越的系统性能，同时保持系统闭环稳定性。

记号：设 $\mathbb{R}$ 和 $\mathbb{N}$ 分别表示实数集和整数集。对于行满秩矩阵 Ξ，其右伪逆记为 Ξ?。对于任意矩阵 Ξ，记号 Ξ?0（或 Ξ?0）和 Ξ?0（或 Ξ?0）分别表示 $\Xi ={\Xi }^T$ 是正定（负定）和半正定（半负定）的。任意正定矩阵 Ξ 的最小和最大奇异值分别记为 σ_min(Ξ) 和 σ_max(Ξ)。tr(Ξ) 表示 Ξ 的迹。对于维度兼容的矩阵 A, B 和 C，我们使用简写 A?B?{?}^T 来表示 ABA^T。符号 ‖?·?‖ 表示向量的欧几里得范数或矩阵的谱范数。

章节摘要

预备知识与问题表述

本节呈现了正在研究的问题并回顾了现有文献中的相关发现。

确定性等价基于数据的观测器设计

本节最初通过用数据矩阵替换模型参数，以基于数据的方式重新表述问题 1，从而推导出问题 2 以直接从数据中获得稳态观测器增益。随后，通过采用确定性等价原则，利用测量的含噪输入 - 状态 - 输出数据求解问题 3，推导出观测器增益 $\bar{L}$。最后，引入了信噪比，证明了当信噪比足够高时，观测器增益

确定性等价基于数据的 LQG

本节对确定性等价基于数据的 LQG 控制器进行了严格的闭环分析。首先，我们介绍了控制器的基于数据的表述并建立了闭环模型和分析框架。随后，我们推导了三个表征系统收敛特性的基本引理。最后，我们综合这些结果提出了主要的随机稳定性定理及其相应的鲁棒性推论。

仿真结果

在本节中，我们使用仿真说明了主要的理论结果。考虑了两个基准系统。旋转目标系统 [39] 用于考察信噪比对观测器性能的影响，并将所提出的观测器与代表性估计方法进行比较。不稳定间歇反应器系统 [11] 用于评估完整的确定性等价 LQG 控制器，包括其闭环状态估计性能和由数据噪声引起的效应

结论

本文提出了一种基于数据的框架，用于联合解决受过程和测量噪声影响的未知线性时不变系统的状态估计和控制问题。所提出的方法将半定规划与确定性等价原则相结合，直接从含噪输入 - 状态 - 输出数据中合成稳态观测器增益，消除了对显式系统辨识的需求。理论分析表明，在足够高的信噪比条件下，SDP

CRediT 作者贡献声明

Lijie You: 撰写 – 初稿，可视化，方法学，调查，形式分析，概念化。 Yongzheng Liu: 撰写 – 审稿与编辑，可视化，验证，软件，数据整理。 Jianyin Fang: 撰写 – 审稿与编辑，指导，资源，项目管理，方法学，资金获取，概念化。 Daolin Wen: 撰写 – 审稿与编辑，验证，调查，数据整理。 Zenghui Hu: 撰写 – 审稿与编辑，验证，软件，

利益冲突声明

作者声明他们没有任何已知的竞争性经济利益或个人关系，这些关系可能被认为影响了本论文中报告的工作。资助方（国家自然科学基金，批准号：62303426）在研究设计、数据收集和分析、发表决策或手稿准备方面均未发挥作用。

Lijie You|Yongzheng Liu|Jianyin Fang|Daolin Wen|Zenghui Hu|Jingtao Mu