基于影子轨迹激励的无模型最优跟踪控制高效探索方法

《Neurocomputing》：Efficient exploration in model-free optimal tracking control via shadow trajectory excitation

　　

摘要
本文研究了连续时间线性系统在平均代价准则下的最优跟踪控制问题。提出了一种阴影轨迹激励机制，以放宽数据驱动学习中对受控对象施加的激励要求。受控对象仅参与初始预学习阶段，用于采集有限数据集并获取一个稳定化反馈增益。随后，采用自由设计动态特性的辅助照明系统产生持续具有信息量的轨迹，将其与受控对象采样数据结合形成用于学习的阴影轨迹。基于该框架，开发了一种无模型积分强化学习算法来学习最优反馈增益，并提出了一种无模型方法计算最优前馈增益。所提方法保证学习参数收敛并实现精确跟踪性能，而无需在学习全程对受控对象施加持续激励。仿真结果验证了所提方法的有效性。

引言
在控制系统工程领域，最优跟踪控制问题（OTCP）是一种基本设计问题，用于设计控制器使动态系统跟踪给定参考轨迹并优化性能指标[1],[2]。其中一种特别重要且被广泛研究的案例是线性二次最优跟踪问题（LQTP），其因可处理性和优雅的闭式结构而备受关注。然而，经典LQTP综合方法本质上是基于模型的，通常需要通过求解Riccati型方程来实现，这要求系统动态的准确知识[3],[4]。在许多应用中，这些模型不可用、不确定或辨识代价高昂，这导致了对数据驱动和无模型最优控制的日益关注。

积分强化学习（IRL），也称为自适应动态规划，提供了一种从测量数据中直接学习最优控制器的系统化框架。在过去几十年中，基于IRL的最优调节方法在连续时间系统[5],[6],[7],[8]和离散时间系统[9],[10],[11]中均取得了显著成功。近年来，将IRL扩展到最优跟踪引起了广泛关注，催生了多种无模型最优跟踪控制方法。一种广泛采用的策略是通过状态空间增广将具有折扣代价泛函的跟踪问题转化为等效调节问题，如文献[12],[13]所述，从而实现标准IRL算法的直接应用。相比之下，文献[14]从性能指标中移除了折扣因子，并在期望系统渐近稳定的假设下开发了一种无模型最优跟踪方法。针对LQTP的输出反馈设计在文献[15],[16]中得到了进一步研究。考虑到外部扰动，文献[17]提出了一种在线无策略IRL方法寻找状态反馈跟踪控制器，而文献[18]开发了一种输出反馈跟踪控制器。此外，文献[19],[20]基于输出调节理论设计了最优指数跟踪控制器。

尽管取得了上述进展，所有数据驱动最优控制方法面临的一个根本挑战是对足够具有信息量的数据的要求[21],[22],[23]。在IRL中，学习参数的收敛依赖于持续激励（PE）条件[24]。PE条件保证系统状态探索状态空间中的足够点，从而在整个运行域上生成理想近似。在大多数现有方法中，该要求通过在受控对象输入中直接注入探测信号并维持较长时间来强制执行，以充分激励系统动态的所有模式。虽然理论上充分，但PE条件在实际中往往过于严苛而难以满足[25],[26]，特别是当系统在有限工作区间运行时或某些模式难以仅通过控制输入激励时。

已有若干研究从不同角度探讨了放宽学习控制中PE条件的方法。并发学习利用在线采集的历史样本动态数据堆栈，并将其与瞬时测量值一起纳入参数更新律中[27],[28],[29]。该机制使得在称为区间激励的弱化激励要求下实现参数收敛。复合学习则通过结合多个误差信号（如跟踪误差和预测误差）来丰富回归结构[30],[31],[32]。这些信号通常通过滤波回归器和时间区间积分关系构造，以增强收敛性能。动态回归器扩展与混合则采用不同策略，通过动态操作（包括滤波或延迟）重构原始回归模型，并通过适当混合生成独立标量回归，从而增加参数估计的灵活性[33],[34],[35]。尽管机制不同，这些方法存在共同局限性：激励要求仍隐式施加于受控对象，因为学习仍依赖受控对象生成的轨迹来充分激励相关状态-输入子空间。

为解决该问题，本文提出了一种用于无模型最优跟踪控制的新型阴影轨迹激励机制，从结构层面放宽了对受控对象施加的激励要求。核心思想是将学习中充分但非必要激励要求部分从受控对象转移到一类辅助照明系统（ILSs）中。每个ILS与受控对象共享相同的输入结构，同时具有自由设计状态动态，从而生成与相关探索方向一致的持续丰富的辅助轨迹。通过将这些辅助轨迹与从受控对象采集的有限数据结合，构造一组阴影轨迹作为后续IRL迭代的有效数据源。

本文的主要贡献总结如下。首先，我们研究了无限时域平均代价形式下的OTCP。该形式避免了人为折扣因子和状态空间增广，产生适合数据驱动分析的问题结构。在该形式下，最优反馈增益（FBG）和最优前馈增益（FFG）分别由代数Riccati方程和Sylvester方程刻画。其次，我们开发了一种基于阴影轨迹激励机制的无模型IRL算法来求解这两个增益。设计了两种不同的ILS分别为最优FBG学习和FFG计算提供补充激励。研究表明，受控对象仅在预学习阶段参与，该阶段对获取初始稳定化控制器是必需的。提供了严格的收敛分析以确立所提学习框架的理论可靠性。

本文其余部分安排如下。第2节建立连续时间线性系统的OTCP并分析最优性必要条件。第3节提出利用实时数据求解OTCP的无模型方法。第4节提供数值仿真研究以展示方法的有效性。最后，第5节总结全文。

用表示开左半复平面，用表示正整数集，用和分别表示维度兼容的全零向量和全一向量。给定矩阵，令表示矩阵谱；令为将的列堆叠为向量的向量化算子；令为的半向量化算子，使得；给定和，；给定、、和，记为Kronecker积，并定义算子、、和。

片段2 平均代价下的LQTP表述

考虑如下连续时间线性系统：
其中为系统状态，初始状态为，为控制输入，为系统输出。、、为未知常数矩阵。

参考轨迹由以下线性自治微分方程生成：
其中，且。常数矩阵和同样未知。

本文的目标是驱动系统（1）跟踪参考轨迹，同时平衡可容忍稳态误差与输入。

片段3 阴影轨迹激励的无模型IRL

本节提出一种无模型方法来顺序计算最优FBG和FFG。主要目标是生成足够具有信息量的数据以确保参数收敛并减少探索努力，从而提高学习过程效率。

片段4 仿真设置

本节通过数值算例展示所提算法的有效性。测试平台为两质量-弹簧系统[20]，状态向量为，输出为，系统矩阵为
且初始状态为。

生成两条参考轨迹，由相同参考动态但不同输出矩阵产生。具体而言，参考系统描述为：
对应的参考输出分别记为和。性能指标（3）中的加权矩阵为。

结论
本文提出了一种学习连续时间线性系统近似最优跟踪器的无模型框架，其中系统动态完全未知。该方法在平均代价形式下开发，通过引入照明系统和阴影轨迹激励机制的概念来放宽激励要求。照明系统设计用于生成持续激励轨迹，阴影轨迹则由这些轨迹与受控对象数据的结合诱导生成。

CRediT作者贡献声明
Jiayu Chen：撰写——审阅与编辑，撰写——原稿，验证，方法学，形式化分析，概念化。
Zhenhui Xu：撰写——审阅与编辑，撰写——原稿，验证，方法学，调查研究，形式化分析，概念化。
Ruiquan Chen：撰写——审阅与编辑，验证。
Xinghu Wang：撰写——审阅与编辑，方法学，形式化分析，概念化。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

Jiayu Chen于2014年和2019年分别在中国科学技术大学获得控制理论与控制工程专业的学士和博士学位。目前就职于东京科学大学系统与控制工程系。其研究兴趣包括大规模分布式系统、网络化控制、基于学习的控制，以及最优控制理论及其在交通运输系统中的应用。

Jiayu Chen | Zhenhui Xu | Ruiquan Chen | Xinghu Wang