基于数据的连续时间非线性系统预测控制：一种非零和博弈方法

《IEEE/CAA Journal of Automatica Sinica》：Data-Driven Predictive Control for Continuous-Time Nonlinear Systems: A Nonzero-Sum Game Approach

　　摘要：尊敬的编辑，本文提出了一种基于强化学习的预测学习算法，用于处理具有观测损失的无穷连续时间非线性系统。首先，我们构建了一个关于预测控制输入序列的临时非零和博弈，并从其解中导出多个最优的预测控制输入序列。为了获得临时非零和博弈的纳什均衡解，我们通过强化学习的策略迭代来解决问题。然后，我们训练演员神经网络和评论家神经网络，分别使用收集的离线和在线输入-状态数据来估计控制策略和动作价值函数。与传统的预测控制方法相比，所提出的框架不依赖于显式模型，并且能够获得数据驱动的控制器设计。最后，通过一个数值例子验证了所提算法的有效性。

模型预测控制（MPC）建立在未来的预测与过去的观测之间的联系上，这一理论基于Takens定理和20世纪80年代的研究[1]。它已经被广泛应用于工业过程[2]、机器人技术[3]和自动驾驶[4]中。MPC的性能依赖于对系统动态的准确建模，然而传统方法在处理复杂的非线性系统时往往遇到困难，导致控制性能下降[5]。为了解决这些挑战，数据驱动的方法，特别是强化学习，受到了广泛关注[6]。例如，在[7]中提出了一种基于模糊权重的RL框架，用于在预定义的时间内优化跟踪性能，同时减少控制能量和事件触发频率。这些方法在时间序列预测任务中也展示了强大的能力[8]，通常利用大量数据通过神经网络实现动态系统识别和预测[9]。值得注意的是，大多数现有的研究都是将强化学习用于优化而不是预测[10]。从时间角度来看，控制输入序列可以被解释为一个非零和博弈[11]，从而将预测控制重新表述为一个优化问题。然而，现有的研究很少考虑反馈较弱和环境动态变化的场景。受此启发，我们旨在研究具有未知动态和部分可观测性的非线性连续时间系统的预测控制。本文解决了未知连续时间非线性系统的最优问题。首先，我们建立了最优预测控制序列与临时非零和博弈的纳什均衡之间的等价性。其次，与现有的优化方法[8]、[9]相比，我们将滚动时域预测机制集成到强化学习算法中，以实现滚动优化。最后，我们采用基于动作-状态价值函数的分布式演员-中心化评论家架构。

在本文中，R表示实数集，R+表示非负实数集，Z+表示非负整数集。控制输入序列表示为UN(t)={ui(t)}N?1，其中ui(t)是在[t+iΔt, t+(i+1)Δt]区间内的控制输入，i, N∈Z+，t, Δt∈R。集合X和U分别代表状态和控制输入。

问题陈述：考虑以下非线性连续时间系统 x˙(t)=g(x(t),u(t))（1），其中x(t)∈Rn是状态，u(t)∈Rm是控制输入，g(?):Rn×Rm→Rn是一个未知的Lipschitz连续函数。假设1：连续时间非线性系统(1)在紧凑集X∈Rn上是可控的，并且系统的平衡点位于原点，即g(0,0)=0。问题1：在时间t，给定当前状态x(t)和预测范围N，优化问题定义为 J?(x(t))s.t.=minUˉN(t){∫t+NΔttL(xˉ(τ),uˉ(τ))dτ+β(xˉ(t+NΔt))}xˉ˙(t)=g(xˉ(t),uˉ(t))xˉ(t)=x(t)xˉ(t)∈X,uˉ(t)∈U（2a）（2b）（2c）（2d）。

模型预测控制（MPC）建立在未来预测与过去观测之间的联系上，其理论基础是Takens定理和20世纪80年代的研究[1]。它已被广泛应用于工业过程[2]、机器人技术[3]和自动驾驶[4]中。MPC的性能依赖于对系统动态的准确建模，但传统方法在处理复杂的非线性系统时常常遇到困难，导致控制性能下降[5]。为了解决这些挑战，数据驱动的方法，尤其是强化学习，受到了广泛关注[6]。例如，在[7]中提出了一种基于模糊权重的RL框架，用于在预定义的时间内优化跟踪性能，同时减少控制能量和事件触发频率。这些方法在时间序列预测任务中也展示了强大的能力[8]，通常利用大量数据通过神经网络实现动态系统识别和预测[9]。值得注意的是，大多数现有研究都是将强化学习用于优化而不是预测[10]。从时间角度来看，控制输入序列可以被解释为一个非零和博弈[11]，从而将预测控制重新表述为一个优化问题。然而，现有研究很少考虑反馈较弱和环境动态变化的场景。受此启发，我们旨在研究具有未知动态和部分可观测性的非线性连续时间系统的预测控制。本文解决了未知连续时间非线性系统的最优问题。首先，我们建立了最优预测控制序列与临时非零和博弈的纳什均衡之间的等价性。其次，与现有的优化方法[8]、[9]相比，我们将滚动时域预测机制集成到强化学习算法中，以实现滚动优化。最后，我们采用基于动作-状态价值函数的分布式演员-中心化评论家架构。在仿真中，状态在2Δt或3Δt之后被观测到。因此，我们将控制范围设置为Nc=2或Nc=3以匹配每种情况。我们进行了不同Δt值的比较实验，具体为Δt=0.05秒和Δt=0.3秒。图2显示了在不同采样间隔下的闭环状态轨迹。在这两种情况下，系统状态都成功收敛到原点，当Δt=0.05秒时收敛速度更快，这是由于输入状态信息更丰富。图3进一步证实了训练过程的有效性，因为评论家网络和演员网络都展示了稳定的权重收敛。图2. 当Δt=0.05秒和Δt=0.3秒时，所提出框架的闭环状态轨迹。(a)x1；(b)x2。显示全部 结论 本文提出了一种用于未知连续时间非线性系统的预测控制框架。采用了时间零和博弈的公式来应对动态控制过程中的观测丢失问题。基于神经网络的数据驱动算法被开发出来来解决这个博弈并获得最优控制。仿真结果证明了所提出方法的有效性。未来的工作将集中在具有输入约束的优化控制问题上。图3. 在Δt=0.05秒时神经网络训练过程中的权重演变。(a) 评论家；(b) 演员-1；(c) 演员-2；(d) 演员-3。显示全部 致谢 本研究得到了中国国家自然科学基金（62433014, 62373287, 62573324, 62333005, 62273255）的支持，部分得到了同济大学国际研究生交流项目（4360143306）和中央高校基本科研业务费（22120230311）的支持。F. Allg?wer感谢德国研究基金会（DFG）在德国卓越战略（EXC 2075–390740016, 468094890）下的支持。F. Allg?wer还感谢斯图加特模拟科学中心（SimTech）的支持。作者们感谢国际马克斯·普朗克智能系统研究学校（IMPRS-IS）对Y. Xie的支持。