基于值迭代的离散时间近似Q学习最优控制方法：收敛性与稳定性分析

《Journal of the Franklin Institute》：Discrete-time Approximate Q-learning Optimal Control Method Based on Value Iteration: Convergence and Stability Analysis

　　

摘要

本研究提出了一种基于价值迭代（VI）的近似Q学习算法，旨在解决具有未知动力学和函数逼近误差的离散时间（DT）非线性系统的无穷时域最优控制问题。在非精确迭代控制律和性能指标函数不可用的条件下，为迭代Q函数提供了基于Lyapunov的收敛性证明。对提出的近似Q学习算法的稳定性特性进行了考察，并开发了一种选择折扣因子的方法以维持策略的可行性。最后，通过两个仿真案例验证了所提方法的有效性。

引言

非线性动力系统的控制数十年来一直是控制工程领域的一项基本挑战。动态规划（DP）为非线性最优控制提供了一条原则性的途径，然而其计算负担随状态-动作维度增长而急剧攀升，即所谓的"维度灾难"现象。因此，研究人员致力于最优控制的近似形式。其中，源自Werbos [1] 的自适应动态规划（ADP）已成为构建DP近似解并缓解前向时间计算困难的重要框架 [2], [3], [4], [5]。

对于逐步推进的ADP方法而言，理解收敛行为对算法设计至关重要。现有的大多数理论假定每次迭代都能精确计算性能指标函数和控制策略。在这些假设下，一系列"精确"迭代ADP方案已得以建立 [6], [7]。例如，对于DT仿射非线性系统，从零初始化的价值函数已被证明可以单调收敛至最优性能度量 [8]。后续工作放宽了初始化约束，证明了从任意半正定初始函数出发的收敛性 [9]。

前述发展通常预设对系统模型的完全了解，因此被归类为基于模型的ADP。与此同时，无模型方法也得到了推进，其中Q学习是最具代表性的例子 [10], [11], [12]。继Watkins的开创性贡献 [13], [14] 之后，Q学习被扩展至连续空间，并涌现出各种结构——如ADHDP架构 [15]、针对未知线性系统的H∞导向设计 [16]、以及面向非线性系统的加速方案 [17] 等。Wang等人 [18] 将内模原理与ADP框架相结合，研究了无模型自适应最优输出反馈控制问题。Dong等 [19] 开发了一种利用Koopman算子的新型数据驱动强化学习框架。Wei等 [20] 放宽了传统Q学习的学习率条件，发展了一种确定性Q学习算法，并给出了迭代Q函数的收敛准则。为进一步增强学习效率和跟踪性能，迭代确定性Q学习算法已被用于非线性输入仿射系统的无模型最优跟踪 [21]。

在实际应用中，精确评估迭代性能指标和相应控制律往往不可行。因此连续域依赖于函数逼近器——如神经网络、多项式或模糊系统——来表示迭代价值函数和策略。逼近不可避免地会引入误差，而这些误差反过来会影响收敛性保证。当无法获得精确的迭代价值函数和控制时，精确ADP算法的收敛性声明可能不再成立。这促使人们重点关注逼近误差如何影响ADP收敛 [22], [23], [24]。

近期的研究已量化了此类影响。一般而言，策略迭代（PI）和价值迭代（VI）是求解Bellman方程的标准方法，但它们采用不同的机制：PI在精确评估和贪婪改进之间交替，需要一个初始可行策略来确保稳定性；而VI通过直接递推更新价值函数，避免了完整策略评估，仅要求半正定初始值。对于基于PI的近似Q学习，已推导出Q函数逼近的误差界，使其收敛至最优Q函数的邻域 [25]。对于带有逼近的无穷时域ADP，在温和假设下已建立了价值函数趋近于最佳可达下界有限邻域的条件 [26]。带有有界逼近误差的VI方案的收敛性和稳定性也已被分析 [27]，以及未折扣问题的近似VI/PI算法的误差界及其收敛特性 [28] 也已被报道。

近期的研究还探索了复杂的ADP架构，如不确定线性系统的自适应有限时间滑模最优跟踪控制 [29] 以及具有预定性能的连续时间非线性系统事件触发最优控制 [30]。然而，这些工作中的大多数假设理想的函数逼近，或者预设每次迭代的逼近误差的显式上界。在实践中，确定可靠的误差上界具有挑战性，而不依赖于这种预设上界的严格收敛性证明仍然稀缺。这些空白构成了本研究的动机。

与现有的迭代ADP和Q学习结果相比，所提方法的主要贡献如下：

• 建立了一种无需预指定逼近误差上界的新收敛性分析框架。与大多数严重依赖每次迭代显式误差上界的现有结果不同，我们为迭代近似Q函数提供了一种新颖的基于Lyapunov的收敛性证明。该方法在精确的迭代控制律和性能指标函数不可用的条件下同样有效。

• 严格考察了近似Q学习算法的稳定性特性和策略可行性。我们阐明了折扣因子如何影响闭环稳定性，并提供了一种选择折扣因子以维持策略可行性的显式方法，为未知离散时间非线性系统中可行策略的设计提供了实用准则。

为实施该方法，我们为迭代Q函数和控制策略均采用通用函数逼近器——包括多项式基和神经网络。两个数值研究，涉及RLC电路和倒立摆，展示了所提基于VI的近似Q学习方法的有效性和优势。

论文组织结构：第二节回顾预备知识。第三节给出迭代近似Q函数的收敛性分析。第四节建立最优策略的可行性条件。第五节报告仿真结果。第六节给出结论与评述。

预备知识

考虑如下DT系统：
s_{t+1} = F(s_t, a_t), t = 0, 1, 2, ?

其中 s_t ∈ R^n 表示状态向量，a_t ∈ R^m 表示控制输入，F(s_t, a_t) ∈ R^n 表示系统函数。

假设1：设 Ω_s ? R^n 为包含原点的紧致局部状态域，Ω_a ? R^m 为紧致动作约束集。定义局部状态-动作域为 Ω_x = Ω_s × Ω_a。系统动力学 F(s_t, a_t) 在 Ω_x 上局部Lipschitz连续，并满足 F(0,0) = 0。

设 a_t = [a_t, a_{t+1}, a_{t+2}, ?] 表示从 t 到 ∞ 的动作序列。

基于价值迭代的近似Q学习算法的收敛性

本节介绍基于VI的近似Q学习算法，并为近似迭代Q函数提供严格的收敛性证明。

最优策略的可行性

本节将讨论由本算法获得的最优策略的有效性，并给出确保最优策略使系统渐近稳定的充分条件。

定理2：假设最优近似Q函数与真实最优Q函数之间不存在建模误差，即对于所有 X_t ∈ Ω_x，有 Q?(X_t, ρ*) = Q*(X_t)。存在常数 0 < β_s < 1，当 β_s < β < 1 时，最优策略 π*(s_t) = argmin_a Q?(X_t, ρ*) 是可行的。

仿真示例

离散时间基于价值迭代的近似Q学习的可执行算法展示于算法1中。

为全面评估本方法的有效性，我们在线性系统和非线性系统上进行了数值研究。

示例1：为展示我们的算法在未知线性系统中设计可行最优控制器的能力，我们考虑了一个离散化的RLC电路模型。系统动力学描述为：

[s1_{t+1}; s2_{t+1}] = [1-Δt/C, Δt/L; -R·Δt/L, 1] [s1_t; s2_t] + [Δt/C; 0] a_t

其中 s1 为电容电压……

结论与未来研究

本研究提出了一种基于价值迭代的近似Q学习算法，旨在解决具有函数逼近误差的未知离散时间非线性系统的无穷时域最优控制问题。为迭代Q函数提供了一种新的收敛性证明，该证明直接讨论近似函数而非分析逼近误差上界。讨论了折扣因子与所提算法稳定性的关系，并给出了可行性准则……

CRediT作者贡献声明

Wen Boyu：撰写初稿，方法论，调查研究。Liu Tianhe：撰写初稿，软件，数据管理。Chen Xin：监督指导，项目管理，资金获取。Wojciech Paszke：审阅与编辑，监督指导。Yang Zhou：审阅与编辑，验证。

利益冲突声明

作者声明没有已知的可能影响本文所报告工作的竞争性财务利益或个人关系。

Wen Boyu | Liu Tianhe | Chen Xin | Wojciech Paszke | Zhou Yang