基于迁移学习的离散时间非线性系统安全Q学习——考虑非对称状态约束

《Neural Networks》：Transfer Learning-Based Safe Q-Learning for Discrete-Time Nonlinear Systems with Asymmetric State Constraints

　　

•提出的TL-SQL算法融合了一种基于复活变换的迁移学习策略，以同时增强安全性和最优性。与传统状态变换方法相比，TL-SQL缓解了约束边界附近过于激进的控制输入。与基于CBF（控制障碍函数）的方法相比，TL-SQL不修改效用函数，有助于避免由复杂CBF设计引起的计算负担和收敛困难。

•通过利用迁移学习，所提出的方法将策略训练与约束处理解耦。与现有将策略优化与特定约束配置紧密耦合的方法不同，TL-SQL使得在无约束源系统中训练的一个策略可以安全地部署到具有不同状态约束的目标系统中，避免了约束在不同任务或时间间变化时的重新训练。

•本文首次将复活变换引入离散时间（DT）系统。严格推导了复活变换的DT形式，并正式证明了其充分性和必要性。此外，证明了迁移后的策略能保证在受约束目标系统中同时实现稳定性和安全性，为安全策略迁移提供了理论基础。

引言

近年来，强化学习（RL）作为一种灵活的学习和决策范式，已被广泛应用于多个领域。在控制领域，RL作为解决复杂和模型不确定系统最优控制问题的一种有前景的方法，也引起了越来越多的关注。作为连接强化学习和控制理论的代表性框架，自适应动态规划（ADP）提供了一种系统地逼近Hamilton-Jacobi-Bellman（HJB）方程解的方法，而该方程是推导最优控制策略的基础。

作为ADP的一个重要分支，Q学习已引起越来越多的理论关注，并已被应用于各种实际场景，如污水处理、电力系统调节和机器人操作。然而，尽管在策略优化方面取得了成功，早期关于Q学习的研究主要是针对无约束环境开发的，并没有固有的考虑安全关键需求。因此，需要在ADP框架内引入额外的安全机制来处理非对称状态约束。在实际应用中，状态约束无处不在且通常是非对称的，违反约束可能导致严重的性能下降甚至灾难性故障。因此，确保学习策略的安全性已成为基于ADP的控制中紧迫且基本的问题。

随着安全性成为控制器设计中的关键问题，越来越多的研究致力于在ADP框架内处理状态约束。在Marvi和Kiumarsi的工作中，将控制障碍函数（CBF）纳入原始二次效用函数中以强制执行安全性，其中适当设计的CBF在约束边界附近施加无限惩罚，从而确保所生成的控制策略使系统状态保持在安全区域内。显然，CBF的设计在该方法中起着至关重要的作用。随着CBF研究的深入，其处理状态约束的能力已从对称形式发展到更一般的非对称形式。然而，这种增强的灵活性是以增加CBF复杂度为代价的。由于CBF直接改变了效用函数的结构，过于复杂的设计可能会严重阻碍值函数逼近，并可能导致算法无法收敛。在Wabersich等人的工作中，通过基于系统动力学和约束设计投影算子，将策略投影引入ADP框架，将策略投影到安全集以满足状态约束。然而，这种方法在策略迭代过程中引入了投影算子，影响了策略迭代更新的方向。在Jacobson和Lele的工作中，状态变换作为一种处理约束的策略被提出，通过可微变换函数将原始状态空间映射到预定义的安全区域，此后已被广泛应用于安全控制。尽管在ADP领域被广泛采用，但该方法可能导致学习到的控制策略与期望的最优策略之间产生显著偏差，特别是在约束边界附近映射状态趋近于无穷大时，效用函数急剧增加，迫使控制器采用过于激进的策略，严重损害系统的原始最优性。这一问题已被指出，并通过修改效用函数结构进一步处理。然而，此类修改不可避免地增加了效用函数的复杂度，使得准确逼近迭代值函数更加困难。此外，上述方法的一个共同局限性是策略训练与约束处理紧密耦合，因为它们需要在策略训练前指定状态约束。这种约束特定训练范式显著限制了这些方法在安全边界可能跨任务或随时间变化的场景中的灵活性。

迁移学习通过利用从相关源领域先前学习的策略并将其迁移到目标任务，来解决在目标域中学习中的困难或高成本。在安全强化学习的背景下，这一范式提供了一种有前景的方式，通过允许在无约束源系统中训练最优策略，然后通过适当的变换机制安全地迁移到受约束环境中，从而实现策略学习与约束适应的解耦。由于这种能力，迁移学习在控制领域引起了越来越多的关注，并日益整合到基于RL的控制框架中。在相关工作中，迁移学习被用来使跟随者智能体从训练有素的先驱者中学习，从而缓解了多智能体控制中常见的耗时训练和收敛性差的问题。在另一项工作中，针对连续时间系统，设计了一种基于软演员-评论家算法和控制Lyapunov函数的控制器，并通过复活变换进行迁移学习以确保训练过程中的安全性。由于其无需改变动力学即可在受约束和无约束系统之间进行映射的能力，复活变换被认为是控制中实现迁移学习的一种有前景的工具。现有研究提供了复活变换的基本思想，但主要关注连续时间系统。因此，相应的DT公式仍需建立。然而，据作者所知，控制理论中关于迁移学习的理论研究仍处于早期阶段，大多数研究集中在不能直接扩展到DT系统的连续时间系统上。DT系统的复活变换开发及其在ADP框架中的集成以实现安全策略迁移仍然是一个开放且 largely unexplored 的话题。

基于这一差距，本文针对具有非对称状态约束的DT非线性系统开发了一种基于迁移学习的安全Q学习（TL-SQL）框架。TL-SQL不是直接将约束处理嵌入策略优化过程，而是首先在无约束源系统中学习最优策略，然后通过复活变换将其部署到受约束的目标系统中。因此，核心任务是建立与基于ADP的Q学习兼容的DT复活变换，并分析迁移策略的安全性和稳定性。本文的主要贡献总结如下：

1. 提出的TL-SQL算法融合了基于复活变换的迁移学习策略，以同时增强安全性和最优性。与传统状态变换方法相比，TL-SQL缓解了约束边界附近过于激进的控制输入。与基于CBF的方法相比，TL-SQL不修改效用函数，有助于避免由复杂CBF设计引起的计算负担和收敛困难。

2. 通过利用迁移学习，所提出的方法将策略训练与约束处理解耦。与现有将策略优化与特定约束配置紧密耦合的方法不同，TL-SQL使得在无约束源系统中训练的一个策略可以安全地部署到具有不同状态约束的目标系统中，避免了约束在不同任务或时间间变化时的重新训练。

3. 本文首次将复活变换引入DT系统。严格推导了复活变换的DT形式，并正式证明了其充分性和必要性。此外，证明了迁移后的策略能保证在受约束目标系统中同时实现稳定性和安全性，为安全策略迁移提供了理论基础。

本文其余部分组织如下。第2节呈现问题公式化；第3节开发TL-SQL算法并演示其稳定性和收敛性；第4节介绍TL-SQL的神经网络实现；第5节给出两个仿真示例以验证TL-SQL的有效性；第6节得出结论。

符号说明：工作区域符号化为Ω，?^n表示n维欧几里得空间，⊙表示Hadamard积。

问题公式化

本文探讨一个输入仿射非线性DT系统如下：
x_{k+1} = F(x_k, u_k) = f(x_k) + g(x_k)u_k

其中k∈?是时间索引，x_k∈Ω_x??^n是系统状态向量，u_k∈Ω_u??^m是系统控制输入向量，F(·):?^n×?^m??^n是未知系统函数，f(·):?^n??^n和g(·):?^n??^n×m分别是系统的漂移动力学和输入动力学。

假设1：系统(1)在Ω_u上可控。F(·)在Ω_x上Lipschitz连续且F(0,0)=0是系统的唯一平衡点。

Bellman最优性和Q函数预备知识

根据Bellman最优性方程，在有限时间视野下考虑离散时间最优控制问题，最优值函数满足递归关系。

基于迁移学习的安全Q学习

基于状态安全要求和Q学习框架，提出了一种基于迁移学习的Q学习算法，以为非线性DT系统提供近似最优控制策略。

TL-SQL的神经网络实现

在本节中，采用三个神经网络使用函数逼近方法分别逼近源系统(10)、Q函数Q^{i}(ζ_k, v^{i-1}_k)和控制策略v^i(ζ_k)。图2、图3和算法1分别展示了所提出TL-SQL算法的框架和伪代码。

示例1

考虑Zhao等人提出的一个三维非线性仿射系统，修改如下：
[x^{[1]}_{k+1}; x^{[2]}_{k+1}; x^{[3]}_{k+1}] = [0.9x^{[1]}_k + 0.1x^{[3]}_k sin(x^{[2]}_k); 0.05x^{[1]}_k + 0.9x^{[2]}_k - 0.1x^{[1]}_k x^{[3]}_k; 0.05x^{[1]}_k x^{[2]}_k + 0.9x^{[3]}_k] + [0.05, 0.1x^{[2]}_k, 0.2x^{[3]}_k; 0, 0.1, 0; 0, 0, 0.3x^{[1]}_k - 0.1][u^{[1]}_k; u^{[2]}_k; u^{[3]}_k]

设置状态约束为x^{[2]}_k∈(-0.7, 0.65)。设Q和R为单位矩阵。MNN、CNN和ANN的架构分别为6-16-3、6-8-1和3-8-3。所有三个NN的学习率均为0.002，迭代...

结论

本文针对具有非对称状态约束的DT非线性系统开发了一种新颖的基于迁移学习的安全Q学习（TL-SQL）算法。首次建立了复活变换的DT公式，为ADP框架内的安全策略迁移奠定了理论基础。利用该公式，TL-SQL使得在无约束系统中训练的控制策略可以安全地迁移到受约束系统中。与传统状态变换方法相比，TL-SQL...

CRediT作者贡献声明

焦源陈：撰写初稿，可视化，方法论，概念化。

朱明雷：项目管理，调查，资金获取。

宋世杰：验证，项目管理，资金获取。

赵雨洋：形式分析，数据整理。

宫大为：论文写作—审阅与编辑、指导、方法论、概念构思。利益冲突声明：作者声明以下可能存在潜在利益冲突的经济利益/人际关系：朱明磊报告称获得了国家自然科学基金的经费支持。朱明磊报告称获得了中央高校基本科研业务费经费支持。宋世杰报告称获得了中央高校基本科研业务费经费支持。朱明磊报告称获得了……致谢：本文受国家自然科学基金（项目编号：62303095）、国家自然科学基金联合基金项目（项目编号：U2568231）、中央高校基本科研业务费（项目编号：2682025CX080、2682025XJ007）以及四川省自然科学基金（项目编号：2026YFHZ0235、2026YFHZ0221）的资助。焦远晨|朱明磊|宋世杰|赵雨阳|宫大为