具有分段齐次转移概率的未知跳变系统的基于强化学习的控制

《Communications in Nonlinear Science and Numerical Simulation》：Reinforcement Learning-Based Control for Unknown Jumping Systems with Piecewise Homogeneous Transition Probabilities

　　

## 摘要

本文探讨了具有分段齐次转移概率的一类离散时间马尔可夫跳跃系统的最优控制问题。利用强化学习技术，提出了一种创新的自适应最优控制策略。首先，定义了性能指标函数。随后，利用哈密顿-贝尔曼方法推导了计算最优控制器增益和耦合代数Riccati方程的公式。此外，针对不同的场景提出了多种强化学习算法。最后，证明了闭环系统的均方稳定性。此外，通过采用PWM驱动的DC-DC升压变换器系统模型验证了所提方法的有效性。

## 引言

随着现代科学技术的发展，对复杂实际场景的有效建模在电力电子、航空航天和网络控制系统等工程应用中变得越来越关键。马尔可夫跳跃系统（MJSs）作为一种强大的框架，能够表示具有随机结构变化的系统，既具有建模灵活性，又能捕获多种动态模式。然而，现有的研究主要集中在通过求解线性矩阵不等式来实现系统控制，如正跳跃系统、模糊MJSs和马尔可夫奇异摄动系统。尽管强化学习（RL）最近被引入跳跃系统控制，但现有结果仍然相当有限。大多数现有研究关注具有固定转移概率的连续时间设置，而只有少数最近的工作开始解决在更一般的不确定性结构下的基于学习的最优调节或控制。例如，Li等人研究了具有未知传感器噪声协方差的线性二次调节的最优传感器选择，Shi等人开发了具有完全未知动态的马尔可夫跳跃系统的基于RL的最优控制框架。更重要的是，实际系统——如在变化的环境条件或多个操作模式下运行的系统——通常表现出由多个概率矩阵而不是单一静态概率矩阵控制的转移行为。有效地协调这些矩阵之间的切换需要由逗留概率引导的切换机制。从跳跃参数建模的角度来看，这样的转移结构与分段齐次跳跃过程密切相关。Men和Sun研究了分段齐次半马尔可夫跳跃系统的输出反馈控制，表明分段齐次转移规律在转移机制跨运行阶段变化时自然产生。然而，现有的基于RL的方法仍然主要依赖于固定转移概率的假设，而分段齐次跳跃系统的RL结果，尤其是在离散时间情况下，仍然在很大程度上未被探索。这一关键局限性促使我们开展这项工作，开发一个更具灵活性和现实性的RL框架，能够处理离散时间MJSs（DTMJSs）中的分段齐次转移动力学。

强化学习已成为一种在不确定条件下解决序列决策问题的强大机器学习范式。这种自适应最优控制方法在控制领域引起了显著关注，并已应用于多种实际场景，包括多智能体系统、机器人和交通信号控制。与传统基于模型的控制方法不同，后者通常在系统知识不完整或未建模动态的场景中遇到困难，RL通过持续与环境交互从数据中学习最优控制策略。通过利用历史和实时状态及输入信息，RL通过策略迭代等方法迭代改进控制策略，最终在不需要的情况下最小化预定义的性能指标。这种无模型能力在实际工程中尤为宝贵，因为准确的系统识别通常困难或昂贵。正是这一优势使RL对于具有分段齐次转移概率的DTMJSs具有吸引力，其中转移机制可能在不同时间区间内变化，且准确的大概率建模难以维持。这种实用性本身就促使我们通过强化学习来解决具有分段齐次转移概率的DTMJSs的最优控制问题。

基于这些观察，本研究旨在为考虑分段齐次转移概率的DTMJSs设计一种RL控制器。本研究的主要贡献概述如下：1）本研究引入了一种基于零和博弈的RL控制方法，利用了DTMJSs的分段齐次转移概率，有效解决了参数跳跃带来的挑战。2）对于具有分段齐次转移概率的DTMJSs的最优控制问题，开发了一种新颖的无模型离线策略RL算法，提供了不需要显式系统动态的数据驱动解决方案。3）与现有的切换方案不同，本研究引入了受逗留概率影响的切换信号，有效地调节转移概率的变化模式。

**符号说明**：本文使用的符号与文献[14]一致。

## 问题描述

考虑一类如下的DTMJSs：

x_{k+1} = A_{r_k} x_k + B_{r_k} u_k

其中 x_k ∈ R^{n_x} 和 u_k ∈ R^{n_u} 分别表示状态向量和控制输入，A_{r_k} 和 B_{r_k} 是具有适当维度的常数矩阵。r_k 是一个取值在有限集 Q = {1, 2, …, n} 中的马尔可夫链，其转移概率为：

P{r_{k+1} = q | r_k = p} = v_{θ_k}^{pq}

其中 v_{θ_k}^{pq} ∈ [0, 1]，∑_{q=1}^n v_{θ_k}^{pq} = 1。切换信号 θ_k ∈ M = {1, 2, …, m} 服从逗留概率：

P{θ_k = s} = τ_s

为便于计算，我们简化符号...

## 主要结果

如技术路线图（图1）所述，本节将呈现闭环系统的稳定性定理以及控制算法1和算法2的收敛定理。

## 数值算例

本节考虑一个PWM驱动的DC-DC升压变换器系统模型和RLC电路来证明所提供的算法2的有效性。

## 结论

本研究引入了一种离线策略强化学习算法来解决具有未知动态和分段齐次转移概率的离散时间马尔可夫跳跃系统的最优控制问题。该算法通过求解贝尔曼方程来解决耦合代数Riccati方程，即使不需要系统矩阵、转移概率和逗留概率的先验知识，也能得到解和控制器增益。所得闭环系统的均方稳定性...

## CRediT作者贡献声明

Shen Changchun：撰写 – 原始草稿。Yuan Shoucheng：撰写 – 原始草稿。Pang Hongjie：撰写 – 原始草稿。Cheng Jun：撰写 – 审查与编辑。Cao Jinde：监督。

## 利益冲突声明

作者声明不存在可能影响本文所报告工作的已知竞争性财务利益或个人关系。

Shen Changchun | Yuan Shoucheng | Pang Hongjie | Cheng Jun | Cao Jinde

贵州民族大学，贵州550025，中国