基于极小-极大策略的马尔可夫跳跃线性系统的最优控制：一种简化的值迭代方案

《Journal of the Franklin Institute》：Min-max strategy-based optimal control of Markov jump linear systems: A simplified value iteration scheme

　　摘要

本文研究了在外部干扰作用下马尔可夫跳跃线性系统（MJLSs）的最优控制问题。首先，为了获得具有外部干扰的MJLSs的最优控制策略，提出了一种基于极小-极大策略的价值迭代（VI）方案，该方案在系统动力学完全已知时适用。随后，为了将这种方案扩展到系统动力学未知的情况，基于VI方案提出了一种无模型的简化价值迭代（SVI）方案。与传统无模型VI方案相比，所提出的无模型SVI方案具有更低的计算复杂度，并能够对系统动力学进行部分识别。最后，通过一个数值示例验证了所提方案的有效性。

引言

作为模拟具有随机切换现象系统的有效框架，马尔可夫跳跃线性系统（MJLSs）受到了广泛关注和研究，特别是在网络控制和电力系统等领域[1]、[2]、[3]、[4]。在这些领域中，MJLSs既可以用于模拟外部攻击[5]，也可以用于描述电气组件的变化和切换[6]。应该注意的是，现有的许多关于MJLSs的研究都基于系统动力学已知的假设[7]。然而，在实际应用中，由于外部环境的复杂性，通常需要解决以下问题：1）系统动力学难以获得[8]、[9]、[10]；2）不能忽略外部环境引起的干扰[11]。针对问题1），强化学习（RL）[12]、[13]、[14]、[15]、[16]通过在线数据收集实现了在系统动力学未知时的最优控制，提供了一个潜在的解决方案。在[17]、[18]和[19]、[20]中，作者分别提出了一种基于RL的策略迭代（PI）方案和一种基于RL的价值迭代（VI）方案。在这两种方案中，PI方案收敛更快，但需要一个初始的稳定控制增益；而VI方案可以从任何控制增益开始迭代，但需要更长的迭代时间和更大的计算负担[21]、[22]、[23]。因此，设计一种不需要初始稳定控制增益的同时保持较低计算负担的基于RL的方案成为一个研究热点。在[24]中，作者提出了一种改进的SVI方案以及一个改进的内部模型[25]、[26]，这在一定程度上缓解了SVI方案的大计算负荷和慢迭代速率的缺点。然而，这种方法解决的是线性时不变系统的最优鲁棒输出调节问题，由于MJLSs的随机切换特性，可能无法直接应用到它们身上。

此外，为了解决问题2）中关于外部干扰的问题，采用了极小-极大策略[27]、[28]、[29]、[30]。基于零和游戏理论，该策略将系统的控制策略和外部干扰视为游戏中的两个参与者，旨在找到一个在干扰存在下优化控制策略的纳什均衡解[31]、[32]、[33]、[34]。在[35]中，作者使用极小-极大策略解决了在外部干扰下的最优H∞输出调节问题。在[36]中，将虚假数据注入攻击视为零和游戏中的一个参与者，并通过极小-极大策略获得了一个最优的韧性控制策略。为了进一步将极小-极大策略扩展到MJLSs，作者在[37]中采用了一种子系统转换方法来处理MJLSs的干扰问题。

受上述研究的启发，本文探讨了在外部干扰作用下MJLSs的最优控制问题。本文采用了极小-极大策略和一种新颖的简化价值迭代（SVI）方案。本文的主要贡献可以总结如下：

i) 使用极小-极大策略实现了在干扰存在下的MJLSs的最优控制，优化了系统性能，并提供了一种有效的方法来减轻外部干扰对MJLSs的影响。
ii) 采用基于RL的SVI方案在系统动力学未知的情况下获得最优控制策略。此外，与PI方案[17]、[18]不同，所提出的SVI方案不需要初始稳定增益。
iii) 在现有VI方案[19]、[20]的基础上，所提出的SVI方案能够在不同模式下识别部分系统模型，并基于这些识别的模型实现更低的计算复杂度。

本文的结构如下：第2节对MJLSs进行了基本描述，并提出了要解决的极小-极大问题。第3节提出了两种解决极小-极大问题的方案：基于模型的SVI方案和无模型的SVI方案，以及相应的性能分析和稳定性证明。第4节通过一个数值示例说明了无模型SVI方案的有效性。第5节总结了本文的内容。

符号说明：?表示实数集。???表示n维实数列向量。???×??表示具有n行m列的实数矩阵。?+表示所有正整数的集合。???{·}表示数学期望值，??(·)表示弱无穷小算子。In表示n维单位矩阵。符号?表示克罗内克积。给定矩阵??∈???×??，vec?(??)=[????1,????2,?,??????]??∈???2，其中sn是矩阵S的第n列。vecs?(??)=[??11,???12,?,???13,??22,???23,?,??????1,??,????3]??∈???3/(??+1)/2。vecv?(??)=[??21,??1??2,?,??1????,??22,??2??3,?,?????1????,??2??]??∈???3/(??+1)/2，其中??∈???。

问题表述

考虑以下MJLS：
˙???(??)=???(???(??))????(??)+???(???(??))????(??)+???(???(??))????(??),
其中τ≥0表示时间；???(??)∈???，???(??)∈???，???(??)∈???分别表示系统的状态变量、控制输入和外部干扰，且??,??,??∈?+；???(???(??))∈???×??，???(???(??))∈???×??，???(???(??))∈???×??都是实数矩阵；ρ(τ)是一个从有限集合??={1,…,??}中取值的随机马尔可夫跳跃过程，其中??∈?+。ρ(τ)的转移概率满足Pr?{???(??+Δ??)=??∣???(??)=??}={???????Δ??+???(Δ??)??≠??}。

主要结果

在这部分中，依次提出了一种基于模型的VI方案和无模型的SVI方案。其中，SVI方案通过收集在线数据，能够在系统动力学未知和初始控制增益不稳定的条件下获得最优控制策略。此外，与之前的无模型VI方案相比，该方案能够识别系统模型的部分，并且计算复杂度更低。

仿真示例

在本节中，通过在MATLAB R2021b环境中进行数值示例来验证所提方法的有效性。仿真是在配备有Intel Core i5-12600KF处理器（3.70 GHz）和32 GB RAM（6000 MHz）的计算机上进行的。系统（2）的参数如下：
??1=[10.8?2?2]，??1=[01]，??1=[01]，??2=[12?2?3]，??2=[0.51.5]，??2=[0.51.5]。
性能指标（3）中的权重矩阵Qe和Re，以及干扰衰减水平γ。

结论

本文研究了在外部干扰作用下MJLSs的基于极小-极大策略的最优控制问题。为了获得最优控制策略，依次提出了基于模型的VI方案和无模型的SVI方案。所提出的无模型SVI方案具有不需要初始稳定控制增益和计算复杂度较低的优点。最后，通过一个数值示例展示了无模型SVI的有效性。

CRediT作者贡献声明

田芳：撰写-原始草稿，资金获取。
郑黄：撰写-原始草稿。
吴家成：方法论。
沈浩：撰写-原始草稿，监督，项目管理，研究，资金获取，概念化。

利益冲突声明

作者声明他们没有利益冲突。

田芳 | 郑黄 | 吴家成 | 沈浩