一类具有状态依赖维纳过程的线性时不变（LTI）系统的随机最优控制：代数方法

《IEEE/CAA Journal of Automatica Sinica》：A Stochastic Optimal Control for a Class of LTI Systems with a State-Dependent Wiener Process: An Algebraic Approach

　　摘要：尊敬的编辑，在这封信中，我们关注随机代数Riccati方程的系数矩阵与其解之间的代数关系。研究发现，如果系数矩阵属于某个代数，那么其解（在许多情况下也包括控制增益）也属于同一个代数。主要结果通过数值模拟得到了验证。

引言：在多智能体系统的控制器合成中，控制增益有时会受到结构上的限制。例如，控制增益的结构是根据信息交换的角度来指定的；这是因为增益结构表达了系统之间的图结构和智能体之间的交换信息。因此，控制增益可能需要是稀疏的、低秩的等，以减少通信点并压缩交换的信息。自然地，在这些情况下解决带有结构约束的优化问题是合理的。然而，使用这种方法，除非实际合成控制器，否则不清楚这些约束在多大程度上会降低全局（无约束）解的质量。换句话说，这种方法没有考虑成本函数（或性能输出）的哪种结构适合该系统。因此，一些研究探讨了优化问题的解自然获得指定结构的情况，而不是在结构约束下解决优化问题。特别是，与线性系统的最优控制问题相关的（确定性）代数Riccati方程（ARE）的解的结构已经被广泛研究（如Toeplitz结构[1]、稀疏结构[2]、流体的边界结构[3]和层次结构[4]）。由于ARE与无约束的线性系统的最优控制问题密切相关，这些研究的结果告诉我们，在哪些情况下（系统矩阵值），所需的结构约束不会（或较少）降低控制性能。然而，与ARE相比，关于随机代数Riccati方程（SARE）的解的结构的研究较少，而SARE是随机线性二次最优控制问题中出现的一个重要方程。

在这封信中，我们提出了一个研究SARE结构的新框架。我们关注的是具有状态依赖和非状态依赖项作为扰动的Wiener过程的线性时不变（LTI）系统。我们关注系数矩阵与SARE解之间的代数关系。据作者所知，这是首次从代数角度对随机代数Riccati方程的解的结构进行表征的尝试。主要结果是定理1，它给出了随机代数Riccati方程的系数满足解具有所需结构的充分条件。该定理的正确性不仅通过理论证明得到了验证，还通过数值模拟得到了验证。

问题设定：在这封信中，我们考虑由以下线性随机微分方程表示的系统：
$$
dx(t) = (Ax(t) + Bu(t))dt + (Cx(t) + D)dw(t), \quad x(0) = x_0
$$
其中 $x \in \mathbb{R}^n$ 是状态，$u \in \mathbb{R}^m$ 是控制输入，$w \in \mathbb{R}$ 是标准Wiener过程（也称为布朗运动）。常数系数满足 $A \in \mathbb{R}^n \times n$，$B \in \mathbb{R}^n \times m$，$C \in \mathbb{R}^n \times n$，$D \in \mathbb{R}^n$。作为设计控制律的性能指标，我们采用了一个二次成本函数 $J$，它与[5]中的定义相同，也等同于[6]中的定义：
$$
J = \lim_{T \rightarrow \infty} \frac{1}{T} \mathbb{E} \left[\int_{0}^{T}(x(t)^T Q x(t) + u(t)^T R u(t)) dt
$$
其中 $Q = QT \in \mathbb{R}^n \times n$ 是一个半正定矩阵，$R = RT \in \mathbb{R}^m \times m$ 是一个正定矩阵。注意 $w$ 被假设为标量值。如果（1）是一个由多个单积分器智能体组成的多智能体系统，那么这种设置对应于智能体受到同一来源产生的扰动的情况。本文提出的方法可以直接扩展到 $w$ 是 $R^r$-值的情况，其中 $r \in \mathbb{Z}$。

在设计最小化成本函数（2）的最优控制律时，随机代数Riccati方程的半正定解起着重要作用。我们介绍了一些确保此类解存在性和唯一性的必要概念。考虑以下辅助的矩阵值系统：
$$
X^\dot{(t) = AX(t) + X(t)A^T + CX(t)C^T}, \quad X(0) = X_0
$$

定义1（均方稳定性[7]）：对于某些给定的 $A, C \in \mathbb{R}^n \times n$，如果对（3）的解 $X(t) \in \mathbb{R}^n \times n$ 满足 $\|X(t)\| \rightarrow 0$ 当 $t \rightarrow \infty$ 对于任何 $X_0 = XT_0 \geq 0$，则称对（A, C）是均方稳定的（简称MS-稳定的）。当 $D = 0$ 在（1）中时，$X = E[xx^T]$ 满足（3）[8]。因此，（A, C）的MS-稳定性与系统（1）在 $D = 0$ 时的传统均方渐近稳定性是一致的。然而，如果 $D \neq 0$，则应独立于系统（1）的稳定性来考虑（A, C）的MS-稳定性。

定义2（均方稳定性和均方可检测性[7]）：对于某些给定的 $A, C \in \mathbb{R}^n \times n$ 和 $B \in \mathbb{R}^n \times m$，如果存在 $K \in \mathbb{R}^m \times n$ 使得对（A-BK, C）是MS-稳定的，则称三元组（A, C, B）是均方可稳定的（简称MS-可稳定的）。类似地，对于某些给定的 $A, C \in \mathbb{R}^n \times n$ 和 $H \in \mathbb{R}^p \times n$，如果存在 $L \in \mathbb{R}^n \times p$ 使得对（A-LH, C）是MS-稳定的，则称三元组（H, A, C）是均方可检测的（简称MS-可检测的）。

注1：（A, C, B）的MS-稳定性比（A, B）的传统稳定性更强。据作者所知，尚未基于矩阵的秩来推导出MS-稳定性或MS-可检测性的任何标准。相反，主要有两种MS-稳定性或MS-可检测性的标准。一种是使用线性矩阵不等式（LMI）[9]的数值方法。某个LMI的存在等价于这些性质。另一种是检查某个矩阵的特征值的代数标准。通过对（3）的两边应用向量化运算符，我们得到以下方程：
$$
\frac{d}{dt} \text{vec}(X(t)) = F(A, C) \text{vec}(X(t)) = (I \otimes A + A \otimes I + C \otimes C)
$$
由于MS-稳定性根据定义等价于 $\text{vec}(X(t)) \rightarrow 0$ 当 $t \rightarrow \infty$，因此对（A, C）是MS-稳定的当且仅当 $F(A, C)$ 的所有特征值都有负实部。因此，对（A, C, B）是MS-可稳定的当且仅当存在一个 $m \times n$ 实矩阵 $K$ 使得 $F(A-BK, C)$ 的所有特征值都有负实部。

接下来，我们介绍针对成本函数（2）的系统（1）的最优控制问题的解。引理1[5]：考虑系统（1）和成本函数（2）。假设随机代数Riccati方程
$$
0 = PA + A^T P - PBR^{-1} B^T P + C^T PC + Q
$$
有唯一的半正定解 $P = P^T \in \mathbb{R}^n \times n$。那么，最小化二次成本函数（2）的控制输入由下式给出：
$$
u = -K^* x, \quad K^* := R^{-1} B^T P
$$
在引理1中，假设了半正定解 $P$ 的唯一存在性，而没有对系统做出其他假设。下面的引理2提供了此类解存在的条件。

引理2[7]，[10]：考虑对于某些给定的矩阵 $A, C, Q \in \mathbb{R}^n \times n$，$B \in \mathbb{R}^n \times m$，以及 $R = QT \geq 0$ 和 $R = RT > 0$ 的Riccati方程（4）。假设三元组（A, C, B）是MS-可稳定的，三元组（Q_1/2, A, C）是MS-可检测的。那么，存在唯一的正定解 $P = P^T \in \mathbb{R}^n \times n$ 满足随机代数Riccati方程（4）。此外，相关的Riccati微分方程
$$
\frac{d}{dt} P^\bar{(t)} = P^\bar{(t)A + A^T P^\bar{(t)} - P^\bar{(t}B^T P^\bar{(t)} + C^T P^\bar{(t}C + Q, \quad P^\bar{(0)} = 0, \quad t \geq 0
$$
的解 $P^\bar{(t}$ 对任何 $t \geq 0$ 是有界的，并且 $P^\bar{(t} \rightarrow P$ 当 $t \rightarrow \infty$[7]。
这个结果最初在[10]中以不同的形式得到。原始形式涉及对 $e(A-BK)^T t C^T e(A-BK)^t$ 在区间 [0, \infty) 上的积分大小的另一个假设。它在[7]中基于MS-稳定性和MS-可检测性进行了简化。

注2：尽管P通常被称为稳定解，但使用P的最优控制输入（5）并不保证系统（1）的MS-稳定性。这种传统术语源于当 $D = 0$ 时MS-稳定性得到保证的事实。

主要问题：由于上述引理，设计随机最优反馈增益 $K^*$ 本身是直接的。然而，设计一个控制系统，使得最优增益 $K^*$ 具有指定的信息交换结构（例如，层次网络结构或环状格结构）并不直接。换句话说，确定状态成本矩阵 $Q$（对应于性能输出）和控制成本矩阵 $R$ 的结构应该如何选择，以便最优反馈增益获得所需的结构，并非易事。为了解决这个问题，我们关注随机代数Riccati方程（4）的解 $P$。变量 $P$ 是通过（5）确定最优反馈增益 $K^*$ 结构的关键因素。此外，在一般的控制器设计场景中，$B$ 通常是预先给定的，而 $R$ 通常被设置为单位矩阵。考虑到这一点，可以说增益 $K^*$ 的结构完全取决于 $P$。因此，我们研究了在什么情况下 $P$ 具有所需的结构。这封信的主要目标是推导出 $P$ 具有所需结构的（充分）条件。

主要结果：我们利用以下引理得到这封信的主要结果。引理3[11]：假设 $S \subset \mathbb{R}^n \times n$ 是一个矩阵代数，并且映射 $F: \mathbb{R}^n \times n \rightarrow \mathbb{R}^n \times n$ 在 $\mathbb{R}$ 上是连续的。假设以下初值问题：
$$
\frac{d}{dt} P(t) = F(t, P(t)), \quad P(0) = P_0
$$
有唯一解。如果 $S$ 是F-不变的，即对于任何 $H \in S$ 和 $t \geq 0$，有 $F(t, H) \in S$，$P_0 \in S$，那么对于所有 $t \geq 0$，$P(t) \in S$，其中 $P(t)$ 是问题（8）的唯一解。上述引理表明，代数 $S$ 是表达解所需结构的一种方式。现在，我们准备展示我们的主要结果。

定理1：考虑系统（1）和成本函数（2）。假设三元组（A, C, B）是MS-可稳定的，三元组（Q_1/2, A, C）是MS-可检测的。如果随机代数Riccati方程（4）的系数矩阵 $A, A^T, C, C^T, B^R^{-1}B^T, Q \in \mathbb{R}^n \times n$ 是矩阵代数 $S \subset \mathbb{R}^n \times n$ 的元素，那么稳定解 $P$ 也属于 $S$。

证明：根据矩阵代数的定义，$S$ 关于矩阵加法和矩阵乘法是封闭的。因此，如果 $X \in S$，那么 $XA + A^T X - XBR^{-1} B^T X + Q + C^T X \in S$。现在，考虑Riccati微分方程（6）且 $P(0) = 0$。由于解的唯一性由假设保证，可以根据引理3得出对于所有 $t \geq 0$，$P(t) \in S$。由（7）给出的（4）的稳定解 $P$ 作为 $P(t) \rightarrow \infty$ 的极限，也满足 $P \in S$。

数值示例：在这部分，我们将通过一个数值示例来验证定理1。考虑由一个领导者和三个追随者组成的多智能体系统的领导者-追随者控制。领导者受到与追随者关系的共同噪声的影响，每个追随者受到其相对于领导者的位置的共同噪声的影响。它们被建模如下：
$$
x^\dot{1} = u_1 + (3x_1 - \sum_{i=2}^4 x_i) w, \quad x^\dot{i} = u_i + (x_i - x_1) w, \quad i \in \{2, 3, 4\}
$$
其中 $x_i$，$u_i$ 和 $w$ 分别是智能体i的位置和控制输入以及共同的标准Wiener过程。作为性能输出，它们将它们的位置和领导者-追随者关系引导到0。因此，系统（1）和成本函数（2）的系数矩阵如下：
A=0^{4 \times 4}, B=I, C=M, R=I
Q=36I+16M=\begin{bmatrix} 84 & -16 & -16 & -16 \\ -16 & 52 & 0 & 0 \\ -16 & 0 & 52 & 0 \\ -16 & 0 & 0 & 52 \end{bmatrix}
其中I是单位矩阵，M是星形图的拉普拉斯矩阵，表示为：
M:=\begin{bmatrix} 3 & -1 & -1 & -1 \\ -1 & 1 & 0 & 0 \\ -1 & 0 & 1 & 0 \\ -1 & 0 & 0 & 1 \end{bmatrix}。

我们的目标是将这些矩阵包含在向量空间span{I,M}中。虽然系统矩阵属于一个“简单”的向量空间（因为生成元的数量是2），但系数矩阵和解P呢？我们将通过定理1来验证这一点。首先，我们需要检查MS稳定性。根据备注1，我们只需要计算以下矩阵的特征值：
F(A?BK,C)=I?(A?BK)+(A?BK)?I+C?C。

现在，设K=k0I^4，其中k0∈R。如果k0>16，则F(A?BK,C)的所有特征值的实部都是负数。这表明存在K使得对(A?BK, C)是MS稳定的。因此，在这种情况下，系统（1）是MS稳定的。类似地，设L=l0Q^{-1/2}，其中l0∈R。如果l0>8/3，则F(A?LQ^{-1/2}, C)的所有特征值的实部都是负数。这表明存在L使得对(A?LQ^{-1/2}, C)是MS稳定的，从而可以得出系统（1）是MS可检测的。因此，定理1中的假设得到满足。

随机代数Riccati方程（4）的系数矩阵A, A^T, C, C^T, B, R^{-1}B^T, Q如下：
A, A^T, C, C^T, Q：省略；
BR^{-1}B^T=I。

因此，以下关系成立：
A, A^T, C, C^T, B R^{-1}B^T, Q∈span{I,M}?S:=span{I,M,N}
其中N是完全图的拉普拉斯矩阵，表示为：
N:=\begin{bmatrix} 3 & -1 & -1 & -1 \\ -1 & 3 & -1 & -1 \\ -1 & -1 & 3 & -1 \\ -1 & -1 & -1 & 3 \end{bmatrix}。

令人惊讶的是，span{I,M,N}不仅是一个向量空间，还是一个代数。实际上，MM=5M?N, NN=4N, MN=NM=4M成立。由于这个向量空间在矩阵乘法下是封闭的，它构成了一个代数。顺便提一下，M和N分别对应于星形图和完全图的拉普拉斯矩阵。作者从之前的结果[4]中已经知道它构成了一个代数，但通常需要验证向量空间是否在矩阵乘法下封闭。如果不是，就需要向基中添加新元素。在这种情况下，可以选择基的乘积作为新的生成元。

根据定理1，随机代数Riccati方程（4）的稳定解P应满足P∈S。仿真结果如下：
P=6I+14.0839M?3.0839N。
这个结果表明P∈S，证明了我们的定理是正确的。在这种情况下，解P的结构很简单。此外，随机最优增益K?的值为K?=R^{-1}B^TP=P。由于P的简单性，可以观察到K?也具有相同的简单结构。

结论与未来工作
我们为受Wiener过程影响的随机LTI系统的结构化最优控制建立了一个代数框架，这些系统的系数包含状态依赖和状态独立项。作为主要结果，我们得到了随机代数Riccati方程的解P具有所需结构的充分条件（即定理1）。这是首次从代数角度描述随机代数Riccati方程解的结构。

这个定理有两个主要优点。首先，无需实际求解Riccati方程就可以知道解的结构。即使在求解Riccati方程困难的情况下（例如在大型系统中），也能揭示出维持控制性能所需的网络结构。其次，可以知道在特定网络结构约束下可以设计什么样的系统矩阵（A, B, C, Q, R矩阵）。通过将网络结构约束表示为P的代数结构S，可以揭示出不太可能降低控制性能的系统矩阵集合。未来，我们将利用本文的主要结果为随机系统建立分层网络最优控制[4]，然后将其应用于无人机编队的分层包含控制[12]。

致谢
本工作得到了JSPS（JP24KJ1254）的资助。