仿射状态反馈策略在高斯分布鲁棒跟踪中的最优性

《Systems & Control Letters》：Optimality of affine state feedback policies in robust tracking of Gaussian distributions

　　摘要
最优分布跟踪问题是一种最优控制问题，旨在在优化特定性能指标的同时，跟踪系统状态概率分布的期望轨迹。我们证明了对于受到确定不确定性影响的离散时间线性时不变（LTI）系统，仿射状态反馈策略在有限时间范围内的鲁棒性。具体来说，我们通过最小化不同时间点上状态分布与期望高斯分布之间的Wasserstein-2距离的平方，来跟踪高斯分布的轨迹，这些不确定性取值于一个紧凑集合中。

引言
最优分布跟踪（ODT）问题关注于在优化给定性能指标的同时，控制系统状态概率分布的轨迹以跟踪期望的轨迹。这类问题出现在群体机器人[1]、脑成像[2]、意见动态[3]、网络动态系统[4]、人群控制[5]、天体动力学[6]等领域。在本文中，我们证明了对于离散时间线性时不变（LTI）系统中的这一问题鲁棒变体的仿射状态反馈策略的最优性，系统具有随机初始状态，并受到来自紧凑集合的确定性干扰。目标是确定一个控制策略，在最坏情况下，最小化状态分布轨迹与期望轨迹之间的偏差（使用Wasserstein-2距离的平方来衡量）。

相关工作：
- 在[7]中研究了连续时间线性系统的有限时间ODT问题，其中在中间时间指定了输出分布。
- 在[8]中通过一种易于处理的重新表述，计算研究了具有确定性干扰的离散时间线性系统的有限时间ODT问题，通过惩罚状态分布轨迹与期望轨迹之间的Wasserstein-2距离的平方来实现鲁棒跟踪。
- 文献中广泛研究了仅在终端时间指定期望分布的最优分布转向（ODS）问题。
- 在[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]中分别研究了具有随机干扰的线性系统的有限时间ODS问题。特别是，在[18]和[19]、[20]中分别研究了惩罚终端分布与期望终端分布之间差异（以Wasserstein-2距离的平方表示）的问题。
- 此外，在[13]、[19]、[21]中研究了受到机会约束的线性系统的ODS问题。
- 在我们的问题背景下，系统受到以对抗性方式取值的确定性干扰的影响；因此，这个问题可以被视为零和动态游戏的一个特定实例。在随机零和线性二次（LQ）动态游戏中，仿射状态反馈策略类包含了最优策略[23, p. 306]。然而，与我们的情况不同，那里考虑的目标是期望的二次成本，并且是由对手玩家最大化的凹函数，没有约束。
- 另一条相关的研究线是分布鲁棒（DR）控制，即在最优控制问题中寻求对随机干扰分布的模糊性的鲁棒性。在[24]、[25]、[26]、[27]中证明了不同变体的分布鲁棒LQ问题中仿射状态反馈策略的最优性。尽管我们从紧凑集合出发的确定性干扰设置可以被视为DR控制的一个特定实例，其中随机干扰遵循狄拉克测度，但DR控制文献中的模糊集合也包括非退化分布，因此提供了更保守的鲁棒最优值。此外，模糊集合不够灵活，无法模拟任意的紧凑集合。此外，与我们的情况不同，那里的目标是期望的二次成本。
- 在我们的工作中，我们假设LTI系统的控制矩阵是非奇异的。对于一维确定性线性系统，这个假设是标准的，在[28]中为具有凸状态和线性控制成本的受限多阶段鲁棒优化问题证明了干扰仿射控制策略的最优性。

贡献：
- 考虑现有文献，我们的贡献如下：
- 对于具有明确定义的二阶矩的任何初始状态，我们描述了一类马尔可夫随机策略的子类，其中每个策略生成的轨迹在任何干扰序列下都具有明确定义的二阶矩。
- 作为我们的主要贡献，我们证明了仿射状态反馈策略类对于RWDT问题是最优的。
- 我们证明了鲁棒最优策略的存在性和非唯一性。
- 我们证明了对于任何具有正定协方差矩阵的高斯初始状态，鲁棒最优值是相同的。

在相关工作的背景下，我们的主要贡献扩展了来自以下方面的类似最优性结果：1) 在DR LQ控制中，通过考虑确定性干扰和不同的成本；以及2) 在随机零和LQ动态游戏中的极小最大化问题中，通过考虑受限最大化和不同的成本，这是非平凡的，因为受限优化通常会导致非线性控制律。

概述：
- 在第2节中，讨论了问题的前提并描述了可接受的马尔可夫随机策略类。此外，正式给出了问题的表述。
- 在第3节中，我们证明了仿射状态反馈策略类的最优性。

符号说明：
- ???上的欧几里得范数表示为‖?‖。对于整数??1,??2且??1≤??2，集合[??1,??2]∩?表示为[??1:??2]。
- 我们在一个完整的过滤概率空间（Ω,?,{???}??≥0,?）上工作，该空间足够丰富，可以支持后续出现的所有随机变量。随机向量??定义在（Ω,?,{???}??≥0,?）上，并取值于配备有Borel ??-代数???(???)的???，其中??取决于上下文。所有在???上支持的Borel概率测度集合表示为???(???)。
- 相对于（???,???(???),??）的可积函数和平方可积函数集合分别表示为??1?(??)和??2?(??)，其中??是一个测度。具有均值???[??]和协方差矩阵Cov?(??)的高斯随机向量??表示为??～???(???[??],Cov?(??))。
- 对于任何实数元素的矩阵??，??的迹表示为tr???。此外，???0和???0分别表示??的正半定性和正定性。
- 对于向量元组（??1,…,????），列向量[??1;…;????]表示向量的有序连接。
- 对于集合??????，其??重笛卡尔积表示为???????×?×??。

Wasserstein-2距离：
- 考虑两个取值于???的随机向量??1和??2，并且具有有限二阶矩。??1和??2的分布分别是??1和??2。那么，??1和??2之间的Wasserstein-2距离表示为??2?(??1,??2)，定义为??2?(??1,??2)?√inf??∈???(??1,??2)∫???×???‖?????‖2??????(??,??)=√inf??∈???(??1,??2)??????[‖??1???2‖2]。这里，???(??1,??2)表示在???×???上支持的具有边际分布??1,??2的联合概率分布集合。
- 如果??1～???(??1,??1)和??2～???(??2,??2)分别具有分布??1和??2，则Wasserstein-2距离的平方的闭合形式表达式由[29]给出：??22?(??1,??2)=‖??1???2‖2+tr?(??1+??2?2?√√??1???2?√??1)。

问题描述：
考虑一个由以下方程控制的离散时间线性时不变（D-LTI）系统：???(??+1)=??????(??)+??????(??)+???(??)，x(0)～??0????(??0,??0)，其中状态向量???(??)∈???，控制向量???(??)∈???，干扰向量???(??)∈??????，对于所有??∈[0:???1]。这里，不确定性集合??是非空的且紧凑的，正整数??表示时间范围。此外，均值??0∈???和协方差矩阵??0∈???×??。
- 对于这个系统，给定期望的均值?????∈???和协方差矩阵?????∈???×?，我们首先证明以下引理，它将在定理3.3中用于证明仿射状态反馈策略对RWDT问题的最优性。

引理3.1：
- 对于任何??>0，函数?:???→?，定义为??(??)?sup??∈??????‖??+??‖2，是严格凸的、连续的和有约束的。