LTI 系统聚类

《Systems & Control Letters》：Clustering of LTI systems

　　

摘要
我们首先提出了线性时不变（LTI）系统的聚类问题，并考虑了一种具有挑战性的情况，即每个系统收集的输入 - 输出数据较短和/或具有低信噪比。为了解决这个问题，我们提出了一种基于贝叶斯狄利克雷过程混合模型（BDPMM）的方法，该方法可以利用先验知识来减轻模型估计的大方差，并更可靠地找到聚类数量。数值模拟表明，无论是模拟数据集还是真实世界数据集，基于 BDPMM 的方法在平均聚类准确率方面表现最佳。

引言
假设有 N∈N 个离散时间、线性时不变（LTI）、因果且有界输入有界输出（BIBO）稳定的系统。此外，这些系统被分为 K0∈N 个聚类，其中 K0 未知但 K0≤N，其含义是，同一聚类中的系统彼此之间的脉冲响应相同或比其他聚类中的系统更相似。我们对每个系统拥有的只是输入 - 输出数据记录及其先验知识，例如稳定性、平滑性、主导动态。我们感兴趣的是基于收集的输入 - 输出数据和先验知识将 N 个系统分为 K0 个聚类的问题，我们称这个问题为 LTI 系统的聚类 [1]。

这个问题在自动控制中很重要。首先，LTI 系统是控制理论和实践中考虑的最重要的一类动态系统 [2]。其次，它是更普遍的问题“动态系统的聚类”[3] 的一个特例。近年来，这个问题引起了人们的广泛关注，因为它为研究一般系统的行为并提取其结构的有意义见解提供了强大的方法 [3]。例如，在系统辨识中，当从每个系统收集的输入 - 输出数据记录较短或信噪比（SNR）较低时，很难直接建立一个好的模型估计。在这种情况下，如果能够解决 LTI 系统的聚类问题，我们可以将同一聚类中系统的输入 - 输出数据记录拼接在一起，然后为每个聚类中的系统建立一个好的模型估计。第三，在（数据驱动的）鲁棒控制中，它有助于识别不同的模式及其相关动态，并设计针对特定模式的有效控制和故障诊断策略 [4]。

尽管时间序列的聚类已被广泛研究，例如 [5], [6]，但直到最近 [1], [4] 之前，这个问题还没有被研究过。为了解决这个问题，自然地会参考时间序列聚类的方法 [5], [6]。基于原始数据的方法 [5] 的思想是根据数据记录的相似度进行聚类，例如 [7]。显然这在这里行不通，因为由不同输入信号激励的 LTI 系统可能具有非常不同的输出信号，因此可能从同一聚类中的系统收集到非常不同的输入 - 输出数据记录。基于距离的方法 [6] 的思想是设计传递函数不同倒谱系数之间的距离度量，然后使用层次聚类方法进行聚类。然而，这些倒谱系数仅仅与传递函数的特征有关，例如极点和零点，而不是系统的模型。蒙特卡洛模拟表明，即使知道真实的聚类数量，该方法效果也不好。基于模型的方法可以分为两类 [5]。第一类的思想是假设每个数据记录都是由一个模型生成的，然后根据模型估计的相似度进行聚类。这个想法在 [4] 中被采用，其中分别使用 K-medoids [8] 和高斯混合模型（GMM）[9] 对频率响应和传递函数的参数进行聚类。然而，当每个系统的输入 - 输出数据较短和/或 SNR 较低时，这个想法是不可靠的，因为模型估计可能存在大方差，从而导致糟糕的聚类结果。蒙特卡洛模拟表明，基于这些低质量模型估计的经典聚类方法即使知道真实的聚类数量效果也不好。这一观察结果还意味着，基于共享这些低质量模型估计的分散式方法，例如联邦学习 [10]，也不会效果良好。第二类的思想是假设每个数据记录都是由概率分布的混合生成的，然后通过各种统计方法对混合分量和数据记录的标签进行推理来聚类。遵循这一想法的方法被称为基于混合模型（MM）的方法，例如 [11]。

在本文中，我们提出了一种基于 BIBO 稳定 LTI 系统有限脉冲响应（FIR）模型的贝叶斯狄利克雷过程 MM（BDPMM）。它假设 FIR 模型参数具有零均值高斯分布，其协方差通过一个核定义，该核嵌入了底层 LTI 系统的先验知识，例如稳定性、平滑性、主导动态 [2], [12], [13]。然后我们解决贝叶斯推理，即利用马尔可夫链蒙特卡洛（MCMC）算法推导抽样形式的后验分布。与 [14], [15] 不同，这里在吉布斯采样内部使用了基于辅助变量方法 [19], [20]、塌缩或边缘化方法 [21] 和梅特罗波利斯 - 黑斯廷斯（MH）算法 [9] 的采样技术 [16], [17], [18]。基于 BDPMM 的方法可以利用先验知识来减轻模型估计的大方差，并更可靠地找到聚类数量。为了比较，我们将基于最大似然（ML）高斯 MM（MLGMM）的方法，例如 [22, 第 9.2 节]，和基于稀疏有限 MM（SFMM）的方法，例如 [23]，从平稳数据的聚类适应到 LTI 系统的聚类。此外，我们还提出了该方法与基于扩展倒谱距离（ECD）的方法 [6] 进行比较。数值模拟表明，在所有测试的方法中，无论是模拟数据集还是真实世界数据集，BDPMM 方法在平均聚类准确率方面表现最佳。最后，本文与我们的初步工作 [1] 有实质性不同：
•我们为主题度参数分配先验分布，并为核的超参数分配不同的先验分布，从而形成一个完整的贝叶斯模型，相应地，一种不同、更简单且更高效的 MCMC 算法。
•我们在真实世界和新生成的模拟数据集上运行数值模拟，以说明所提方法的性能。
•我们还纠正了 [1, 公式 (14)] 中的一个关键错误。

论文的其余部分组织如下。在第 2 节中，我们给出了问题陈述。在第 3 节中，我们首先简要介绍 DPMM 的断棒表示法，然后是 BDPMM 方法。在第 4 节中，我们通过数值模拟测试所提方法。在第 5 节中，我们总结全文。

章节摘要
问题陈述
考虑以下离散时间、LTI、因果且稳有界输入有界输出（BIBO）稳定的系统 yi(t)=Gi0(q)ui(t)+vi(t),i=1,…,N,t=1,…,T，其中 i 是第 i 个 LTI 系统的索引，Gi0(q) 是其未知传递函数，q 是前向移位算子，使得 qui(t)=ui(t+1)，N 是 LTI 系统的数量，t 是时间索引，T 是数据数量，yi(t),ui(t), 和 vi(t)∈R 是第 i 个 LTI 系统 Gi0(q) 在时间 t 的测量输出、输入和干扰，

基于 BDPMM 的方法
由于篇幅限制，我们无法在此详细介绍狄利克雷过程（DP）和 DPMM。相反，我们简要介绍 DPMM 的断棒表示法，然后是 BDPMM 方法。

数值模拟
我们运行蒙特卡洛模拟来展示所提方法在 LTI 系统聚类中的有效性。

结论
在本文中，我们首先提出了线性时不变（LTI）系统的聚类问题。为了解决这个问题，我们随后提出了一种基于贝叶斯狄利克雷过程 MM（BDPMM）的方法。基于 BDPMM 的方法可以利用先验知识来减轻模型估计的大方差，并更可靠地找到聚类数量。数值模拟表明，无论是模拟还是真实世界，BDPMM 方法在平均聚类准确率方面表现最佳

CRediT 作者贡献声明
Xiaoquan Tang：写作 – 审查与编辑，写作 – 原稿，验证，软件，方法论，调查。Tianshi Chen：写作 – 审查与编辑，验证，监督，方法论，概念化。

利益冲突声明
作者声明，他们没有已知的可能影响本论文报告工作的竞争性财务利益或个人关系。

Xiaoquan Tang|Tianshi Chen