基于互补共识表示和张量化约束的可扩展多视图子空间聚类

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：Scalable multi-view subspace clustering based on complementary consensus representation and tensorized constraint

　　

• 有效学习紧凑表示矩阵以实现线性时间复杂度。
• 通过互补共识表示实现交叉重建。
• 通过张量学习促进不同视图之间的高阶一致性。
• 融合多样子空间结构以实现相互增强。
• 效率远高于大多数基于锚点的方法。

引言
聚类是一种广泛使用的无监督机器学习方法，旨在将具有相似特征的数据点划分为同一簇，更直观地表示整个数据集以供下游任务使用 [1]。然而，随着信息技术的发展，当前现实世界的数据逐渐由不同渠道从各种来源产生或收集 [2]。例如，文本可以根据语言和文化被不同地解释，图像和视频包含来自多个视角的颜色信息和视觉内容。多视图聚类是分析这些多视图数据集的有效方法，学习跨视图互补信息对样本进行分组 [3]。此外，多视图聚类的主要框架大致可分为四类：图学习 [4]、非负矩阵分解 [5]、核学习 [6] 和子空间学习 [7]。

在各种类型的多视图聚类方法中，多视图子空间聚类（MVSC）非常普遍，能有效处理高维多视图数据 [8]。MVSC 学习不同视图之间的互补信息，并在低维子空间中表示高维数据点，从而减轻低质量单视图和维度灾难的负面影响 [9]。早期的 MVSC 方法学习不同视图的自表达矩阵并最小化它们的差异，然后在最后一步构建亲和矩阵用于谱聚类或 K 均值 [10]。一些研究者还将每个自表达矩阵公式化为两个子表达矩阵的乘积，以便后续分解 [11]、[12]。同时，基于张量的 MVSC 也应运而生。这些方法将所有单独的自表达矩阵堆叠成高阶张量，利用张量分解技术进行全局对齐，并有效缓解内部不一致性 [13]、[14]、[15]。Cai 等人设计了一种类似于张量主成分分析的技术来获得增强的相似度张量，并纳入高阶流形正则项来利用流形信息 [16]。Gu 等人利用张量学习捕获多视图高阶相关性，同时抑制视图特定的不一致性以改进 MVSC [17]。Yan 等人采用了一种新颖的张量分解方法，开发了一种具有令人印象深刻的聚类性能的张量基于 MVSC 方法 [18]。相应地，各种张量化约束方法在增强每个自表达矩阵方面展现出了相当大的益处，从而进一步提高了聚类性能。

另一种流行的 MVSC 框架是学习跨视图一致性表示矩阵 [19]。Weng 等人专注于学习捕获不同视图图状局部结构的自表达矩阵，随后整合这些局部结构以导出共同的子空间表示 [20]。通过基于原始多视图数据和视图间的成对相关矩阵构建增强数据矩阵，Shi 等人能够学习增强的潜在和自表达矩阵 [21]。尽管一些 MVSC 方法利用额外的结构信息来增强一致性表示，但它们主要通过共识重建或表示每个视图，而忽略了从所有剩余视图中推断。在某种程度上，这限制了聚类性能的提升。此外，优化自表达矩阵和计算亲和矩阵（对于 n 个样本均为 n × n 大小），导致高时间复杂度 O(n3)，限制了它们在大尺度聚类中的应用 [22]。

近期研究引入了锚点引导机制，将时间复杂度降低至 O(n) 以实现可扩展的 MVSC，这通常提取 k 个锚点以学习大小为 k × n（k ? n）的紧凑表示矩阵（锚点图）[23]。Kang 等人提出了一种基本的可扩展 MVSC 框架 LMVSC，通过 K 均值启发式构建锚点投影矩阵，以高效学习紧凑表示 [24]。随后，提出了一系列关于 LMVSC 变体的可扩展 MVSC 方法。例如，Wang 等人采用了自适应锚点学习策略，并将视图特定的锚点投影矩阵分解为相应的投影矩阵和一个统一锚点矩阵，显式学习共同锚点空间 [25]。Chen 等人提出了一种新颖的可扩展 MVSC 方案，在统一框架中建模锚点选择、图构建和划分，以直接输出聚类标签 [26]。Ou 等人构建了具有层次特征下降机制的自适应加权锚点学习模型，以进一步解决视图间的差异 [27]。此外，图过滤方法也用于一些可扩展框架中的可学习锚点图。例如，Ji 和 Feng 设计了一种增强的张量秩范数以纳入张量学习，并使用基于锚点的图拉普拉斯矩阵为紧凑表示提供图正则化 [28]。Zhang 等人利用基于锚点的低秩张量学习捕获视图之间的高阶相关性，并利用核学习探索嵌入在多个视图中的非线性锚点 - 样本关系 [29]。虽然基于锚点的可扩展 MVSC 方法显著提高了效率，但它们通常仅通过整合每个视图的局部信息来学习紧凑的跨视图一致性表示矩阵 [30]、[31]，从而丢弃了至关重要的全局信息。

受现有研究的启发，我们提出了一种基于互补共识表示和张量化约束的新型可扩展多视图子空间聚类，称为 CTSMSC。具体来说，对于每个视图，CTSMSC 预先通过沿特征方向连接所有其他视图来构建其互补数据矩阵。然后，它通过锚点引导和交叉重建从这些互补数据矩阵中学习紧凑的跨视图互补共识表示矩阵。同时，从相应的原始数据矩阵中学习每个视图的紧凑局部表示矩阵。此外，CTSMSC 将所有局部表示矩阵堆叠成张量，并应用张量低秩约束进行对齐和增强。为了相互提升跨视图互补共识表示矩阵和视图特定的局部表示矩阵，利用字典变换矩阵来指导它们相互学习。这样，互补共识结构可以指导局部结构的学习，局部表示也影响并约束互补共识表示的构建，减少它们的差异并促进结构融合。最后，CTSMSC 结合学习到的跨视图互补共识表示和局部表示，获得紧凑的融合表示。我们工作的主要贡献总结如下。
• 互补数据矩阵的构建和互补共识表示的交叉重建增强了不同视图之间的协作。
• 张量低秩约束促进了不同视图局部结构在张量级别的对齐，鼓励它们的高阶一致性。
• 得益于锚点引导机制，CTSMSC 实现了紧凑的跨视图互补共识表示和视图特定局部表示的可扩展结构融合，这被证实能提供优越的聚类性能和效率。

章节片段
符号说明
本文使用的关键符号总结于表 1 中。除非另有说明，非粗体大写和小写符号表示标量变量。
此外，给定两个张量 X∈Rn1×n0×n3 和 Y∈Rn0×n2×n3，它们的张量积 Z=X*Y 得到结果 Z∈Rn1×n2×n3，Z 的张量级别奇异值分解（SVD）定义为 Z=U*S*VT，其中 U∈Rn1×n1×n3 和 V∈Rn2×n2×n3 是正交的，S∈Rn1×n2×n3 是一个 f-对角张量 [32]。值得注意的是，张量共轭转置

方法论
在本节中，我们解释了 CTSMSC 的动机、公式化、优化和时间复杂度分析。

实验
在本节中，我们进行了大量实验以验证提出的 CTSMSC 的有效性。实验环境为 Ubuntu 18.04.4 LTS 上的 MATLAB R2016，配备两个 2.60 GHz 的 Intel Xeon Gold 6240 CPU 和 256 GB 内存。

结论
在本文中，我们提出了一种基于互补共识表示和张量化约束的新型可扩展 MVSC 方法，称为 CTSMSC，它有效地降低了计算复杂度并提高了聚类性能。我们结合锚点引导机制和结构融合策略，开发了一个框架，联合学习紧凑的统一全局表示和多个紧凑局部表示以进行融合。此外，我们构建多个互补数据

CRediT 作者贡献声明
李太勇：写作 – 审阅与编辑，写作 – 原稿，验证，正式分析，方法论。范伟：写作 – 审阅与编辑，写作 – 原稿，可视化，软件，调查，正式分析，监督。

利益冲突声明
作者声明，他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。
李太勇 | 范伟