基于平滑低秩张量学习的快速多视图聚类

《Neural Networks》：Fast Multi-view Clustering via Smooth Low-Rank Tensor Learning

　　

• 平滑非凸低秩正则化保留了主要的跨视角结构，同时抑制了局部噪声。• 锚点几何正则化以线性复杂度引导锚点图构建。• 跨视角语义对齐学习减少了异构视角之间的语义不一致性。• 大量实验验证了所提方法的有效性和鲁棒性。

引言

聚类是一种无监督学习技术，旨在将具有相似属性的样本划分为同一个簇，广泛应用于图像处理、模式识别及相关领域。为了更全面地探索样本间的内在关系，通常采用多视角数据进行建模。现有的多视角聚类方法通常分为几类，包括子空间方法、锚点方法和基于张量的方法。子空间多视角聚类方法通常将高维数据映射到低维子空间，并将同一子空间中的样本分配到一个簇中。一般来说，子空间聚类可分为两个阶段，第一阶段是自我表示学习，在假设每个视角中的每个样本都可以被其他样本线性表示的前提下，构建一个 n×n 的亲和矩阵（n 为样本量）。在第二阶段，对学习到的亲和矩阵应用谱聚类以得到最终的聚类标签。子空间方法在处理亲和矩阵时通常会产生大量的时间和内存开销，计算复杂度在 O(n2) 到 O(n3) 之间。这种高计算负担严重限制了多视角聚类在大规模数据集上的可扩展性。

为了提高可扩展性，基于锚点的多视角聚类方法受到了越来越多的关注。这些方法选择一小部分代表性锚点，并构建一个 n×m 的锚点图来替代原来的 n×n 样本亲和图，其中 n 和 m 分别表示样本和锚点的数量。传统的基于锚点的方法通常通过 k-means 聚类或随机采样生成锚点，这往往会引入冗余。为解决这一问题，Qin 等人对锚点矩阵施加正交约束，以更好地表示不同簇之间的潜在数据结构。认识到这些方法强调锚点的正交性而忽略了锚点之间的内在相似性和几何关系，Zhang 等人提出了一种锚点自我表示学习机制，以捕获样本与锚点之间以及锚点之间的关系。此外，Guo 等人利用图滤波技术生成一致性表示并抑制噪声传播。然而，这些方法未能充分利用多视角间的高阶相关性，限制了它们捕获更丰富语义信息的能力。

多视角学习的最新进展见证了基于张量的方法日益受到关注，这得益于张量表示编码多视角间高阶结构依赖的能力。这些方法首先从每个视角学习一个表示矩阵，然后沿视角模式堆叠生成的矩阵以形成高阶张量。通过对该张量施加低秩约束，它们捕获不同视角表示之间的高阶相关性。例如，Xie 等人从不同视角学习子空间表示，将这些表示堆叠成张量，并对旋转后的张量施加核范数以强制低秩近似。Xu 等人将特征解纠缠与核范数正则化相结合，以获得更可靠的高阶表示，捕获跨视角的语义相关性。然而，该方法对所有奇异值赋予相同的系数，未能区分不同类型信息的重要性。一般而言，较大的奇异值保留了数据的主要信息，而较小的奇异值通常对应于噪声。为了克服这一局限性，Gao 等人引入了加权张量核范数，其中不同的奇异值被赋予不同的权重，以便更有效地刻画异构信息。

尽管现有的多视角聚类方法取得了显著进展，但仍存在一些局限性。首先，大多数基于张量的方法仅关注低秩结构，因此无法在抑制局部噪声扰动的同时有效保留主要的结构组件。其次，由于多视角数据的异构性，现有的基于锚点的方法未能充分考虑到跨视角语义不一致性。

为了解决这些局限性，与现有的基于锚点的张量方法不同，我们联合施加非凸低秩约束和平滑先验，构建一个新的正则化项，称为平滑非凸低秩正则化。非凸低秩约束自适应地捕获多视角共享的主要结构组件，同时减少冗余信息，而平滑先验抑制局部噪声扰动。二者的结合使得能够构建更鲁棒的锚点图。我们进一步引入了锚点引导的几何正则化项，利用锚点信息促进锚点图局部几何结构的学习。为充分利用多视角中包含的异构信息，我们采用跨视角语义对齐学习，将特定视角的锚点图映射到共享的一致性表示中，从而有效整合多视角传递的异构信息。最后，我们直接对一致性表示应用 k-means 聚类，而不是执行计算复杂度高的谱聚类，从而提高了所提模型的可扩展性。本文的主要贡献总结如下：

(1) 我们采用平滑非凸低秩正则化来捕获多视角之间的主要结构信息，同时抑制局部噪声扰动。

(2) 我们引入了锚点引导的几何正则化和跨视角语义对齐学习，以利用局部锚点几何并减少异构视角之间的语义不一致性。

(3) 所有这些组件都在一个统一的框架内学习。我们开发了一种迭代优化算法，多个数据集上的实验表明 FSLR-MVC 在聚类性能和计算时间方面均具有明显优势。

基于锚点的多视角聚类

随着大规模数据的快速增长，基于锚点的多视角聚类方法受到了广泛关注，因为它们能以线性时间复杂度实现良好的聚类性能。Kang 等人采用 k-means 识别一小部分代表性锚点，然后构建一个 n×m 的锚点图作为原始 n×n 亲和矩阵的替代，从而将大规模多视角聚类的计算复杂度降低到 O(n)。因此，学习

平滑非凸低秩正则化

现有的基于张量的平滑低秩模型通常将平滑先验作为独立的正则化项处理，或者简单地将基于 TV 的平滑先验与传统的张量核范数相结合。然而，张量核范数对所有奇异值施加统一的线性惩罚，这可能会过度收缩大的奇异值，从而削弱对主要结构信息的保留。这一局限性限制了

优化

对于公式(8)，我们引入一个辅助张量 W=Z 进行解耦，并进一步施加 Ga=?a(W)，这导致如下公式(9)：

minΩ ∑v=1V (||Xv?AvZv||F2 + βTr((Zv)T L Av Zv) + γ||Zv?Cv Y||F2) + ∑a∈Γ (ατ||Ga||QDT + ?∧a, ?a(W)?Ga? + ρ2||?a(W)?Ga||F2) + ?M, Z?W? + ρ2||Z?W||F2

s.t. (Av)T Av = Im, (Cv)T Cv = Im, Y≥0, YT1=1, Z=Φ(Z1,...,Zv)

这里，Ω 表示所有待更新变量的集合，∧a 和 M 表示拉格朗日乘子，ρ 是惩罚因子。

(1) Av-子问题：

minAv ∑v=1V {||Xv?AvZv||F2}

s.t. (Av)T Av = Im

根据公式(10)中的

实验

FSLR-MVC 在八个数据集上进行了评估。在本节中，我们将所提方法与七种最先进的方案进行比较评估。评估不仅涵盖聚类精度，还包括参数敏感性、定性可视化、收敛行为和计算效率。所有实验都在配备 2.5GHz 处理器和 32GB 内存的机器上进行。

结论

为了解决现有的基于锚点的张量多视角聚类方法在抑制局部噪声、保留锚点结构和保持跨视角语义一致性方面的局限性，本文提出了一种基于平滑低秩张量学习的快速多视角聚类方法，称为 FSLR-MVC。所提方法将平滑先验与非凸低秩约束相结合，在保留主要结构信息的同时减少局部扰动的影响。

CRediT 作者贡献声明

Zhao Zhang：撰写初稿、方法论、概念化。

Shuguang Zhang：撰写审阅与编辑、验证、资金获取、概念化。

Gui-Fu Lu：撰写审阅与编辑、软件、方法论、资金获取。

利益冲突声明

作者声明不存在任何可能影响本论文所报告工作的已知竞争性财务利益或个人关系。

Zhao Zhang | Shuguang Zhang | Gui-Fu Lu