利用图学习的张量秩近似方法实现鲁棒的多视图聚类

《Knowledge-Based Systems》：Tensor Rank Approximation with Graph Learning for Robust Multi-view Clustering

多视图聚类中提出基于图学习的张量核范数近似方法TRAGL，通过Stiefel流形构建相似图分离一致性与噪声信息，设计双指数加权张量核范数和l1.1∞稀疏范数分别约束高阶关联和噪声抑制，采用ADMM优化。实验验证其聚类性能优于现有方法。

　　

杨永毅|张杰|李静豪|张晓倩

西南科技大学信息与控制工程学院，中国四川省绵阳，621010

摘要

图学习是多视图聚类中一种重要的数据处理技术，目前图学习基于构建的相似性图，这些图的处理主要集中在将连贯信息与噪声信息分离上。然而，现有研究方法往往在挖掘连贯信息中的高阶相关性以及抑制噪声信息方面存在不足。因此，我们提出了基于图学习的张量秩近似方法（TRAGL）以实现鲁棒的多视图聚类。具体而言，我们在Stiefel流形上构建相似性图，利用样本点之间的互相关度来保持原始数据结构的固有属性。然后，将相似图中的连贯信息和噪声信息分开，并分别构建张量。我们设计了一种新的张量秩函数——双指数加权张量核范数（DETWTNN），以更好地约束连贯性张量并挖掘高阶信息。我们还设计了一种新的张量稀疏范数，并将张量稀疏范数和矩阵范数的双重约束应用于噪声信息。最后，我们设计了一种基于交替方向乘子法（ADMM）的优化算法来高效求解模型。广泛的实验结果表明，我们提出的方法优于大多数现有的先进多视图聚类方法。

引言

随着科学技术的发展，在日常交互和操作过程中不断产生大量数据，包括经济数据[1]、天气数据[2]、多媒体数据[3]等。如何高效地对这些复杂数据进行分类和处理已成为一个重要课题。为了准确地对不同类型的数据进行分类，聚类研究受到了广泛关注。研究最初从单视图聚类开始。随着研究的深入，学者们发现现实世界中的对象通常可以通过多种不同的视角来表示，因此开发了多视图处理技术。

基于矩阵分解的多视图聚类方法受到青睐。为了更好地捕捉多视图数据的潜在结构，邓等人[4]提出通过解耦矩阵元素并将这些元素与非负域中的映射函数结合来构建目标函数。这种方法能够很好地捕捉潜在结构，并最终用于聚类。探索多视图的多样性也是一个研究方向，王等人[5]提出了一种多样化的非负矩阵分解（NMF）方法，该方法通过重新定义多样性项来增强多样性，减少多视图表示之间的冗余，并实现了线性执行时间的学习过程。然而，多视图数据中也包含噪声，李等人[6]提出了具有自适应图和多样性约束的鲁棒多视图非负矩阵分解方法，使用l_2.1范数来衡量分解误差，以提高NMF的鲁棒性。总体而言，上述研究中的矩阵稀疏化受到l_2.1范数的限制。在面对复杂噪声环境时，l_2.1范数的有效性显得较为有限。

子空间聚类是多视图处理的一种常用技术。张等人[7]基于子空间和核学习技术提出了一种基于加权多核学习和共正则化的鲁棒多视图子空间聚类方法。他们将块对角正则化器和多核学习策略集成到模型中，以改善多视图聚类效果。为了提高子空间的鲁棒性，张等人[8]提出了一种基于置信度自动加权的鲁棒多视图子空间聚类模型，该模型能够在学习数据一致性表示的同时关注样本置信度。然而，实际数据往往呈现非线性结构。

与子空间聚类相比，图学习方法能更好地捕捉数据之间的非线性关系。为了提高图学习中的聚类鲁棒性，郭等人[9]提出了基于自适应数据校正的图聚类方法，该方法可以自适应地去除原始数据中的误差和噪声，从而提高聚类性能。探索数据图的组成部分也是图学习研究的关键前提。李等人[10]提出了用于多视图聚类的共识图学习方法，该方法通过构建基本相似性图获得多个谱嵌入矩阵，然后应用张量约束来捕捉多视图之间的高阶一致性信息。郭等人[9]分离了图学习得到的相似性矩阵，并通过约束共识信息来提高模型的适用性。然而，上述方法在探索图结构和构建目标图中的高阶一致性约束方面存在不足。

张量多视图聚类因其出色的聚类性能而受到关注。最经典的张量多视图聚类方法是谢等人[11]提出的方法，该方法将自表示矩阵堆叠成张量并使用张量核范数进行约束。在谢的方法基础上，张等人[12]通过改进张量核范数并设计张量双任意切线秩函数来近似张量的原始秩，进一步提升了聚类效果。现在，多种改进的张量秩函数被广泛应用于聚类领域。罗等人[13]将张量与图学习相结合，以相似性矩阵作为模型输入，并使用张量Schatten-p范数作为约束。然而，Schatten-p范数作为约束时需要大量的微调，从而影响了参数p的最优值范围的精确捕捉。张量多视图聚类在探索高阶信息方面表现出强大的能力，但上述方法仍无法完全近似原始张量秩结构。

总体而言，上述方法在复杂噪声场景中缺乏足够的噪声约束，难以准确描述数据之间的非线性结构。此外，张量秩近似不足导致高阶信息挖掘不足。为了解决这些问题，我们提出了基于图学习的张量秩近似方法（TRAGL）。我们的模型通过Stiefel流形进行相似性度量，获取多视图数据的多个相似性矩阵，并将连贯信息与噪声项分离。我们设计了一种新的张量秩函数——双指数加权张量核范数，代替传统的张量核范数，并对连贯性信息施加约束。同时，我们设计了一种新的张量稀疏范数（l_1.1.∞），通过将其与矩阵l_2.1范数结合来约束噪声项。这种方法提高了模型的鲁棒性，并更完整地保留了连贯性信息。最后，我们将上述方法统一到一个框架中，并使用增广拉格朗日乘子法进行优化。多个不同数据集的实验结果表明，我们的算法表现最佳，算法流程如图1所示。我们的主要贡献包括：

• 1.
  我们设计了一种新的张量稀疏范数l_1.1.∞，通过联合优化l_1.1.∞和矩阵范数，可以减少相似性矩阵中的噪声项，从而降低噪声的影响并提高模型鲁棒性。这种方法还能保留更多有用的连贯性信息。
• 2.
  我们设计了一种新的双指数加权张量核范数，可以更准确地近似张量秩。我们将这种方法应用于从相似性矩阵中分离出的连贯性信息，从而进一步提高聚类性能。
• 3.
  我们采用迭代优化算法交替方向乘子法（ADMM）来解决TRAGL的优化问题。

本文结构如下：第2章简要介绍了相关工作和相关数学符号，第3章描述了我们的主要方法论，第4章提供了优化过程，第5章展示了各种实验结果并进行了分析，第6章进行了最终总结。

相关研究

相关工作

本章介绍了文章的符号定义和研究基础，包括用于构建图的相似性测量方法、基本图学习模型和经典的张量多视图聚类方法。

方法论

本章重点介绍了我们的主要贡献，并在相关工作的基础上进一步阐述了我们的聚类模型。

优化与计算复杂性

对于上述优化模型，我们使用了交替方向乘子法（ADMM）[27]，这是一种用于解决优化问题的迭代算法，特别适用于具有可分离结构的优化问题。其核心思想是将复杂的优化问题分解为几个较简单的子问题，并交替求解这些子问题，逐步接近全局最优解[28]。

在求解之前，我们先介绍...

实验结果与分析

在本节中，我们将详细介绍实验结果并进行分析。

结论

在本文中，我们提出了基于图学习的张量秩近似方法（TRAGL），该方法通过样本点之间的相似性度量构建相似性图，然后将连贯信息与噪声信息分离，并将相似性图堆叠成张量。我们通过设计DEWTNN来捕捉不同视图之间连贯信息的高阶相关性。同时，我们通过...

作者贡献声明

杨永毅：撰写——初稿，方法论部分。张杰：撰写——审稿与编辑，方法论部分。李静豪：撰写——审稿与编辑，方法论部分。张晓倩：撰写——审稿与编辑，资金获取。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文的研究结果。

致谢

本研究部分得到了国家自然科学基金（资助编号：62102331）的支持，同时也得到了四川省自然科学基金（资助编号：2024NSFSC0664和2024NSFSC2044）的支持。