基于潜在表示学习与增强型张量化自我表示的多视图子空间聚类

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：Multi-view subspace clustering via latent representation learning and augmented tensorized self-representation

　　•本文提出了一种用于多视图子空间聚类的潜在增强张量化模型。•潜在表示能够减少原始多视图特征中的噪声和冗余信息。•潜在低秩表示模型可以捕捉潜在空间中的隐藏样本效应。•张量低秩建模则能够捕获不同视图之间的高阶相关性。•在八个数据集上的实验表明，该模型优于14种现有的最先进方法。

引言
在现实世界的应用中，多视图数据随处可见[1]、[2]，同一个样本可以通过多种不同的视角来描述。例如，一张图像可以通过颜色、纹理和形状描述符来表示，而一份文档则可以通过语义、句法和统计特征来刻画。由于不同的视角能够提供关于同一样本的互补且一致的信息，因此多视图聚类（MVC）可以通过融合跨视图信息来提升聚类性能，这一领域近年来受到了众多研究者的关注[3]、[4]。在各种MVC方法中，多视图子空间聚类（MVSC）被证明是一种特别有效的方法[5]、[6]。该方法假设来自每个视角的样本大致位于若干低维子空间的并集中，而这些子空间结构在不同视角之间既具有一致性又具有互补性。通过学习每个视角内的自我表示关系，并充分利用跨视角的结构信息，MVSC能够有效地揭示多视图数据的固有聚类结构[7]、[8]。

尤其是基于张量的方法，因为其能够捕获不同视图之间的高阶相关性，并通过对由多个视图特定的自我表示矩阵构成的三阶张量施加张量低秩约束，从而促进跨视图信息的融合，近年来受到了越来越多的关注[9]、[10]。其中一种代表性的方法[11]首先从多视图特征中学习潜在表示，然后在所学习的潜在空间中进行张量化自我表示。这种策略不仅能够减轻原始特征空间中噪声和冗余的影响，还能让张量低秩约束更有效地捕获高阶相关性。然而，这种方法通常依赖于这样一个假设，即观测到的样本足以充分反映其背后的子空间结构。一旦这一假设不成立，所学习的自我表示就可能无法准确描述固有的子空间结构。

最近，有一种与之密切相关的方法[5]将潜在低秩表示（LatLRR）引入到多视图子空间聚类中，该方法利用隐藏样本来增强观测样本的自我表示能力。通过将基于LatLRR的增强机制融入自我表示过程，该方法能够在观测样本不足的情况下更准确地描述背后的子空间结构。此外，它还将基于LatLRR的增强与张量低秩建模相结合，从而同时利用隐藏样本信息和不同视图之间的高阶相关性。不过，LatLRR的优化通常会导致计算复杂度随特征维度呈立方增长。当多视图特征维度很高时，直接在原始特征空间中应用LatLRR往往会带来极高的计算成本。另外，由于这些方法是从原始特征直接学习自我表示的，因此它们更容易受到原始特征空间中噪声和冗余的影响。

为了解决上述问题，我们提出了LR-ATSR，这是一种用于多视图子空间聚类的潜在表示学习与增强张量化自我表示方法。该模型将潜在表示学习、基于LatLRR的增强以及张量低秩建模整合在一个统一的框架中，从而同时减轻原始特征中噪声和冗余的负面影响，提升在观测样本不足时的自我表示能力，并捕获不同视图之间的高阶相关性。具体而言，LR-ATSR首先从多个视图特定的特征矩阵中学习潜在表示，然后在潜在空间中学习自我表示矩阵，此时会引入LatLRR来利用隐藏样本并增强观测样本的自我表示能力。最后，将学到的自我表示矩阵堆叠成三阶张量，并对该张量施加张量低秩约束，以此捕获不同视图之间的高阶相关性。此外，我们还基于交替方向乘子法（ADMM）开发了一种迭代优化算法，用于求解该模型。

需要指出的是，LR-ATSR是为完整的多视图子空间聚类而设计的，这类聚类假设每个样本都包含所有视角的观测数据。在现实世界的应用中，有些样本可能会缺少某些视角的观测数据，这就导致了不完整的多视图聚类问题[12]、[13]。处理这类缺失视角的情况通常需要额外的缺失视角恢复或不完整视角建模机制，而这超出了本文的研究范围。因此，本研究主要聚焦于完整的多视图子空间聚类，旨在通过结合潜在表示学习与增强张量化自我表示来提升聚类性能，而非专门解决不完整多视图聚类的问题。

本研究的主要贡献如下：
•我们将LatLRR引入到学习得到的潜在空间中，从而提高了模型对含噪声且冗余的原始特征的鲁棒性，降低了高维特征带来的计算负担，并通过利用观测数据背后的隐藏效应提升了自我表示能力。
•我们提出了一种张量低秩建模策略，即将经过LatLRR增强的自我表示矩阵堆叠成三阶张量，以此捕获不同视图之间的高阶相关性，提升自我表示结构中的跨视图一致性。
•我们开发了用于求解LR-ATSR的优化算法，并在多个基准数据集上进行了大量实验。实验结果表明，与14种现有的最先进方法相比，LR-ATSR在保持较高计算效率的同时，具有更出色的聚类性能。

本文的结构如下：第2节回顾相关研究；第3节介绍基本概念、LR-ATSR的模型构建、优化算法以及收敛性分析；第4节汇报实验结果及详细分析；第5节对全文进行总结。

片段内容
基于张量的MVSCT
基于张量的方法通过将多个视图特定的自我表示矩阵堆叠成三阶张量，并对其施加低秩约束，从而提供了一种有效的手段来捕获不同视图之间的高阶相关性。这样一来，各个视图特定的自我表示矩阵就可以被共同优化，同时也能有效地捕捉到不同视图之间的一致性和互补性。

引理1 基于张量的通用MVSC模型构建
给定多视图特征矩阵{X(v)}v=1V，一个通用的基于张量的MVSC模型可以表示为minZ(v)。

提出的LR-ATSR
在本节中，我们将介绍所提出的LR-ATSR，该模型将潜在表示学习、基于LatLRR的增强以及张量化自我表示整合在一个统一的MVSC框架中。图1展示了LR-ATSR的整体流程图，随后还会介绍该模型的优化算法及收敛性分析。

实验
在本节中，我们进行了大量实验，以评估所提出的LR-ATSR的有效性和计算效率。为了进行全面评估，我们在八个常用的基准数据集上将LR-ATSR与14种现有的最先进的MVC方法进行了比较。所有实验均在配备3.4 GHz Intel Core i7 - 14700K处理器和64 GB内存的计算机上，使用MATLAB R2024a软件完成。演示代码可在https://github.com/TH - Yan/LR-ATSR地址获取。

结论
本文提出了LR-ATSR，这是一种用于MVSC的新方法，它将潜在表示学习、基于LatLRR的增强以及张量低秩建模整合在一个统一的框架中。为了解决原始特征中噪声和冗余带来的负面影响，LR-ATSR会学习出简洁的潜在表示，这些潜在表示能够保留原始特征中重要的视图特定信息。之后，它还会通过基于LatLRR的增强机制，利用隐藏样本带来的隐藏效应来进一步提升性能。

CRediT作者贡献声明
Tinghe Yan：撰写——初稿、软件、方法论、概念构思。Qiang Guo：撰写——审阅与编辑、形式分析、数据整理。Jian - Xun Mi：撰写——审阅与编辑、监督、资源协调、项目管理、资金筹措。Shuo Zhang：撰写——审阅与编辑、可视化、研究分析。Weisheng Li：撰写——审阅与编辑、验证。

利益冲突声明
作者声明不存在任何已知的可能影响本文研究工作的财务利益或个人关系。

Tinghe Yan|Qiang Guo|Jian - Xun Mi|Shuo Zhang|Weisheng Li