同时学习用于多视图子空间聚类的表示张量与正交投影

《Neurocomputing》：Simultaneously learning representation tensor and orthogonal projection for multi-view subspace clustering

　　

Jinghao Li|Xiaoqian Zhang|Jing Wang|Huaijiang Sun

中国四川省绵阳市西南科技大学信息与控制工程学院，邮编621010

摘要

目前的张量学习多视图子空间聚类方法直接在原始数据上操作，而数据中的冗余和噪声可能会影响聚类结果的质量。为解决这些问题，我们设计了一种新的模型——同时学习表示张量与正交投影（SLRTOP）用于多视图子空间聚类。该模型通过引入正交投影学习，利用投影矩阵将原始数据映射到低维空间，再构建表示张量以减轻冗余和噪声的影响。此外，SLRTOP在统一框架内同时学习表示矩阵和亲和矩阵，从而得到更具信息量的亲和结构。在六个多视图数据集上的实验结果表明，与几种常用的现有方法相比，SLRTOP的聚类性能更优。

引言

子空间聚类是近年来提出的一种用于高维数据聚类的有效方法[1]、[2]、[3]、[4]、[5]。目前大多数主流的子空间聚类算法都是通过对自表示矩阵施加适当约束来学习子空间结构。稀疏子空间聚类（SSC）[6]就是子空间聚类的典型代表之一。该方法通过考虑$$范数来获得稀疏的自表示矩阵。另一种经典算法——低秩表示（LRR）[7]、[8]则着眼于低秩结构，具有良好的全局描述能力和鲁棒性。在这一研究基础上，SCLRR[9]进一步发展出来，能够以结构化方式更好地描述多个不相交子空间之间的关系。这些方法在非线性扩展、提高鲁棒性等方面取得了显著成果。本文相关的符号如表1所示。

近年来，深度聚类方法越来越受到关注[10]、[11]。由于深度神经网络具备强大的非线性表示能力，这些方法能够在同一框架下结合特征提取和聚类，从而从复杂的高维数据中挖掘出更具区分度的潜在结构。不过，这类方法通常需要大规模数据以及大量的计算资源，且训练过程较为复杂，对超参数和初始化条件十分敏感，这限制了它们的实际应用前景。由于深度聚类并非本研究的主要焦点，因此这里不再详细讨论。

在现实世界中，数据形式的多样性已变得很常见。例如，网页可以通过两种方式来描述：页面上的文本以及指向其他页面的超链接等。单视图聚类只关注某一特征，而多视图学习则可以同时分析所有视图并融合其中的信息[11]、[12]、[13]、[14]。因此，一些研究者通过融合单视图数据不同特征的表示矩阵来扩展单视图子空间聚类[15]。Maria等人[16]提出了一种方法，对表示矩阵同时施加低秩和稀疏约束，从而更有效地捕捉数据的底层子空间结构，进而提升聚类效果。Zhu等人[17]则开发了一种方法，同时学习共识表示和视图依赖表示，这样既能深入挖掘各视图之间的共享信息，又能体现不同视图的独特特征，进一步提升了多视图聚类的性能。DiMSC[18]则着眼于每个视图中所蕴含的多样性信息，以此弥补单个视图在表示能力上的不足，显著提升了模型的聚类性能。尽管以往的研究试图充分利用多视图数据的一致性和互补性，但仍然存在一个重要局限：不同视图之间的高阶关系往往未能得到充分建模。为解决这一问题，研究人员将张量建模引入聚类领域，从而推动了基于张量的多视图子空间聚类方法的发展[19]、[20]、[21]。在基于张量的多视图聚类中，一种常见的思路是将不同视图的表示矩阵组织成三阶张量，这样就可以从更高阶的角度来刻画数据，更有效地利用跨视图信息[22]、[23]。尽管有这一优势，但一个关键难题仍未完全解决。多视图数据是从多个方面和维度描述同一个对象，但这种丰富性往往伴随着冗余成分和噪声信息。在这种情况下，自表示学习过程可能无法准确恢复数据中嵌入的底层子空间结构，从而导致最终的聚类性能下降。

数据常常会受到噪声的干扰，而且数据的高维度特性使得数据本身以及不同数据之间都存在高度的冗余性。幸运的是，嵌入子空间聚类的出现为解决上述问题提供了明确的方向[24]、[25]。受低秩投影学习和嵌入子空间聚类的启发，我们对数据进行投影学习以挖掘潜在表示，再对潜在表示进行张量学习，从而减少冗余信息和噪声对聚类性能的负面影响。

基于特征提取中的投影学习[26]、[27]、[28]以及张量学习的强大能力，我们提出了一个名为“同时学习表示张量与正交投影”（SLRTOP）的框架。SLRTOP基于正交投影学习，通过投影矩阵获取原始数据的潜在表示，再利用这些潜在表示来学习表示矩阵。为了更好地捕捉高阶相关性，我们将低维特征空间中学习到的表示矩阵组织成张量。此外，SLRTOP在统一框架内同时优化表示矩阵和亲和矩阵，从而提升聚类性能。本文的主要贡献如下：

• •
  为降低张量基子空间聚类中冗余信息和噪声的影响，SLRTOP根据原始数据的潜在表示来构建表示矩阵，从而有效抑制不必要的干扰，提升聚类性能。
• •
  为提升学习到的表示的质量，我们将投影学习与张量学习相结合，在低维潜在特征空间中进行表示张量学习。
• •
  为在亲和矩阵构建过程中保留每个视图的结构特征，我们引入了自适应局部结构学习（ALSL），在统一框架内同时优化表示矩阵和亲和矩阵。

章节节选

相关工作

多视图聚类逐渐成为机器学习领域中一个重要且活跃的研究方向，主要是因为多视图数据能够从不同视角为同一对象提供更为全面且互补的描述。在现有文献中，研究者们从多个不同角度探讨了这一问题。其中一种代表性的研究思路是利用数据的自表达特性，整合从不同来源学到的子空间表示矩阵

所提方法

本部分将详细介绍SLRTOP，如图1所示，SLRTOP主要由三个模块组成。1）嵌入子空间学习与自表达学习相结合，使其能够在同一框架内整合，形成一个目标函数，从而实现低维字典和系数矩阵的相互增强。2）高阶相关性学习：对系数矩阵施加低秩张量约束，以此获取各元素之间的高阶相关性

实验与分析

本部分的主要工作是对SLRTOP进行实验分析。

结论

本文提出了一种用于多视图子空间聚类的模型——同时学习表示张量与正交投影（SLRTOP）。该方法基于低维潜在表示来学习表示张量，从而减少冗余信息和噪声对聚类性能的干扰。通过自适应局部结构学习，该方法能够保留局部信息，获得有效的亲和矩阵，进而提升聚类性能

CRediT作者贡献说明

Jinghao Li：撰写——初稿、方法论。Xiaoqian Zhang：指导、数据整理。Jing Wang：软件、方法论。Huaijiang Sun：指导。

利益冲突声明

作者声明不存在任何可能影响本文研究工作的已知利益冲突或个人关系。

致谢

本研究部分得到了国家自然科学基金（项目编号：62102331、62176125、61772272）、四川省自然科学基金（项目编号：2022NSFSC0839）以及西南科技大学博士基金项目（项目编号：22zx7110）的支持。

Jinghao Li在西南科技大学获得了学士学位和硕士学位，目前他正在中国四川省绵阳市的西南科技大学制造科学与工程学院攻读博士学位。他的研究兴趣包括多视图聚类和脑电信号处理。