深度子空间聚类：一种基于机制的综述

《Neurocomputing》：Deep subspace clustering: A mechanism-oriented survey

　　• 明确了深度子空间聚类和一般深度聚类之间的区别。
• 提出了一种基于视图设置和潜在空间结构属性的双轴分类法。
• 分析了表示学习、自我表达和跨视图协作机制。
• 识别了稀疏性、连通性、鲁棒性和可扩展性之间的关键权衡。
• 总结了基准实践、应用、开放性挑战和未来方向。

引言
随着计算机视觉、遥感、生物信息学、社交网络和多媒体系统中数字数据的快速增长，聚类已成为从未标记样本中发现潜在结构的重要工具。许多高维数据集在环境空间中并不均匀分布，而是通常受到几个底层低维子空间的支配。这一观察结果自早期关于运动分割和多体分解的研究[1]以来就激发了基于子空间的建模。同时，异构特征和多源观测的日益增多使得多视图聚类成为利用跨视图互补信息的重要范式[2],[3]。这些发展表明，有效的聚类方法不仅应将样本分配到组中，还应揭示隐藏在复杂数据表示背后的结构关系。

经典的子空间聚类建立在子空间并集的假设上，即假设同一类的样本位于或可以被一个共同的低维子空间很好地近似。这一假设在图像表示和识别中被广泛使用，因为高维视觉观测通常具有紧凑的结构描述[4]。代表性的方法，如稀疏子空间聚类（SSC）和低秩表示（LRR），通过自我表达、稀疏性或低秩约束构建亲和矩阵，然后通过谱划分获得聚类结果[5],[6]。这些方法提供了清晰的数学公式和 strong 可解释性。然而，它们的性能往往受到线性子空间假设、手工制作的特征质量、对噪声和异常值的敏感性以及构建全局样本间关系的计算成本高的限制。当数据是非线性的、大规模的或来自多个异构视图时，这些限制变得更加明显[7]。

深度表示学习为解决传统聚类方法的限制提供了一种自然的方式。基于神经网络的降维已经证明，深度架构可以从高维数据中学习紧凑的非线性表示[8]。表示学习理论进一步解释了分层特征如何捕获原始观测背后的语义和结构因素[9]。在聚类中，深度嵌入式聚类共同优化潜在表示和聚类分配，从而缩小了特征学习和无监督划分之间的差距[10]。最近关于深度图像聚类和使用深度学习的聚类的调查从不同角度回顾了这些发展[11],[12]。更广泛地说，深度聚类已经从特征预训练后进行传统聚类发展到端到端表示优化、自我监督学习、对比目标和基于图的结构性建模[13]。一般来说，这些方法旨在通过增强聚类内的紧凑性和聚类间的可分性或通过直接优化聚类分配、原型或图结构来学习面向聚类的表示。然而，它们并不一定强加子空间并集的假设，也不通过特定于子空间的结构模型来描述样本关系。

深度子空间聚类（Deep Subspace Clustering, DSC）与其一般深度聚类（general deep clustering）在基本假设和结构学习机制上有所不同。DSC不仅仅将聚类视为在判别性潜在空间中对样本的划分，而是假设学习到的表示分布在一个低维子空间的并集上。它通过自我表达、稀疏性、低秩性、亲和学习或相关的子空间约束明确描述了样本间的结构关系。由此产生的系数或亲和矩阵捕捉了子空间内的连通性，并通常为谱聚类提供了结构基础。因此，DSC中的神经网络不仅仅作为一个特征提取器，而是作为一个联合框架的组成部分，在该框架中非线性表示学习和显式子空间结构建模被协同优化。在多视图DSC中，这种区别进一步体现在同时对视图特定子空间结构和跨视图一致性或互补性的建模上。现有的多视图聚类和图聚类综述主要研究了一般表示融合和图构建机制[14],[15]，而早期的研究则为多视图和分割聚类建立了代表性框架[16],[17]。鲁棒的多视图谱聚类和核稀疏子空间聚类通过结合低秩、稀疏和非线性核结构扩展了浅层聚类模型[18],[19]。其他聚类范式，包括密度峰值聚类和模糊C均值，提高了对不均匀密度分布、噪声和不等簇大小的鲁棒性[20],[21]。然而，这些研究并没有系统地解释深度潜在表示学习、显式子空间先验、自我表达结构和多视图协作机制如何在统一的DSC框架内相互作用。

因此，有必要对DSC进行专门的综述。现有的多视图聚类和经典子空间聚类综述提供了重要的基础[22],[23]，但它们既没有明确区分DSC和一般深度聚类，也没有提供最近DSC方法的统一分类法。特别是，现有文献缺乏对非线性表示学习如何与显式子空间关系建模相结合的系统分析，以及如何在潜在空间中施加线性和非线性子空间假设，以及这些机制如何从单视图扩展到多视图设置。为了填补这一空白，本综述将DSC方法分为四组：单视图线性模型、单视图非线性模型、多视图线性模型和多视图非线性模型。这种分类法阐明了不同方法如何学习潜在表示、构建自我表达或亲和结构、施加稀疏性和低秩先验以及整合视图特定信息和共享信息。它还通过将显式潜在子空间结构学习确定为DSC的定义特征，明确了DSC和一般深度聚类之间的概念界限。

为了构建这样的框架，我们采用视图设置和潜在空间结构属性作为两个主要且互补的分类维度。视图设置维度通过区分从单个表示源推断子空间结构的单视图模型和额外利用跨视图一致性、多样性和互补性的多视图模型，来描述结构信息的来源和组织。潜在空间结构属性维度通过区分传统的线性子空间关系建模和非线性或结构扩展的潜在建模，来描述表示学习后的子空间关系形式。这里，线性和非线性指的是潜在子空间关系模型，而不是编码器或解码器的架构。这两个维度在很大程度上是正交的：前者描述了结构信息的来源，而后者描述了该结构在学习空间中的表示方式。它们的组合自然产生了四个类别：单视图线性、单视图非线性、多视图线性和多视图非线性DSC。与仅基于网络架构、损失公式、图构建或鲁棒性策略的分类法相比（这些可能在同一模型中共存），这种二维组织为比较DSC背后的结构机制提供了更稳定和可解释的基础。这种分类法的主要方法论贡献不仅仅是分类覆盖，而且还为比较结构不同的DSC设计提供了一个共同的坐标系统。它还允许分析跨类别的重复机制级权衡，包括稀疏性与连通性、一致性与多样性、可扩展性与结构保真度，而不仅仅是将它们视为个别方法的孤立观察结果。

本综述的主要贡献有四个方面：
首先，我们明确了DSC和相关聚类范式之间的概念界限，并提出了基于视图设置和潜在空间结构属性的统一二维分类法。与现有的关于深度聚类、多视图聚类和经典子空间聚类的综述不同，所提出的分类法将显式潜在子空间关系建模视为DSC的定义特征。
其次，我们不仅仅是对现有方法进行编目，而是通过表示学习、自我表达结构和跨视图协作之间的交互来重新解释DSC。从这个以机制为导向的角度，我们分析了这些组件如何与结构规则化和判别学习一起共同决定潜在子空间的发现和聚类行为。
第三，我们识别了DSC中的关键结构权衡，包括稀疏性与连通性、低秩性与可区分性、一致性与多样性、鲁棒性与优化稳定性以及可扩展性与结构保真度。
第四，我们总结了基准数据集、评估协议、应用和开放性挑战，并讨论了涉及可扩展自我表达、不完整和异构多视图学习、语义和基础模型辅助的表示学习、理论可解释性和可重复性基准测试的未来方向。

为了提供方法论领域的清晰概览，现有的深度子空间聚类方法根据视图建模和潜在空间特征进行了系统分类。如图1所示，本综述中回顾的方法被分为四个主要组：单视图线性模型、单视图非线性模型、多视图线性模型和多视图非线性模型。

本文的其余部分组织如下：第2节回顾了子空间聚类、深度表示学习和多视图聚类的理论基础。第3节介绍了深度子空间聚类方法，涵盖了单视图和多视图模型及其主要结构和优化机制。第4节介绍了基准数据集和评估指标，并进一步分析了代表性DSC方法的性能。第5节讨论了不同领域的代表性应用场景。第6节讨论了DSC的主要挑战和未来方向，包括可扩展自我表达学习、在不完美数据下的鲁棒建模、语义和理论理解以及可重复评估。第7节总结了本综述。表1显示了深度子空间聚类中常用的符号及其描述。

子空间聚类
子空间聚类的目标是描述嵌入在高维数据中的多个潜在低维结构。设数据集表示为X={x1,x2,…,xn}??D。
假设数据来源于未知的低维线性或仿射子空间的并集。线性子空间在线性组合下是封闭的，并且必然包含原点，而仿射子空间是平移的线性子空间，因此不一定通过原点。

深度子空间聚类
在回顾代表性的DSC方法之前，我们需要澄清本节中的线性和非线性术语是指子空间关系建模和潜在空间假设，而不是神经网络架构。由于大多数DSC框架使用非线性编码器、解码器或特征转换模块，这种区别并不表示网络本身是线性的。
具体来说，线性DSC指的是通过传统线性方法描述潜在子空间关系的方法。

数据集和比较实验评估
在介绍数据集和基准结果之前，应该明确本节中的比较表格旨在总结代表性DSC研究中的性能趋势，而不是在完全统一的实验协议下建立严格排名。尽管这些方法通常在ORL、Extended Yale B、COIL-20、MNIST、UCI Digits和BBCSport等基准上进行评估，但报告的结果可能在数据预处理、特征提取等方面有所不同。

应用分析
深度子空间聚类已被应用于视觉分析、高光谱遥感、生物信息学和文本挖掘。为了使应用分析更具诊断性而非领域描述性，本节围绕这些数据展示的主要结构挑战进行了组织。因此，我们研究了DSC如何应对四种反复出现的问题类型：高维视觉变化和非线性外观变化；谱空间耦合和图拓扑依赖性。

挑战和未来方向
尽管深度子空间聚类（DSC）在表示学习、结构规则化和多视图建模方面取得了显著进展，但仍有一些挑战限制了其可扩展性、鲁棒性、可解释性和可重复性。为了区分可以立即采取行动的问题和需要更根本进步的问题，本节按照时间范围划分了研究议程。短期优先事项包括可扩展的自我表达、在 imperfect 数据下的鲁棒性。

结论
本综述从表示学习和子空间结构建模的角度回顾了深度子空间聚类。现有方法被组织为单视图线性模型、单视图非线性模型、多视图线性模型和多视图非线性模型。审查表明，DSC已经从将自我表达嵌入到深度网络发展到涉及结构规则化、跨视图协作、判别学习和非线性潜在的更灵活的框架。

CRediT 作者贡献声明
魏秀秀：撰写 - 原始草稿、方法论、形式分析、概念化。
杨文涛：撰写 - 审阅与编辑、可视化、验证、数据管理。
黄华娟：撰写 - 审阅与编辑、监督、项目管理、资金获取。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系，这些可能影响本文报告的工作。

致谢
本工作得到了中国国家自然科学基金（编号62266007）、广西自然科学基金（编号2021GXNSFAA220068）、广西研究生教育创新项目（编号SA2500002881）和广西百色优秀青年人才计划的支持。
魏秀秀是中国广西民族大学人工智能学院的副教授和硕士导师，目前正在中国矿业大学攻读博士学位。他已经发表了30多篇学术论文，研究兴趣包括机器学习、数据挖掘和模式识别。

魏秀秀 | 杨文涛 | 黄华娟