稀疏子空间聚类的残差嵌入

《Neurocomputing》：Residual embedding for sparse subspace clustering

　　摘要：稀疏子空间聚类能够去除现实数据中的稀疏残差，如噪声、遮挡和异常值。然而我们发现，基于SSC的方法所丢弃的残差仍包含可用于进一步提升SSC分类性能的判别信息。为此，我们提出了稀疏子空间聚类的残差嵌入方法（RE-SSC），该方法充分利用分离出的残差嵌入来捕捉更丰富的判别特征。具体而言，该算法包含三个主要组成部分：首先引入残差嵌入机制，将分离出的残差投影到潜在子空间中，从而从残差中提取有用的特征向量；其次，通过利用稀疏系数来学习子空间投影，以保留残差向量在原始空间中的结构信息；最后，提出一种统一的学习框架，整合这些组件以提高传统子空间聚类方法的分类精度。在多个现实数据集上的大量实验验证表明，与现有的最先进方法相比，RE-SSC方法具有更出色的分类性能。

引言：稀疏子空间聚类（SSC）因其能够在多个低维子空间中划分数据而受到多个领域的广泛关注[1]。SSC的基本原理认为，同一簇内的数据点可以表示为彼此之间的稀疏线性组合，从而有助于识别潜在的子空间结构[2]、[3]、[4]。SSC方法假设数据存在于多个低维子空间中，不同类别的样本属于不同的子空间，每个样本都可以作为同一子空间内其他样本的稀疏线性组合来表示[5]。这意味着，纯净的数据可以从稀疏系数矩阵中完美重建出来[6]。因此，SSC方法常被用于将纯净数据与稀疏残差分开，其中纯净数据指的是子空间内的正常样本，而稀疏残差则包括异常值、噪声和离群点[7]、[8]。SSC方法研究的主要方向之一是提高原有SSC框架的计算效率。Wang等人[9]提出了一种基于注意力加权的SSC方法，能够自适应地强调相关特征，尤其是在复杂数据场景下提升聚类性能。还有多项研究尝试将模糊逻辑引入SSC框架，以处理非线性和模糊的数据结构[10]。Chen等人[11]针对红外图像分割任务，提出了一种模糊稀疏子空间聚类方法，利用模糊聚类的隶属度信息来整合全局相关性，进而更好地处理非线性样本。近期的研究越来越多地考虑采用多视图和自适应策略来进一步完善子空间聚类[12]、[13]、[14]。Deng等人[15]开发了一种自适应多粒度SSC方法，旨在捕捉多个尺度上的数据结构。此外，还有多项研究[16]、[17]持续探索将深度学习和字典学习技术融入SSC模型，以提高其表达能力和聚类精度。SSC研究的第二个主要方向是提升方法的鲁棒性。Qin等人[18]提出了一种基于最大块能量引导的方法，通过在目标函数中建模误差结构，旨在消除投影空间中的误差，从而在噪声环境下提高聚类精度。Kopriva[19]提出了一种鲁棒核稀疏子空间聚类（RKSSC）算法，用于处理被稀疏噪声严重破坏的数据。这些方法通过引入核方法并解决基于-l范数建模的局限性，增强了聚类结果在噪声环境中的鲁棒性[20]、[21]。Dongle等人[22]通过对表示矩阵施加-l范数约束，来提高SSC对异常值的鲁棒性，从而识别并排除那些被严重破坏的数据点，使其无法参与其他点的线性表示；同时，他们对误差矩阵也施加-l范数约束，进一步增强对异常值的抵抗能力。这些研究展示了多种策略——从能量引导、核方法、矩阵分解到鲁棒优化框架——推动了鲁棒稀疏子空间聚类技术的发展，使其能够有效处理复杂、含噪声且高维度的数据。尽管基于SSC的方法已能实现不错的分类性能，但仍有若干重要局限有待解决。为保持子空间的稀疏表示特性，现有方法要么直接丢弃稀疏残差，要么仅将其用于异常检测。然而初步研究[23]表明，通过SSC分解得到的稀疏残差包含重要的判别信息。如图1所示，SSC分离出的稀疏残差能够保留物体明显的边缘轮廓。对于人脸图像，残差可能捕捉到面部轮廓、面部关键点边缘以及皱纹细节；而对于物体图像，残差则可能编码全局轮廓、纹理以及局部形状特征。出现这种现象是因为边缘处的结构不连续性代表了超出稀疏子空间模型解释能力的数据结构，子空间学习的优化目标会自然地将这类结构过滤到残差部分。因此，残差并非“纯粹的噪声”，而是蕴含着隐性的局部判别信息。此外，SSC分离出的纯净数据部分中的主要特征与残差嵌入所呈现的特征具有互补性。因此，丢弃含有判别信息的稀疏残差会浪费现有的图像信息，不利于全面挖掘特征价值。为解决这些局限，我们提出了一种名为RE-SSC的稀疏子空间聚类残差嵌入方法。首先，我们设计了一种新的映射函数，将稀疏残差投影到低维特征空间，从而得到残差嵌入（RE）。随后，将这些嵌入与SSC分离出的纯净数据部分中的主要特征融合在一起，形成更为全面的联合特征表示。通过充分利用稀疏残差嵌入，我们可以提取出原始SSC模型未能解释的潜在判别信息，从而提升特征的区分度和模型性能。其次，我们将SSC与低维子空间学习相结合，以解决最优线性投影问题。低维投影能够放大子空间内的线性关系，使得稀疏表示能更准确地描述样本间的全局结构。第三，我们在RE-SSC中对稀疏系数矩阵施加自适应加权，以便充分利用残差嵌入中所包含的判别信息。在子空间重叠且样本量有限的复杂场景中，经过自适应加权的表示矩阵能够更精确地反映样本的子空间归属：同类样本对应的系数会变得更密集，而不同类样本对应的系数则会变得更稀疏。总之，本工作的贡献如下：•该方法揭示了SSC分离出的稀疏残差包含有效的局部判别信息，这些信息能够补充纯净数据的主要特征，突破了以往将残差视为仅需丢弃或仅用于异常定位的观念。•通过残差嵌入融合，该方法设计了新的映射函数，实现对残差的低维投影，并将其与主要特征无缝整合，构建出更为全面的联合特征表示，提升了特征的区分度。•该方法将SSC与低维子空间学习相结合，共同优化投影矩阵，同时对稀疏系数矩阵施加自适应加权，从而在复杂场景中更准确地判断样本的子空间归属。其余章节安排如下：第2节简要回顾稀疏子空间聚类算法和保局投影算法；第3节详细介绍所提出的方法、优化过程及分析结果；第4节展示在多个现实数据集上与几种最先进方法的对比结果；第5节给出本文的结论。

章节片段：
稀疏子空间聚类：稀疏子空间聚类（SSC）是一种无监督的子空间聚类算法，其基本前提是高维数据通常分布在多个低维子空间的并集中。该算法的核心理念是，每个样本都可以表示为同一子空间内其他样本的稀疏线性组合。通过利用这种稀疏性，可以构建相似性矩阵来捕捉样本之间的关系，之后再通过谱聚类进行处理。

残差嵌入：在本文中，我们研究的是包含异常值、噪声和遮挡等残差的数据点的聚类问题。假设第i个数据点可以表示为，其中由纯净部分和包含稀疏元素的残差向量组成。基于样本的稀疏自表示特性，纯净数据点可以用其他数据点来表示，即，其中表示稀疏表示系数。由于纯净数据点恰好位于子空间并集上，我们……

实验设置：我们在多种常见的现实数据集上进行了实验，这些数据集如图1所示，包括人脸照片、小型物体照片、手写数字或字母、字母发音数据、网页数据，同时还包含了小型数据集和非常大的数据集，这些数据集有助于更全面地验证稀疏子空间聚类方法。各数据集的详细信息如下：•AR [31]。AR人脸库是由Aleix Martinez创建的……

结论：为克服现有稀疏子空间聚类方法的局限性——它们忽视了稀疏残差中蕴含的判别信息，且对子空间结构的描述不够充分——本文提出了稀疏子空间聚类的残差嵌入方法（RE-SSC），这是一种融入了残差嵌入技术的稀疏子空间聚类方法。RE-SSC通过三项关键的创新设计有效地解决了这些缺陷。首先，它设计了一种新的映射函数……

CRediT作者贡献声明：Wenyi Feng：撰写——初稿、验证、方法论、研究、资金获取、正式分析、概念构思。Jianqiang Huang：撰写——审阅与编辑、监督、项目管理、资金获取。

利益冲突声明：作者们声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：Jianqiang Huang表示获得了青海省重大科技项目的资助；Wenyi Feng则表示获得了中国国家自然科学基金的资助。如果有其他作者，他们也声明自己没有已知的可能构成利益冲突的财务利益或个人关系。

致谢：本研究得到了青海省重大科技项目（2024-GX-A3）和中国国家自然科学基金（项目编号62566049）的支持。Wenyi Feng在中国华东理工大学获得计算机科学博士学位，目前是青海大学的副教授，他的研究兴趣涵盖机器学习、模式识别以及子空间聚类领域。

Wenyi Feng | Jianqiang Huang
青海省信息技术中心，西宁，810016，中国