在全球和局部约束条件下，采用非负Tucker分解方法来提升张量聚类的效果

《Neurocomputing》：Globally and locally constrained non-negative tucker decomposition for enhanced tensor clustering

　　肖丽芳|尚东燕|梁坤|刘启龙
贵州师范大学数学科学学院，贵阳，550025，中国

摘要
非负Tucker分解是一种强大的张量分解工具，适用于高维多模态数据中的降维和特征提取。然而，传统的非负Tucker分解及其变体通常侧重于保持局部几何结构，但无法捕捉全局数据特征，这可能导致判别表示效果不佳。为了解决这一限制，我们提出了一种称为“全局和局部约束非负Tucker分解用于增强张量聚类”（GLNTD）的新方法。该方法引入了基于中心化Gram矩阵分析的全局结构约束，以促进块对角亲和结构，从而增强全局聚类可分性。这一全局项与传统的图拉普拉斯正则化器结合在一个统一的优化框架中，同时保持全局聚类分布和局部流形几何结构。我们开发了一种高效的多重更新算法来解决优化问题，并提供了其收敛性的严格证明。在八个真实世界数据集上的广泛实验表明，GLNTD在多个聚类指标上始终优于现有的张量分解方法，验证了其在学习具有判别性和结构保持性表示方面的有效性。

引言
在数据丰富的环境中，数据维度和复杂性的指数级增长对知识发现提出了严峻挑战。因此，从高维多模态数据集中提取有价值的信息和潜在模式已成为机器学习、计算机视觉和生物信息学的核心任务[1]。传统的降维方法，如主成分分析（PCA）[2]和非负矩阵分解（NMF）[3]，依赖于原始数据的向量化或矩阵化。然而，这种处理破坏了数据的内在多维结构。例如，将彩色图像向量化会合并空间和通道信息，丢失关键的结构相关性[4]。

为了解决这一限制，张量分析作为一种更自然的框架应运而生，它保留了数据的多维组织并捕捉了跨模态交互，从而产生更可解释的表示[5]。张量分解的理论基础已经得到了广泛研究，开创性工作建立了多线性代数的数学框架[5]。最近的进展将张量应用扩展到了包括信号处理[6]、深度学习[7][8]和生物医学数据分析[9]在内的多个领域。基于张量的方法在各个领域都展示了有效性。例如，Welling等人[10]利用张量分解在图像处理中保持空间关系，提高了特征提取的准确性；Pan等人[11]利用张量模型捕捉高光谱数据中的光谱-空间相关性，提高了解混性能；Yin等人[12]将张量分析与流形学习结合用于聚类应用，保持了数据的几何结构以获得更好的可分性。在这些张量方法中，非负Tucker分解（NTD）自Kim等人[13]引入以来受到了广泛关注。该方法将高阶张量分解为核心张量和具有非负性约束的因子矩阵，实现了基于部分的表示并保留了多线性结构。NTD在模式识别[14]、特征降维[15]和数据压缩[16]方面取得了显著成功。

尽管NTD具有优势，但它也存在固有的局限性。作为一种线性模型，它主要只捕捉数据的内在结构[17]，而忽略了关键的局部几何结构。大多数实际数据集，包括图像和脑电图（EEG）信号，都位于低维非线性流形上，在原始高维空间中相距较远的点在内在流形上可能是接近的邻居。忽略这种几何结构会导致特征表示不完整[18]。在各种降维技术中，如局部线性嵌入[19]和拉普拉斯特征映射[20]中，已经认识到保持局部结构的重要性，这些技术表明保持局部邻域对于维持高维数据的内在几何结构至关重要。这些原则已成功扩展到基于张量的方法[21]。例如，在Tucker分解框架内，Qiu等人[22]提出了图正则化非负Tucker分解（GNTD），它引入了最近邻图拉普拉斯正则化器来强制因子空间中的局部平滑性。同样，Yu等人[23]将图正则化引入非负张量环模型，得到了图正则化非负张量环分解（GNTR）方法。尽管有这些进展，当前的方法仍然面临两个关键缺陷。首先，它们通常依赖于从原始数据中启发式构建的静态图。因此，它们的性能对预定义图的质量非常敏感，如果初始构建未能准确捕捉底层流形结构，性能可能会显著下降[24]。更重要的是，它们的目标公式存在根本性缺陷：它们仅专注于保持局部几何关系，而完全忽略了数据的全局结构和可分性。通过仅关注局部邻域，这些方法未能在潜在空间中促进足够的类间分离，从而限制了它们在聚类等判别任务中的有效性。

全局特征，如整体聚类结构和光谱方法捕获的样本间关系，反映了数据分布中的基本全局趋势，这对于学习稳健的表示至关重要[25]。然而，NTD的最新进展主要集中在细化局部约束上，而忽略了全局考虑。例如，Liu等人[26]提出了图平滑非负Tucker分解（GSNTD），增加了Lp范数平滑约束以提高解决方案的稳定性，同时仍然优先考虑局部几何结构。Liu等人[27]进一步开发了自加权多图正则化非负Tucker分解（AMGRNTD），它使用自适应多图学习更全面地建模局部邻域，但仍未能结合全局统计依赖性。最近，Liu等人[28]提出了超图正则化判别NTD（HRDNTDLI），它通过超图捕捉复杂的高阶关系；然而，它仍然依赖于局部流形结构或先验标签，并且没有以无监督的方式显式优化全局聚类结构。这种对局部一致性的强调往往导致表示效果不佳，特别是对于噪声或多模态数据，其中全局趋势和局部细节都至关重要。

在本文中，我们提出了一种称为“全局和局部约束非负Tucker分解用于增强张量聚类”（GLNTD）的方法，旨在将数据的全局和局部几何结构纳入一个统一的框架。GLNTD在张量分解领域中占据了一个独特的地位。虽然之前的方法，如Xue等人[29]强调用于图像重建的位移不变层次字典，以及其他方法[30][31]主要关注分解保真度或算法稳定性，但GLNTD是为一个根本不同的范式设计的：专门为聚类量身定制的判别性潜在特征发现。其核心贡献在于从中心化Gram矩阵分散中得出的新全局约束。与优先考虑近似精度的传统框架不同，这一目标主动重塑潜在流形以诱导块对角亲和模式，从而直接增强聚类可分性。通过将这种全局结构分散与局部几何平滑性协同结合，GLNTD有效地缓解了局部限制的视角，并将重点从被动的数据重建转变为主动的、考虑聚类的表示学习。我们的消融研究通过实验证明了这种判别架构的必要性，其中省略全局约束会导致聚类性能明显下降。

本文的主要贡献有三个方面。首先，我们提出了GLNTD，这是一个新框架，它将基于最大化中心化Gram矩阵分散的全局结构约束与传统的局部图正则化相结合。这一统一模型直接解决了先前方法中固有的局部限制视角。其次，我们为这种方法提供了严格的理论基础，证明了派生优化算法的收敛性，并对全局约束提供了明确的统计解释。最后，在八个基准数据集上的广泛实验表明，GLNTD在多个指标上始终优于九种现有的竞争方法，证实了我们联合全局-局部建模在聚类方面的有效性。

本文的其余部分组织如下。第2节介绍了非负Tucker分解和图正则化NTD的基本概念。第3节介绍了两个关键的结构约束：用于保持全局结构的分散中心化Gram矩阵和用于增强特征判别的正交性约束。第4节提出了所提出的GLNTD模型的完整公式，开发了优化算法并进行了收敛性分析，并讨论了计算复杂性。第5节提供了在八个基准数据集上的全面实验评估，将GLNTD与现有方法进行了多指标比较。最后，第6节总结了本文并提出了未来研究的有希望的方向。

**符号说明**
本节描述了后续内容中使用的数学符号和运算符。为了清晰起见，相关符号及其相应的解释在表1中进行了总结。

**非负Tucker分解（NTD）**
NTD [13]将NMF [3]扩展到高阶数据。它保留了非负性约束，从而提高了可解释性。给定一个th阶非负张量，NTD通过多线性积将其分解为一个核心张量和一组非负因子矩阵（），其中表示模式积[5]。

**通过中心化Gram矩阵保持全局结构**
大多数现有的图正则化张量分解方法仅专注于保持局部邻域结构。虽然这对流形学习有效，但这种方法往往无法捕捉数据的全局分布，导致表示缺乏明显的聚类边界。为了克服这一点，我们引入了基于Gram矩阵统计分析的全局约束。

**模型构建**
基于前面的讨论，GLNTD框架整合了三个关键组件，形成了一个协同的表示机制。具体来说，采用图正则化局部结构学习来保持流形几何结构，确保附近的数据点在潜在空间中保持接近。为了补充这一局部视角，引入了基于中心化Gram矩阵的全局结构学习，以最大化成对相似性的分散，从而诱导出...

**实验**
在本节中，我们在八个流行的数据集上评估了所提出的GLNTD方法的性能，将其与包括NTD [13]、GNTD [22]、NTR [37]、GNTR [37]、GDNTD [38]、AMGRNTD [27]、GSNTD [26]、HRDNTDLI [28]和深度自动编码器（DAE）在内的现有方法进行了比较。为了保持方法论的严谨性并确保公平比较，我们的实验按照已建立的张量分解评估原则[39][40]进行组织。

**结论与未来工作**
本文提出了GLNTD，这是一种新的非负Tucker分解框架，它通过图拉普拉斯正则化和中心化Gram矩阵分散最大化整合了全局和局部结构约束。所提出的方法在保持局部几何保护和全局聚类结构特征的同时，通过非负性约束保持了可解释性。我们开发了一个具有多重更新规则的优化框架，并提供了严格的...

**CRediT作者贡献声明**
肖丽芳：撰写——审阅与编辑、撰写——原始草稿、可视化、调查、形式分析。
尚东燕：撰写——审阅与编辑、调查、形式分析。
梁坤：撰写——审阅与编辑、可视化、方法论、调查、数据整理。
刘启龙：撰写——审阅与编辑、撰写——原始草稿、方法论、资金获取、形式分析、概念化。

**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

**致谢**
本研究得到了中国国家自然科学基金（项目编号12461072和12061025）、贵州省基础研究计划（自然科学）（项目编号QKHJC-ZK[2023]YB245）以及贵州师范大学学术青年学者基金（项目编号QSXM-2021-B06和QSXM-2021-A06）的支持。
肖丽芳是贵州师范大学的硕士研究生。她的工作主要涉及矩阵分解和张量分解理论，特别是Tucker分解及其在聚类中的应用。