基于层次动态图的自适应可靠性耦合深度半NMF多视图聚类

《Neurocomputing》：Adaptive reliability-coupled deep semi-NMF with hierarchical dynamic graphs for multi-view clustering

　　

摘要

深度半NMF（Deep Semi-NMF）为多视图聚类提供了一个可解释的框架，但其性能既依赖于可靠的表示学习，也依赖于邻域关系的保持。现有方法通常将样本可靠性与图更新独立处理，导致不可靠样本可能扭曲潜在几何结构，而反复的图重建又可能丢弃有信息量的邻域关系。为解决这一问题，我们提出了可靠性耦合的层次化动态图深度半NMF（RHDG-DSNMF）。其核心机制将样本级可靠性估计与支持连续的图演化相结合，使学习到的表示能够指导图优化，同时将图支撑结构在迭代过程中、层次间以及视图间进行传递。这种联合优化在不将图固定于初始几何结构的前提下保留了结构连续性。在六个公共多视图数据集上的大量实验表明，该方法在与代表性基于NMF的多视图聚类方法相比时具有竞争力。

引言

许多现实世界中的对象由异构特征集来描述。文档可能使用不同的词表，而图像可能包含颜色、纹理和形状描述符。多视图聚类通过利用这些表示之间的一致性与互补性来寻找共同的分区[1], [2]。非负矩阵分解（NMF）在这一任务中颇具吸引力，因为它能产生低维、加性且通常可解释的编码[3], [4]。它与谱聚类及正交三分解的关联也解释了其在发现分区时的有效性[5], [6]。半NMF通过允许混合符号的基矩阵同时保持非负编码，将此灵活性扩展到实值特征[7]。

然而，浅层分解可能无法捕捉层次化潜在结构。深度半NMF和深度矩阵分解引入了逐层分解以克服这一局限[8], [9], [10]。与此同时，共识分解与图正则化对齐各视图并保留局部邻域关系[11], [12], [13]。后续研究引入了深度图正则化[14]、逐层自适应图与深度图优化[15], [16]、鲁棒样本或视图加权，以及编码器-解码器分解[17], [18]。近期工作研究了信息解耦的NMF分支[19]、可扩展或张量化的图融合[20], [21]、鲁棒结构正则化[22]，以及联合局部-全局几何[23]。这些进展增强了表示深度、鲁棒性或几何保持能力。然而，可靠性估计与邻域演化在视图之间和层次之间仍然大多处于解耦状态。

这种分离造成了两个相互关联的建模局限。首先，独立地从当前表示重新构建每个图会突然改变其支撑结构并丢弃有信息量的历史边。这种不连续性削弱了邻域监督，并阻碍了结构在相邻层和视图之间的传递。其次，样本污染、视图影响和层次相关性在不同的粒度上运作。独立处理会让不可靠的观测或表示扭曲共享编码及其演化图。在输出阶段也出现了类似的局限。最深的编码可能强调高层语义，却遗漏了有用的低秩或局部谱几何信息。因此，核心挑战在于协调可靠性估计与图演化，并且仅在无标签证据支持时才保留互补的几何信息。

我们通过一个新的深度半NMF框架来解决这一挑战，称为可靠性耦合的层次化动态图深度半NMF（RHDG-DSNMF）。图1展示了其各主要组件之间的相互作用。在优化过程中，样本级IRLS可靠性用于调节个别观测。有界的视图与层次系数平衡重建项和图项。对于每个视图-层次对，RHDG-DSNMF基于当前邻域、历史边、相邻层支撑结构和跨视图共识重新估计动态图。这种支持连续的更新允许几何结构演化，而无需将每次刷新视为独立的图学习问题。解码器转置一致性将优化后的编码与预训练的分解联系起来。优化完成后，一个置信门控机制在图一致性和谱分离性提供充分证据时，组合深度几何、低秩几何和局部谱几何；否则，门控恢复参考权重输出。

主要贡献总结如下：

• •
  我们在深度半NMF中构建了一种可靠性耦合、支持连续的层次化图演化机制。在最深层，样本级IRLS可靠性调节共享编码$$；由于$$，该编码为图刷新提供几何结构，而演化后的图又反过来正则化$$的后续更新。候选支撑结构在迭代过程中、相邻层次间以及视图间进行传递。这种闭环协调将表示鲁棒性与邻域演化联系起来，而无需将每次图刷新视为独立的重建问题。
• •
  为了稳定这一核心优化过程，我们在同一目标函数中引入了有界的视图-层次调节和解码器转置一致性。前者防止过早排除某些分量，后者保持优化表示与无图预训练之间的联系。
• •
  除核心优化外，我们还设计了一个辅助的置信门控多几何输出，用低秩和局部谱信息来补充优化后的编码。图一致性和谱分离性决定是否在无标签情况下调整几何权重；否则，门控恢复参考权重输出。

在六个公共多视图数据集上的实验表明，该方法在与代表性基于NMF的方法相比时具有竞争力。消融实验、敏感性分析、收敛性及图演化分析进一步验证了主要机制。

本文其余部分组织如下。第2节回顾相关工作。第3节介绍模型和优化过程。第4节描述实验协议和结果。第5节总结全文。

章节片段

NMF、半NMF与深度分解

设$$包含$$个样本。在标准NMF中，$$是非负基矩阵，$$是非负样本编码矩阵。半NMF将$$替换为混合符号基矩阵$$，同时保持非负编码[3], [7]：$$$$$$的列提供了可直接用于聚类的低维样本编码。由于只需编码保持非负，半NMF特别适合含有负元素的中心化或变换特征。

对于一个具有$$层的层次结构，设$$，令$$索引某一层，并令$$表示该层的

问题建模与模型概述

设$$表示同一$$个样本的$$个视图，其中$$。每列归一化为单位$$范数。对于一个$$层的深度半NMF模型，$$$$其中解码器因子$$可能具有混合符号。共享深度编码$$保持非负。逐层无图预训练产生$$、中间编码$$以及初始公共编码$$。相应地，$$、$$对应于$$，以及$$。

从这些无图因子出发，RHDG-DSNMF将样本可靠性与共享编码优化耦合起来。它还为每个视图-层次对演化一个图。

数据集

我们使用了六个涵盖文本、图像和手写数字表示的公共数据集：20Newsgroups,¹ 3Sources,² BBC4view,³ BBCSport,⁴ Handwritten2,⁵ 和

结论

我们提出了RHDG-DSNMF，这是一种具有支持连续层次化图演化的可靠性耦合深度半NMF框架。其图更新将当前邻域与历史结构、相邻层结构和跨视图结构相结合。解码器转置一致性将优化后的编码与无图预训练联系起来。优化完成后，一个辅助置信门控组合深度几何、低秩几何和局部谱几何。主要进展在于将样本可靠性与支持连续的

CRediT作者贡献声明

宋春丽：撰写初稿、软件、方法论。卢林章：撰写—审阅与编辑、方法论、形式分析、概念化。曾诚斌：验证、方法论、形式分析。

资助

本研究得到了国家自然科学基金（12161020, 12061025）、贵州省科学技术项目MS（编号：[2026]767）、贵州省科技计划项目（KXJZ[2024]002, CXTD[2025]024）、贵州省新型电力系统运行控制重点实验室（黔科合平台ZSYS[2025]007）、遵义科技计划项目（遵市科合HZ子（2024）第385号）、科学研究基金等的资助。

利益冲突声明

作者声明不存在已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

宋春丽，2009年获华北电力大学（保定）软件工程学士学位，2012年获贵州师范大学计算机应用技术硕士学位。目前就读于贵州师范大学攻读博士学位。当前研究方向包括遥感图像处理、矩阵分解和张量分解。

宋春丽|卢林章|曾诚斌