基于信息解耦的双分支非负矩阵分解在多视图聚类中的应用

《Neurocomputing》：Dual-branch non-negative matrix factorization guided by information decoupling for multi-view clustering

　　摘要：非负矩阵分解在多视图聚类任务中表现出良好效果。然而，现有方法大多依赖单一的低维表示，这降低了跨视图一致性信息的建模能力，也难以明确表征各视图特有的互补信息。为克服这一局限，我们提出了信息解耦双分支非负矩阵分解方法。该方法引入加性分解机制，将每个视图的潜在表示分解为一致性成分和互补成分，并通过解耦正则化项促使二者保持弱正交性。此外，该算法还采用双分支流形正则化框架结合自适应视图权重学习机制，以保留各分支的几何结构，同时动态调整各视图的对整体表示的贡献度。在六个基准多视图数据集上的实验结果表明，ID-DBNMF的性能始终优于多种常见的基于NMF的方法，充分体现了信息解耦在多视图表示学习中的有效性。

引言：在实际应用中，数据往往来自不同来源或采用不同模态，从而形成多视图数据，其中同一实例会通过多种互补但不同的特征来表示[7][16]。因此，在机器学习中处理多视图数据时，整合各视图间的互补信息至关重要。在多视图聚类任务中，原始数据受噪声、冗余和高维性影响，直接进行聚类十分困难。为解决这一问题，现有方法大多采用两阶段策略：首先学习紧凑的低维表示，然后再进行聚类[2][35]。目前用于多视图聚类的表示学习方法可大致分为子空间学习[6][17][37]、深度学习[39][42][43]以及非负矩阵分解[26][30]三类。前两类方法要么存在非线性建模能力不足的问题[45]，要么可解释性较差且计算成本高昂[36]；而NMF则提供了一种颇具前景的替代方案，它兼具较强的可解释性和高效的潜在结构学习能力。自NMF在[20]中被提出以来，人们在单视图场景下对其进行了诸多扩展，包括加入稀疏性约束[15]、正交性约束[10]以及流形正则化[5]，近期还有针对高阶数据和动态数据的张量基形式扩展[29][40][41]。对于基于NMF的多视图聚类方法而言，有效的表示学习需同时考虑各视图间共享的一致性信息以及各视图特有的互补特性[13]。据此，现有方法可大致分为内在融合和事后融合两类。内在融合是将共同表示直接纳入优化框架，还可进一步分为宽松一致性方案和严格一致性方案；而事后融合则采用两阶段策略，先学习各视图特定的低维表示，再将其聚合为统一表示。在宽松一致性范式中，Liu等人[30]提出了多视图NMF方法（MultiNMF），用于学习各视图间的共同表示。随后，Li等人[25]将该框架扩展为具有分层流形正则化的深度架构，以更好地保留几何结构并捕捉复杂特征。Zhang等人[46]进一步将分割对齐机制引入深度半NMF框架（MVC-DMF-PA），提升了共同表示与分割表示之间的一致性。最近，Peng等人[36]提出了基于双重约束的半监督NMF方法（DSNMF），该方法同时利用点级标签和超图层面的成对约束。尽管取得了这些进展，但依赖预定义正则化的宽松一致性方法仍可能将噪声或不一致的信息传递到共同表示中，进而削弱各视图特有的互补信息。由于结构简洁且计算效率高，严格一致性方法近年来越来越受到关注。耦合矩阵分解（CMF）[1]是共识学习领域的代表性框架[31]。在CMF的基础上，Zhao等人[47]开发了基于深度半NMF的多视图聚类方法（DMF-MVC），它在最终层强制要求所有视图拥有相同的表示矩阵。局部残差保持NMF方法[24]则通过引入基矩阵居中和稀疏约束，进一步扩展了CMF框架，用以学习共同表示。在半监督场景下，有一种方法结合了数据空间和特征空间的约束以及嵌入标签的正则化机制[21]，还有另一种方法采用具有自适应标签传播功能的NMF框架，能够同时更新图权重并传播标签[23]。然而，这些方法中对共同表示的严格约束往往会抑制各视图特有的特征，导致精细的互补信息丢失。为解决单一共识矩阵无法有效捕捉各视图特性的问题，Luong和Nayak[32]提出了一种用于学习多视图数据的共识信息和互补信息的框架（2CMV），它是基于矩阵拼接对CMF的扩展，其中共识信息与作为各视图特定因子平均值的互补表示相互解耦。随后，Gunawardena等人[14]将2CMV扩展为多层架构，用于深度特征提取（DCCNMF），在该框架中，各视图特定的表示会在最终层通过均匀求和的方式被聚合。不过，这些方法都会线性增加潜在特征的维度，而且对各视图特定因子的聚合方式也未能充分考虑不同视图之间的贡献差异。事后融合范式通常也采用两阶段策略。其中一种方法是共正交约束NMF（NMF-CC）[28]，它通过学习独立的基矩阵来捕捉同一视图内的多样性。在正交性约束的基础上，Luong等人[33]开发了一种多层NMF框架，该框架还加入了视图表示对之间的多样性约束，并通过事后平均方式得到共识表示（ODD-NMF）。从鲁棒性角度出发，也有不少事后融合方法被设计出来。具体而言，Li等人[22]提出了一种带有多样性约束和自适应图机制的基于NMF的多视图聚类方法，称为RMvNMFAD。基于NMF的中心图正则化对数范数稀疏方法（CRLSNMF）则通过改进非线性关系的建模方式，进一步提升了方法的鲁棒性[11]。沿着这一思路，Pan等人[34]提出了结合低秩学习和超图学习的稳健深度矩阵分解方法（RDMFLRH），该方法采用了反正切损失函数。虽然这些方法都展现出了不错的性能，但共识信息与互补信息往往仍然相互纠缠，而且简单的融合策略容易忽视视图间的差异，从而限制了聚类效果。尽管现有的基于NMF的多视图聚类方法已经取得了不错的成果，但在表示学习和信息融合方面仍存在若干挑战。首先，现有方法难以同时学习并有效地融合共识信息与各视图特有的互补信息，导致这两种信息在所学到的表示中要么相互纠缠，要么失衡。其次，虽然图正则化被广泛用于保留几何结构，但现有方案主要关注共识信息，可能忽视了各视图独有的结构特征。第三，在学习共识信息时，大多数方法对所有视图的权重分配相同，没有考虑到不同视图的局部几何结构与共识结构的匹配程度存在差异。基于上述问题，我们提出了信息解耦双分支非负矩阵分解方法，这是一种全新的框架，它能明确地将每个视图的潜在表示分解为共识成分和互补成分。独立的流形正则化机制可以保留这两种成分的几何结构，而自适应视图权重机制则能调整每个视图对共识几何结构以及最终融合表示的影响程度。整个框架如图1所示，其主要贡献如下：•我们设计了一种采用加性分解策略的信息解耦表示学习方案，该方案有助于协同建模跨视图一致性特征与各视图特有的区分性模式，从而缓解多视图NMF中的信息纠缠问题。•ID-DBNMF采用了双分支图正则化方案，该方案利用共识表示和互补表示的流形信息，分别保留这两种表示的几何结构。此外，该方法还引入了自适应视图权重机制，用以凸显每个视图独特的贡献，从而充分利用各视图间的多样性，获得更完整的融合表示。•我们设计了高效的迭代优化流程，并从理论上证明了其收敛性。通过在六个基准数据集上进行的大量实验，进一步验证了ID-DBNMF的有效性。本文的其余部分结构如下：第2节介绍相关预备知识，第3节阐述ID-DBNMF方法及其优化算法和收敛性分析，第4节报告实验结果，第5节对全文进行总结。

片段1：NMF
对于一个包含个观测值的非负数据矩阵，NMF的基本思想是通过学习两个低秩非负因子——基矩阵和系数矩阵——来近似输入数据。通过使用弗罗贝尼乌斯范数来量化重构误差，相应的目标函数可表示为[19]。NMF已在包括人脸图像分析[27]、文本文档聚类[44]等多个领域展现出显著的应用效果。

方法论
本节介绍了ID-DBNMF框架，包括模型构建、更新规则、收敛性分析以及计算复杂度。

数据集
表1详细列出了用于实证评估的六个基准数据集的统计特征。
(1)3
数据源1：该数据集汇集了三家主流媒体发布的新闻文章，共包含169个样本，涵盖六个主题。来自这些独立来源的文本构成了三种互补的特征视图。
(2)20
NewsGroups 2：这是一个广泛使用的新闻组文档集合，该数据集包含……

结论
为了解决在多视图聚类中有效整合一致性信息与互补信息这一难题，本文提出了一种信息解耦双分支非负矩阵分解方法。具体而言，该算法构建了双分支框架，明确将共识表示与互补表示分开。通过施加不同的流形约束，该方法能够有效保留共识结构与各视图特有的几何结构。此外，该方法还采用了可学习的视图权重机制……

CRediT作者贡献声明
龚明霞：撰写——初稿、软件实现、方法设计、研究实施、概念构思。冷成才：撰写——审稿与编辑、项目指导、方法设计、资金申请。李宁：软件实现、研究实施、数据整理。裴兆：可视化处理、软件实现、资金申请。彭金叶：可视化处理、形式化分析、概念构思。程伊琳：撰写——审稿与编辑、项目指导、研究实施。阿努普·巴苏：撰写——审稿与编辑、项目指导、资金申请。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
本研究部分得到了中国国家自然科学基金项目（编号62471281）、陕西省自然科学基础研究计划项目（编号2025JC-YBMS-772）、加拿大自然科学与工程研究委员会、阿尔伯塔省创新发现补充基金以及陕西省重点研发计划项目（编号2024GX-YBXM-08）的支持。龚明霞目前在中国西安西北大学数学学院统计学专业攻读硕士学位，她的研究兴趣包括图像处理、非负矩阵分解以及多视图聚类。
龚明霞|冷成才|李宁|裴兆|彭金叶|程伊琳|阿努普·巴苏
中国陕西省西安市710127，西北大学数学学院