用于不平衡分类的渐进式瘦身-增重集成方法

《Engineering Applications of Artificial Intelligence》：Incremental slimming–fattening ensemble for imbalanced classification

　　郭杰|李婷|刘佳璐|万忠|张芳中国长沙410111，长沙师范学院数学科学学院摘要作为人工智能领域中的一种高效工具，非负矩阵分解被广泛用于数据聚类和特征提取。然而现有模型往往对噪声和异常值较为敏感，且在半监督环境下缺乏有效利用有限监督信息的机制。为解决这些问题，本文提出了一种基于半监督学习框架的鲁棒非负矩阵分解优化模型，该模型引入基于重建误差的损失函数以提高鲁棒性，同时采用自适应邻居诱导策略通过动态相似性图传递成对约束，并具备数据集自适应机制以优化样本相似性权重。针对该模型，我们设计了具有收敛性保证的高效优化算法。在12个公开的图像和文本数据集上的大量实验表明，所提方法在多种聚类指标上均优于现有最佳方法，证明了其在噪声环境中的有效性，以及利用监督信息提升聚类性能的能力。引言作为人工智能中重要的无监督学习方法，非负矩阵分解技术能够同时实现聚类、降维、基于部分的表示以及针对特定簇的特征选择——且无需预设样本间的关联关系（Peng等人，2022）。这一显著优势，再加上其良好的收敛性、更高的计算效率及数值稳定性，促使人们近年来大量研究针对非负矩阵分解的新的优化模型与算法，使其比一些传统方法如奇异值分解和主成分分析更受关注（Stewart，1993；Abdi和Williams，2010）。事实上，非负矩阵分解技术在复杂数据分析中有着广泛应用，比如文档聚类（Shahnaz等人，2006；Pei等人，2014）、通用数据与图像聚类（Chavoshinejad等人，2023；Seyedi等人，2017）、链接预测（Mahmoodi等人，2023）、社区检测（Liu等人，2023；Kong等人，2024；Luo等人，2021）、药理学研究（M.N. Wang等人，2022；Pinoli等人，2021；Zhang和Xie，2023；Gao等人，2023）以及生物信息学领域（Lee和Seung，1999；Wan等人，2025）。此外，随着聚类技术的不断突破，相关研究趋势也已拓展到矩阵分解之外。例如，所谓的核边界聚类技术无需进行特征值分解即可实现谱聚类的目标，从而克服了传统谱聚类的诸多局限（Zhang等人，2026）。在基于图的机器学习中，带有频率信号调制的聚类驱动扩散模型已被整合到变分图自编码器中，以此提升节点聚类性能。非负矩阵分解技术与图神经网络相结合，也可能从更多创新方向带来竞争压力（Cheng等人，2025a），进而重新审视表示学习和聚类领域的核心局限（Zhang等人，2025）。从数学上而言，非负矩阵分解旨在将数据矩阵分解为多个合适的非负因子矩阵，以提高模型的可解释性。自Paatero和Tapper提出这一基础模型以来（Paatero和Tapper，1994），人们对其各种变体进行了大量研究，以提升其理论性能和数值稳定性。例如，Cai等人（2010）提出了图正则化非负矩阵分解模型，利用图拉普拉斯矩阵来捕捉样本的潜在流形结构。与其他监督学习方法如图神经网络和支持向量机不同，非负矩阵分解及其变体属于本质上无监督的机器学习方法，无需任何标记信息即可实现聚类功能。此外，其收敛性保证、较高的计算效率以及与样本规模无关的特性，进一步凸显了非负矩阵分解类方法在高维数据聚类中的不可替代性。当存在部分标记数据时，可通过将标记信息整合到非负矩阵分解优化模型中，即构建半监督学习框架，从而使聚类过程更加高效。例如，在Lee等人（2009）、Liu等人（2011）、Babaee等人（2016）、He等人（2014）、Li等人（2017）、Xing等人（2021）以及C. Wang等人（2022）的研究中，所构建的模型都基于类别标签的精确信息建立了部分标记指示矩阵。在Wang等人（2015）、Jia等人（2019）、Chavoshinejad等人（2023）、Yin等人（2023）、Peng等人（2023）以及Mo等人（2024）的研究中，则在所建模型中加入了成对约束，用以强调数据对之间的同类归属关系。所有这些非负矩阵分解优化模型都属于半监督学习模式。总而言之，不同半监督非负矩阵分解方法之间的差异在于它们获取部分标记信息的机制各不相同。例如，Lee等人（2009）率先提出了数据和标签矩阵的联合分解方法。Liu等人（2011）随后通过定义约束矩阵，并用该矩阵与辅助矩阵的乘积替换传统的非负矩阵分解系数矩阵，建立了所谓的约束非负矩阵分解框架——后来Babaee等人（2016）又将其发展为一种具有判别功能的变体。Cai等人（2010）和He等人（2014）基于图正则化原理，开发出了一种利用部分聚类指示符来最小化低维表示与真实标签之间差异的模型。Li等人（2017）设计了一种能够利用块对角结构提升判别鲁棒性的框架。近期的进展还包括将图正则化与显式标签约束相结合的统一优化模型（Xing等人，2021），以及C. Wang等人（2022）将低维嵌入学习与正/负标签传播机制相融合的研究等。为更好地利用有限的监督信息，Wang等人（2015）提出了创新的CPSNMF框架，该框架在非负矩阵分解优化模型中加入了必须关联和不能关联两类成对约束，这些约束可从受限样本传递到未受限样本。为满足数据分解的需求，Jia等人（2019）随后构建了一个包含互补正则化的模型，该模型能够强制要求同类低维表示之间的相似度达到最大，而不同类表示之间则保持正交关系。在 these正则化的基础上，Chavoshinejad等人（2023）建立了非负矩阵分解优化模型的自监督半监督变体。Mo等人（2024）在Wang等人（2015）的成对约束传播思想基础上改进了C. Wang等人（2022）提出的非负矩阵分解优化模型，并通过实验证明了其在数值性能方面的优势。Yin等人（2023）设计了一种基于超图的对称非负矩阵分解方法，该方法通过在整个数据集中传播成对约束，充分利用有限的监督信息，从而生成更丰富的相似性矩阵，用于图像聚类。Peng等人（2023）进一步将该方法扩展到了多视图聚类场景。最近，Guo等人（2025）提出了一种新的半监督非负矩阵分解优化模型，该模型结合了超图诱导的标签传播和约束传播两种策略，并证明了其相较于其他七种类似方法的优越性。然而，所有这些半监督方法均未考虑利用损失函数来提升模型的鲁棒性，尤其是在处理含有噪声的数据集时。尽管现有的非负矩阵分解方法在聚类性能方面表现优异，但仍然存在两个显著缺陷：（1）相似性矩阵的构建往往忽略数据中固有的簇数量，从而导致生成的图中连接过多，无法准确反映数据的内在几何结构；（2）损失函数定义中依赖L2范数（弗罗贝尼乌斯范数），这可能使聚类性能对数据集中的噪声和异常值过于敏感，进而影响非负矩阵分解优化模型的鲁棒性。为突破上述局限，我们将在半监督学习框架下提出一种具有正则化策略的鲁棒自适应邻居诱导非负矩阵分解优化模型，命名为LCP-ANSRNMF。我们的基本思路如下：（1）首先从收集到的样本中构建基于自适应邻居的相似性矩阵，然后借助该矩阵，通过一种新的非负矩阵分解方法，将有限的监督样本点中的成对约束传递到所有样本，从而充分利用有限的监督信息；（2）在非负矩阵分解优化模型的目标函数中定义新的鲁棒损失项，并结合适当的正则化策略，旨在提升该方法的数值性能，尤其是利用所有样本间相似性的重建误差来增强其鲁棒性；（3）针对所构建的非负矩阵分解优化模型，我们将基于该模型的性质分析，设计一种交替更新算法，并证明其收敛性；（4）通过大量的数值测试，验证我们的模型和算法相较于现有最佳方法的优势，尤其是上述创新点的实际效果。基于以上思路，本研究的主要贡献可总结如下：（1）构建了一种新的非负矩阵分解优化模型：除了借鉴Guo等人（2025）、C. Wang等人（2022）以及Mo等人（2024）采用的标签传播策略外，该模型还首次采用了自适应邻居策略来构建相似性矩阵，为每个样本分配最优的自适应邻居。随后，利用构建的相似性矩阵，将受限数据点的成对约束传递到所有样本，从而得到一个“高质量”的亲和矩阵，进一步提升非负矩阵分解优化模型的理论性能，尤其是优化模型中的正则化策略效果；（2）为提升非负矩阵分解优化模型的鲁棒性，我们并未直接使用数据点残差值来计算损失，而是采用ln(x+1+x2)作为损失函数的表达式。这种改动的优点在于能够降低聚类性能对数据噪声的敏感性；（3）由于所构建的模型与现有文献中的模型存在差异，我们首先需要根据该复杂模型的结构特性和分析特性，推导出因子矩阵的更新公式，尤其要符合因子矩阵的最优性条件。之后，利用这些迭代矩阵的更新公式，我们设计了一种高效的算法，用以找到最优的聚类结果；（4）从理论上，我们将证明所开发算法的收敛性，并分析其计算复杂度。在计算层面，我们将通过大量数值实验，展示本文提出的建模方法和计算技术的实际效果，尤其是通过与现有最佳方法的对比，分析两种方法在整体数值性能上的差异。本文的其余部分结构如下：下一节将介绍与本研究相关的现有工作。第3节“构建新的非负矩阵分解优化模型”和第4节“开发具有交替更新策略的高效算法”将分别介绍新型非负矩阵分解优化模型的构建过程以及高效求解算法的设计。第5节用于分析模型的收敛性和计算复杂度。第6节将进行全面的数值实验。最后一部分则阐述结论与未来研究方向。相关工作传统的非负矩阵分解旨在将一个m×n的非负数据矩阵X分解为两个非负因子矩阵，即基矩阵U∈Rm×k和坐标矩阵V∈Rn×k。Lee和Seung（1999）首次将这一分解过程转化为一个优化问题：minU,V12‖X?UVT‖F2s.t.U≥0,V≥0，其中‖?‖F表示弗罗贝尼乌斯范数，(?)T表示矩阵转置。当存在样本标签时，Liu等人（2011）提出了约束非负矩阵分解模型，该模型……构建新的非负矩阵分解优化模型在本节中，我们将研究模型（6）的新的变体，这些变体在结构特性和分析性能上均优于模型（8）、（9）。开发具有交替更新策略的高效算法在本节中，我们将提出一种高效算法来解决模型（14）的问题，这一算法充分利用了对模型特性的分析所得到的见解。我们首先为模型（18）推导出一种交替迭代求解方案，具体步骤是从其目标函数的重新表述开始：O?(U,Z,F)=Tr(XWeXT)?2Tr(XWeFZUT)+Tr(UZTFTWeFZUT)+αTr(FTL?F)+βTr((F?Y)TS(F?Y))。令Ψ、Φ和Γ分别表示模型（18）中所有非负性约束U≥0、Z≥0和F≥0对应的拉格朗日乘子。然后，收敛性分析与计算复杂度。在本节中，我们建立了算法2的收敛性理论，并分析了其计算复杂度。

优势验证与数值性能测试。在本节中，我们旨在验证模型（14）的优势，并测试算法2在解决公共基准聚类问题时的数值性能，尤其是与现有最先进方法相比的表现。

结论与未来研究方向。在本文中，我们基于所提出的具有标签和约束传播功能的鲁棒自适应邻居诱导NMF优化模型，开发了一种新的聚类算法。我们已经证明，本文中开发的算法在理论上是有良好定义且能够收敛的，而且通过对公共图像和文本数据集的广泛数值测试，证明了该算法的计算效率以及数值性能上的优越性，尤其是与现有的最先进的NMF型方法相比。

CRediT作者贡献声明：郭杰：撰写——初稿、验证、方法论、研究、概念设计。李婷：验证、研究、数据整理。刘佳璐：撰写——初稿、验证、方法论、形式分析。万忠：撰写——审阅与编辑、监督、形式分析、概念设计。张芳：撰写——初稿、验证、数据整理。

资金支持：本研究得到了中国国家重点研发计划（项目编号2023YFD2400503）、中国国家社会科学基金（项目编号21BGL122）、湖南省自然科学基金（项目编号2026JJ90155）以及湖南省教育厅优秀青年科研项目（项目编号23B1122）的支持。

利益冲突声明：所有作者均声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。

致谢：作者们衷心感谢责任编辑及匿名审稿人针对本研究提出的建设性建议和意见，这些反馈极大地提升了论文的质量。