《Neurocomputing》:Adaptive deep clustering via disentangled hyperspherical VAEs with contrastive geometry optimization
编辑推荐:
本文提出ADS-VAE(自适应解耦超球面变分自编码器)这一创新深度生成聚类框架,通过将潜在表征解耦为聚类潜变量(z(c))和生成潜变量(z(g)),分别采用冯·米塞斯-费希尔混合分布(vMFMM)先验和幂球面分布(Power Spherical)先验,有效解决了传统方法在超球面数据(如L2归一化向量)上聚类效果不佳、潜变量纠缠及聚类数需预设等问题。结合对比学习中的对齐(alignment)与均匀性(uniformity)正则化,以及基于熵的后剪枝策略,该模型在ImageNet-50等基准数据集上展现出优越的聚类性能。
亮点
我们提出ADS-VAE,一种解耦的双球面变分自编码器(VAE),其超球面潜变量包含聚类潜变量z(c)和生成潜变量z(g)。聚类潜变量z(c)采用冯·米塞斯-费希尔混合(vMFMM)先验,将簇类表示为超球面上的方向;生成潜变量z(g)则使用与簇无关的幂球面(Power Spherical)先验,以支持稳定的超球面采样和推断。我们在z(c)上施加对齐、均匀性和分配一致性正则化,以提升聚类稳定性和分离度,并采用基于熵的后剪枝程序从过估计的Kmax中选择最终簇数K。此外,我们使用稳定的训练目标和高效的vMF采样策略,以支持超球面场景下的鲁棒优化。我们在多个基准数据集(包括ImageNet-50)上对ADS-VAE进行了实证评估,并在统一的实验协议下与强基准深度聚类方法进行了比较。
相关研究
深度聚类将表征学习与簇分配结合在端到端流程中,而深度生成模型如变分自编码器(VAE)因其将潜变量嵌入与基于似然的目标耦合而被广泛应用。早期方法改编自编码器(AE),例如对学习到的特征应用K均值,或在DEC和IDEC中引入聚类损失。基于VAE的聚类通过将概率混合先置于潜变量上推进了这一方向。
提出的模型
我们提出ADS-VAE,这是一个具有两个超球面潜变量的深度生成聚类框架,它们扮演不同的角色:一个聚类潜变量z(c)和一个生成潜变量z(g)。两个潜变量都是单位范数向量,满足||z(c)||2= 1 和 ||z(g)||2= 1。z(c)的先验是一个具有Kmax个分量的vMFMM先验,将簇表示为超球面上的方向。z(g)的先验是一个单一的幂球面(PS)分布,选择它是为了在生成路径中支持稳定的超球面采样和梯度估计。为了塑造聚类几何结构...
实验
本节报告了自适应解耦超球面变分自编码器(ADS-VAE)的实验结果。我们在涵盖不同图像分辨率和视觉复杂度的基准数据集上,将ADS-VAE与最近的深度聚类基线进行比较。我们还报告了消融实验,以量化所提出组件的贡献,包括对齐(Lalign)、均匀性(Luniform)、分配一致性(Lcon)以及基于熵的后剪枝簇数选择程序。最后,我们提供了定性结果。
结论
我们提出了ADS-VAE,这是一个深度生成聚类框架,它在双球面变分自编码器(VAE)中结合了解耦的超球面潜变量、对聚类潜变量的几何正则化以及事后簇数选择。该模型将聚类潜变量z(c)与生成潜变量z(g)分离,使用vMF混合先验将簇表示为超球面上的方向,并采用幂球面(Power Spherical)先验以支持生成路径中的稳定采样。在多个基准...