基于无界断裂法辅助的广义狄利克雷变分自编码器

《Pattern Recognition》：Unbounded stick-breaking-assisted generalized Dirichlet variational autoencoder

　　

• 我们提出了USGD-VAE，这是首个将无界棍棒构造与广义狄利克雷分布相结合的神经主题模型，能够同时实现自适应潜在维度与灵活的协方差建模。这解决了现有方法中主题数量固定和仅支持负相关的双重局限性。• 我们引入了两个消融变体——USD-VAE（标准狄利克雷配合无界棍棒构造）和RGD-VAE（无棍棒构造的循环广义狄利克雷），以系统地分离每项创新的影响。对比分析证实，两个组件对于达到最优性能都是不可或缺的。• 我们在三项截然不同的任务上提供了全面的实证验证：在四个基准语料库上的主题建模、在七个图像数据集上的聚类，以及多模态假新闻检测，展示了最先进的性能并确立了所学习表示的泛化能力。代码实现已在 https://github.com/hormone03/UnboundedStickBreak 公开。引言主题建模旨在发现文档集合中的潜在主题结构，从而实现大规模内容组织与解读。在现有方法中，贝叶斯概率模型——尤其是潜在狄利克雷分配（LDA）——因其可解释性以及通过狄利克雷分布诱导稀疏性的能力而得到了广泛研究[1]。然而，传统贝叶斯方法在面对大型语料库时面临严重的可扩展性挑战，且难以利用GPU等现代并行计算架构[1]。神经主题模型（NTMs）的兴起通过利用深度学习学习复杂分布和采用灵活推理机制的能力来克服这些局限性[1]。重参数化技术——尤其是基于变分自编码器（VAE）的技术[2]——使得概率模型与神经架构的无缝集成成为可能[3]。代表性成果包括ProdLDA[4]，其通过对狄利克雷分布进行拉普拉斯近似来实现重参数化。尽管取得了这些进展，现有NTMs仍然存在两个根本性局限。首先，标准狄利克雷分布强制所有分量之间为负相关[5]，使其不适用于建模具有正依赖关系的主题。虽然广义狄利克雷（GD）分布能够同时捕获正相关和负相关[6]，但其与神经框架的集成仍处于探索阶段。其次，几乎所有现有NTMs都需要用户预先设定固定的潜在维度，当主题数设定不当时会引入偏差。本文通过引入无界棍棒辅助广义狄利克雷变分自编码器（USGD-VAE）同时解决了这两个局限。我们的模型结合了三项关键创新：通过棍棒构造与循环神经网络（RNN）集成实现自适应维度，消除了手动调参主题数量的需要；通过广义狄利克雷分布实现灵活协方差建模，捕获主题间的正负相关；以及使用可微重参数化配合拒绝采样进行鲁棒推断，确保高质量的潜在表示。技术挑战在于重参数化GD分布以支持基于梯度的优化，因为GD缺少反向传播所需的位置参数。我们通过利用从伽马分布构造的贝塔分布来近似GD分布来解决这一问题，从而实现对标准VAE训练兼容的确定性变换。由RNN学习到的权重引导的棍棒机制，根据数据复杂度自动确定有效主题数，无需反复试错的超参数搜索即可无缝适应各种数据集。为解决上述挑战，我们做出以下方法论贡献：1. 我们提出了USGD-VAE，这是首个将无界棍棒构造与广义狄利克雷分布结合的神经主题模型，同时实现自适应潜在维度与灵活协方差建模。这解决了基于狄利克雷的方法中主题数量固定和仅支持负相关的双重局限。2. 我们通过贝塔-伽马分解配合拒绝采样（详见第3.2节）推导出了广义狄利克雷分布的一种可行的、无偏的重参数化方法，使其能够在VAE框架内进行端到端的基于梯度的训练，同时保持形式有效性条件。代码实现已公开。本文其余部分组织如下：第2节介绍相关工作，第3节总结背景知识，第4节阐述模型描述与计算路径，第5节涵盖实验设置、数据集及结果分析，最后在第6节给出结论。节选片段——传统与贝叶斯主题模型主题建模利用多种方法，包括代数方法、模糊聚类、大语言模型（LLMs）[7]、贝叶斯概率模型和神经方法[6]。代数方法虽然计算高效，但缺乏统计基础和适当的生成框架。模糊模型通过聚类解决短文本的稀疏性问题[8]，但缺乏概率解释。LDA[9]通过上下文信息和信息论建立了概率主题建模的基础。背景在本文剩余部分中，记号定义如下：给定一个文档集合，D定义为语料库；文档的变换表示为词频向量x∈NV，其中xv表示词汇token v∈{1,…,V}的出现次数。我们将主题分布（潜在表示）记为z∈ΔK，其中K表示主题数，zk表示文档中第k个主题的权重。主题被归一化为ΔV上的分布t∈ΔV。USGD-VAE：模型描述与计算路径图1(a)展示了USGD-VAE的模型结构图，其中矩形盘表示复制。观测变量用灰色圆圈表示，虚线圆圈表示潜在变量的无界棍棒构造。K和N分别表示主题数和文档数。α和β表示GD先验，?和θ表示可学习的编码器和解码器参数，λ表示GD重参数化，π和z分别对应棍棒权重先验及……数据集我们在四个主题建模语料库上进行评估：20news（11,000个训练样本，词汇量2000）；KOS（467,714个样本，词汇量6906，博客新闻）；ENRON（600,000个样本，词汇量28,103，150位用户的邮件）；NIPS（5812篇论文，词汇量348,672）。采用70%/30%的训练/测试划分。聚类任务使用：JAFFE[19]、UMIST[20]、COIL20[21]、USPS[22]、MNIST、Fashion-MNIST（F-MNIST）[23]和PALM[24]。假新闻检测使用：Fakeddit[25]（628,501条假Reddit帖子和527,049条真实帖子）。评估指标我们报告了结论本文介绍了无界棍棒辅助广义狄利克雷变分自编码器（USGD-VAE），这是一种同时解决基于狄利克雷方法两个长期存在局限的神经主题模型：需要预指定主题数量，以及标准狄利克雷具有限制性的非正相关结构。通过耦合贝叶斯非参数棍棒先验、RNN引导的截断机制和广义狄利克雷分布，USGD-VAE能够……CRediT作者贡献声明Akinlolu Oluwabusayo Ojo：撰写——原始文稿、可视化、软件、方法论、形式分析、数据整理、概念构思。Nizar Bouguila：撰写——审稿与编辑、验证、监督、资源、项目管理、资金支持。提交声明本稿件为原创作品，未在其他地方发表，也未同时提交至其他期刊审阅。生成式AI及AI辅助技术使用声明作者在撰写本文过程中未使用生成式AI或AI辅助技术。资金支持作者衷心感谢加拿大自然科学和工程研究会（NSERC）的资金支持。利益冲突声明作者声明不存在可能影响本文所述工作的已知财务利益冲突或个人关系。致谢所有作者均已阅读并批准本手稿的最终版本。Akinlolu Oluwabusayo Ojo于2006年从尼日利亚鲁弗斯·吉瓦理工学院获得数学与统计学文凭，2013年从尼日利亚埃基蒂州立大学获得电气工程与电子技术学士学位。此后于2020年从德国不莱梅大学获得硕士学位。目前他是加拿大康考迪亚大学信息与系统工程专业的博士研究生。Akinlolu曾获得电气工程与电子技术专业最佳毕业生称号。Akinlolu Oluwabusayo Ojo | Nizar Bouguila