一种基于全局上下文空间与统一解码，并结合语义知识蒸馏的跨语言主题建模框架

《Neurocomputing》：A framework for cross-lingual topic modeling using global context spaces and unified decoding with semantic knowledge distillation

　　阮天发|范江芳|潘顺多|黎安强|吴玲娜
越南河内科学技术大学，越南河内大科维特路1号

**摘要**
跨语言主题建模旨在揭示能够在不同语言间保持一致语义意义的潜在主题，但现有方法往往存在语义漂移、对齐不稳定以及可解释性有限等问题。这些问题的核心原因在于，文档-主题表示和主题-词表示通常在独立的潜在空间中学习，仅通过辅助对齐损失进行耦合，这使得二者之间的交互难以以原则性的方式控制或理解。为解决这一局限，我们提出了GloCTM-Plus，这是一个以对齐为核心的通用框架，为跨语言主题建模提供了统一的视角。GloCTM-Plus将対齐机制分为两类互补的约束：一类用于约束文档级的主题结构，另一类用于塑造主题级的语义一致性，同时进一步区分了基于客观标准的软对齐与直接嵌入模型架构中的结构对齐。这种设计使得现有的跨语言主题建模方法能够作为特定的约束配置被系统分析，从而更清晰地了解其设计权衡以及语义漂移和主题崩溃等常见故障模式。通过大量实验验证，我们证明GloCTM-Plus能够生成更加连贯、稳定且在不同语言间对齐性更好的主题，凸显了以原则性、结构感知的对齐设计在跨语言主题建模中的重要性。

**引言**
从大规模文本语料库中挖掘潜在的主题结构一直是自然语言处理领域的基础性任务，而主题建模作为一种强大的技术，可用于从非结构化数据中提取可理解的含义。然而，在日益全球化的数字环境中，信息检索与分析的范围已远远超出单一语言的范畴，因此理解不同语言间的共同叙事变得至关重要。这一变化推动了跨语言主题建模的发展，其目标是通过发现能够在不同语言间保持语义一致性的主题来跨越语言障碍。通过确保同一个主题索引无论对应何种语言都代表相同的核心概念——例如将英语中的“movie”与汉语中的“电影”对齐——跨语言主题建模能够实现强大的大规模跨文化分析及全球知识发现。

跨语言主题建模的方法经历了显著变革，从依赖大量平行数据的资源密集型方法，发展为更为灵活的基于词典和神经网络的结构。早期的研究主要依靠平行语料库来学习对齐后的主题[26]，但由于此类数据稀缺，人们开始转向MCTA[43]和MTAnchor[59]等基于词典的方法，这类方法利用双语词典和锚定词来弥补语言差异。虽然这些方法提高了实用性，但后续的研究又发展到利用变分推断实现可扩展学习的神经主题模型，例如NMTM[52]，它能在共享的词汇空间中对齐主题表示。最新的框架则进一步优化了这一方法：InfoCTM[50]引入互信息最大化来减少冗余，而XTRA[34]则结合多语言嵌入与双重对比对齐，同步文档-主题和主题-词分布，显示出向更复杂的、注重嵌入的对齐策略发展的趋势。与这些生成式进展并行，另一个研究方向则着眼于多语言预训练语言模型的潜在语义空间。这种以嵌入为中心的范式主要包括两大流派。第一类是基于编码器的零样本主题模型，如Bianchi等人[2]以及Mueller和Dredze[27]提出的方法。这些方法利用MPLM编码器（如mBERT、XLM-R）直接从多语言嵌入中推断文档-主题分布。然而，它们依赖于预训练嵌入的隐含对齐，而非强制实现结构化的主题对齐，往往无法生成传统跨语言主题建模任务所要求的明确对齐的主题-词分布[53]。第二类方法则侧重于基于嵌入的聚类与优化，例如u-SVD、SVD-L[6]以及类似BERTopic的流程[13]。尽管这些方法在嵌入空间中对文档进行分组方面效果不错，但往往会出现主题崩溃问题，即形成少量占主导地位的簇，多样性较低且可解释性较差。

为解决上述局限性，我们提出的GloCTM-Plus并非一个独立的模型实例，而是一个用于跨语言主题建模的架构框架。该框架的核心设计理念是将跨语言对齐视为构建在模型空间本身的属性，而非通过额外的损失项引入的次要目标。与那些主要依赖对齐驱动的目标或启发式正则化的先前方法不同[34][50]，后者通常先在独立空间中学习特定语言的表示，再通过辅助对齐损失促使它们对齐，GloCTM-Plus则在潜在推理之前引入一个共享的全球语义空间作为共同参考。这一设计的动机源于跨语言主题建模的一个核心难题：不同语言的文档可能描述相同的语义，但其起始的词袋空间彼此分离，几乎没有词汇重叠。与其让每种语言独立构建主题结构，然后再试图事后协调这些表示，该框架从一开始就通过让语义相关的多语言输入在共享的全球上下文空间中互动，从而在表示层面减少这种不匹配。从根本上说，GloCTM-Plus框架建立在定义跨语言统一语义空间的共享结构骨架之上。该骨架由三个关键组成部分构成：（1）一个为多语言输入提供共同参考的共享全球语义空间；（2）一种双路径架构，既能建模全局主题表示，又能体现语言特定的变化；（3）一个统一的主题-词解码器，用于生成跨语言的对齐主题-词分布。这些组件共同确保主题在单一、连贯的潜在空间中被学习，从而在整个学习过程中通过共享结构来促进跨语言一致性，而非在各自的语言特定空间形成后再强行对齐。除了这一结构骨架之外，该框架还明确区分了对齐定义组件与辅助目标。在这种设计中，目标函数并不负责建立对齐，而是用于稳定和优化已学到的表示。具体而言，采用基于KL散度的一致性目标来规范全局主题表示与局部主题表示之间的交互，同时利用基于CKA的语义定位目标，借助预训练的语言模型嵌入将主题锚定在丰富的语义空间中[22]。重要的是，这些目标被视为框架的可配置组件，它们补充核心结构而不重新定义它。另外，GloCTM-Plus中的结构对齐并不替代优化目标。重构损失仍然是学习文档-主题和主题-词分布的主要训练信号。该架构的作用是确定在生成过程中何处以及如何实现对齐，而优化目标则负责在训练过程中实现并优化这种结构上定义的对齐。总体而言，GloCTM-Plus提供了一种框架层面的视角，将结构对齐与目标层面的正则化分开。通过将跨语言协调从一个主要依赖事后目标匹配的问题，转变为基于共享空间的架构设计，该框架为超越以损失为中心的设计范式来开发和分析跨语言主题模型提供了原则性的基础[53]。

在本工作中，我们介绍了GloCTM-Plus（全局结构化跨语言主题建模框架）。我们将GloCTM-Plus视为一种面向跨语言主题建模的灵活且通用的架构框架，而非另一种单一的跨语言主题模型。该框架并未提出一种紧密耦合的单一模型设计，而是将跨语言对齐抽象为一个核心结构原则，可系统地应用于不同的神经主题建模基准模型之上。这一视角使得现有模型能够在保留原有建模特性的同时，受益于内在的对齐机制。本文的主要贡献总结如下：
• 我们提出了一种统一的跨语言主题建模架构框架，通过核心结构设计来实现跨语言对齐，而非依赖辅助对齐目标或启发式正则化。
• 我们识别并明确了众多现有跨语言主题模型背后的共同架构视角，揭示了常被特定方法目标所掩盖的共享结构模式与局限性。
• 我们通过将该框架应用于多种代表性的神经主题建模基准模型，展示了该框架的适应性，说明了现有模型如何能自然地在该框架下被重新构建，从而提升主题质量及文档-主题表示的效果。
• 我们在多个多语言基准数据集上进行了大量实证评估，提供了系统性的证据，证明该框架能够持续提升主题的连贯性、对齐质量以及文档-主题分布的可靠性。我们的代码已在github上公开发布。

**路线图**：本文的其余部分结构如下。第2节回顾了跨语言主题建模的相关工作，包括生成式方法、基于嵌入的方法以及现有的对齐策略。第3节介绍了神经主题建模和跨语言表示学习所需的背景知识。第4节从统一视角对以往的跨语言主题模型进行架构分析，识别出常见的结构模式与固有局限性。第5节阐述了所提出的GloCTM-Plus框架及其方法论设计，详细介绍了核心结构组件以及该框架如何在不同神经主题建模基准模型之上实现。第6节报告了在多个多语言基准数据集上的大量实验评估与分析结果。最后，第8节对全文进行总结，并探讨未来的研究方向。

**相关工作**
**主题建模**：传统的主题建模主要通过概率图模型和矩阵分解方法进行研究。典型的方法如潜在狄利克雷分配（LDA）[4]将主题视为生成过程中的潜在变量，而非负矩阵分解（NMF）则将主题发现视为一个代数分解问题[24]。尽管这些模型已被扩展到包括短文本和动态流在内的多种场景，但……

**背景**
在本节中，我们介绍支撑GloCTM-Plus框架的基础概念。GloCTM-Plus旨在基于完全基于变分自编码器（VAE）形式的现有神经主题模型之上运行[2][11][21][44]。因此，本研究所考虑的所有基础模型均为基于VAE的神经主题模型，它们通过平均变分推断学习文档-主题分布，并通过概率方法建模主题-词分布。

**常见的架构模板**
从统一的架构视角来看，大多数神经跨语言主题模型都可以抽象为一个由多个语言感知的主题建模管道构成的共享模板。如图2所示，每种语言都对应一个遵循基于VAE的生成格式的主题建模管道。对于某种语言中的文档，编码器会推断出其潜在的文档-主题表示，而解码器则通过主题-词关系重建观测到的词分布。

**提出的方法**
我们提出了GloCTM-Plus，这是一种双路径变分自编码器（VAE）框架，用于跨语言主题建模，它以结构化且全面的方式在整个建模流程中实现跨语言对齐。GloCTM-Plus并非引入一种新的生成范式，而是一种通用框架，可应用于现有的基于VAE的神经主题模型之上，明确区分语言特定的建模与全局语义对齐。该框架由……组成。

**实验数据集**：我们遵循InfoCTM[50]的实验方案，使用三种广泛使用的跨语言基准数据集的官方预处理版本：ECNews、Amazon Review和Rakuten–Amazon。表1总结了这些数据集的关键统计信息，包括语言对、任务定义、词汇量以及数据分割情况。对于多语言表示，我们采用paraphrase-multilingual-MiniLM-L12-v2模型来获取词嵌入。文档级的语义嵌入则通过BAAI/bge-m3模型提取。

**讨论**：第6节呈现的实验结果一致表明，将跨语言对齐作为模型架构的结构性属性，而非仅仅依赖辅助目标，能够产生更加连贯、稳定且具有迁移能力的主题表示。在三种不同的多语言基准数据集以及三种不同的核心架构（NMTM、InfoCTM和XTRA）下，GloCTM-Plus均能持续提升主题的连贯性（CNPMI）和主题质量（TQ）。

**结论**：在本文中，我们提出了GloCTM-Plus，这是一种跨语言主题建模框架，它将对齐作为内在的架构属性来实施，而非主要依赖辅助对齐损失。该框架整合了三种互补的机制：通过多语言增强技术构建的全球上下文空间、通过统一解码器实现的结构性主题同步，以及利用KL散度和基于CKA的语义定位进行的潜在层面对齐正则化。这些机制共同……

**CRediT作者贡献声明**
阮天发：撰写——初稿、可视化、验证、软件、方法论、研究、形式分析。范江芳：撰写——审阅与编辑、可视化、验证、方法论、研究。潘顺多：撰写——审阅与编辑、可视化、验证、监督、方法论、研究。黎安强：撰写——审阅与编辑、可视化、验证、监督、方法论、研究。林吴文：写作——初稿，利益冲突声明。作者声明自己不存在任何可能影响本文所报告工作的已知财务利益或个人关系。致谢。本项目由越南国家科学技术发展基金会（NAFOSTED）资助，项目编号为102.05-2025.16。阮天发是河内科技大学的本科生，同时也是BKAI中心基础模型实验室的研究成员。他的研究兴趣包括主题建模、大语言模型的对齐技术以及大语言模型中的高效推理方法。他的研究成果已被EMNLP、AAAI和ACL等知名人工智能会议接受。