关注潜在变量：为扩散模型构建有意义且可解释的潜在表示方法

《Information Processing & Management》：Focus on latent: Toward a meaningful and interpretable latent representation for diffusion models

　　余振尧|杨正伟|张旺英|刘子图|刘月
上海大学计算机工程与科学学院，上海200444，中国

**摘要**
扩散模型能够实现高保真的数据生成，但受限于较差的可解释性，这限制了它们在需要语义基础表示的应用中的使用。现有的提高可解释性的方法要么依赖于事后分析来被动揭示潜在语义，要么提取无约束的潜在表示，往往无法产生具有明确语义意义和区分能力的潜在表示。为了解决这个问题，我们提出了一种名为Focus on Latent (FcLDiff)的扩散模型，该模型旨在显式学习具有语义意义和可解释性的潜在表示，而无需引入需要额外训练的事后分析组件。我们的方法采用了一种双重策略：一种基于约束的优化策略，通过利用语义编码器以及互信息约束来强制潜在表示捕捉数据的核心语义；同时，一种机制引导的调制策略通过特征加权机制进一步引导模型关注潜在表示，该机制能够自适应地调整UNet架构中跳跃特征和主干特征的分层重要性。广泛的实验表明，FcLDiff在分类、生成和解耦任务中表现出优越的性能。在四个基准数据集上，FcLDiff在分类准确性上实现了最大0.224的提升，在TAD解耦指标上提高了0.202。在材料微观结构数据集上，它实现了0.983的分类准确性，并生成了平滑且语义连贯的插值结果，突显了其在可解释生成建模和科学分析方面的强大潜力。

**引言**
扩散模型（Dhariwal & Nichol, 2021; Ho et al., 2020; Kong et al., 2020; Ramesh et al., 2022; Rombach et al., 2022; Xu et al., 2022）由于其能够生成高质量和逼真的样本，并且训练动态稳定，最近受到了广泛关注，与传统的生成模型（如变分自编码器（VAEs）（Kingma & Welling, 2013）和生成对抗网络（GANs）（Goodfellow et al., 2014）相比具有明显优势，已成为计算和信息科学领域的重要工具，在表示学习、科学数据建模和数据驱动的科学发现中得到越来越多的应用（Azqadan et al., 2023; Khan & Sisodia, 2025; Lee et al., 2024; Lee & Yun, 2024; Wang & Jin, 2026; Zhang et al., 2025）。尽管扩散模型具有令人印象深刻的生成能力，但由于其高维和纠缠的内部表示，很难理解科学属性是如何编码的，以及生成结果如何与基本的物理或化学原理对齐。这种缺乏可解释性的问题不仅削弱了人们对模型的信任，也对其在科学研究中的更广泛采用构成了重大障碍，因为在科学研究中，透明度、与领域知识的一致性和可解释性是不可或缺的（Frasca et al., 2024; Graziani et al., 2023; Liu et al., 2023; Oviedo et al., 2022）。学习可解释的潜在表示的核心意义在于将黑箱模型转变为相对透明和可控的工具，从而加速数据驱动的科学发现，并根据已建立的领域知识验证模型。以材料的微观结构图像为例，如果扩散模型能够学习并编码与关键属性相关的结构表示，同时表现出连续和稳定的生成行为，它可以为结构-属性关系建模、属性预测和数据驱动的知识发现提供更具解释性和科学意义的表示基础。

**提高生成模型可解释性的努力可以分为两种策略**
一种常见的策略是在训练后分析中间表示，以揭示语义概念是如何嵌入其中的（Haas et al., 2024; Kwon et al., 2022; Lee et al., 2023; Park et al., 2023; Tumanyan et al., 2023）。例如，研究人员在扩散模型的UNet（Ronneberger et al., 2015）瓶颈层中发现了一个称为h空间的语义表示空间（Kwon et al., 2022），在那里可以探索具有语义意义的方向（Haas et al., 2024; Jeong et al., 2024; Park et al., 2023）。虽然这些表示很有启发性，但它们是模型训练的副产品，缺乏明确的结构化语义。此外，这些事后分析本质上是反应性的，在推理过程中无法实现显式或可控的生成。第二类方法侧重于在模型训练期间学习有意义和解耦的表示，通常称为解耦表示学习（Bengio et al., 2013），这种范式假设存在一组低维的真实生成因子，可以解释现实世界数据中观察到的变异性。通过识别这些因子并将它们与不同的潜在维度对齐，模型行为变得可控，从而提高可解释性。例如，研究人员将语义编码器引入扩散框架以促进表示学习（Preechakul et al., 2022）。通过将学习到的潜在代码注入去噪过程，提供了一种基于编码器的直接方法来结合语义信息，这一方法在后续研究中得到了进一步扩展（Kim et al., 2024; Lu et al., 2024; Wang et al., 2023; Zhang et al., 2022）。然而，由于扩散模型可以在不注入潜在表示的情况下进行无条件训练并仍然生成高质量的结果，模型可能会忽略语义编码器提取的潜在表示，而仅基于潜在噪声进行去噪（Dieng et al., 2019; Lucas et al., 2019; Menon et al., 2022）。在这种情况下，模型难以学习有意义和解耦的表示，从而削弱了其可解释性。理想情况下，扩散模型应该显式利用注入的潜在表示，而不是在去噪过程中绕过它们。换句话说，模型应该被引导去显式关注和学习利用潜在表示。

**基于上述分析，我们提出了一种名为Focus on Latent (FcLDiff)的扩散模型**，该模型通过双重策略学习有意义和可解释的潜在表示。一方面，将新的语义约束纳入扩散模型优化过程，确保学习到的表示捕捉丰富的语义方面；另一方面，生成过程由有意义和可解释的潜在表示控制，防止模型绕过它们。这些组件共同推进了一个明确的目标：使生成扩散模型能够产生具有语义意义和可解释性的潜在表示，预计这将有利于分类、生成、解耦及相关任务。本文的贡献可以总结如下：
(1) 通过推导模型的证据下界（ELBO）并在对比目标下结合显式的互信息约束，开发了一种基于约束的优化策略，从而增强了潜在表示的语义丰富性。
(2) 设计了一种机制引导的调制策略，利用特征加权机制自适应地调整UNet架构中跳跃特征和主干特征的分层重要性，从而加强模型对潜在表示学习的关注并提高其整体性能。
(3) 在基准数据集上，FcLDiff在分类准确性上实现了最大0.224的提升，随着潜在维度的增加，这种提升持续增长；在解耦实验中，它的TAD得分也最高，比第二种最佳方法高出0.202。在材料微观结构数据集上，它实现了0.983的分类准确性，并生成了支持性能变化一致性的平滑、语义连贯的插值结果。

**本文的其余部分如下：**
第2节介绍了与我们方法相关的工作。第3节介绍了初步内容。第4节涵盖了我们方法的主要思想。第5节将展示实验结果和分析内容。最后，第6节将讨论总结和展望。

**使用VAEs和GANs学习解耦表示**
学习解耦表示对于提高生成模型的可解释性和可控性至关重要。vanilla VAE架构（Kingma & Welling, 2013）以其内置的编码器-解码器框架为特征，为用户提供了一种直接的方法，在模型训练收敛时通过其编码器获得数据的潜在表示。沿着这一研究方向，beta-VAE（Higgins et al., 2017）实现了更好的解耦效果。

**初步内容**
扩散模型通过多个噪声级别的去噪过程来学习目标分布。一个成功的去噪过程逐步将从N(0,I)采样的高斯噪声去噪为清晰图像，经过T个连续的去噪步骤。更正式地说，扩散模型定义了两个过程：(1) 前向扩散过程。扩散模型定义了一系列潜在变量?x1:T?x1,x2,…,xT，这些潜在变量表示原始图像x0逐渐转换为随机高斯噪声x的过程。

**我们的方法**
我们提出了一种名为Focus on Latent (FcLDiff)的扩散模型，该模型通过双重策略显式设计来生成有意义和可解释的表示。图1展示了我们方法的核心概念。首先，开发了一种基于约束的优化策略，以确保潜在表示捕捉输入数据的语义信息。具体来说，我们推导了带有潜在表示的扩散模型的ELBO，其中包含一个互信息约束项LInfoNCE。

**实验**
在本节中，我们首先在四个广泛使用的基准数据集上评估我们的方法——FashionMNIST（Xiao et al., 2017）、Cifar10（Krizhevsky & Hinton, 2009）、CelebA（Liu et al., 2015）和3DCars（Reed et al., 2015），以评估其在潜在空间表示的实用性、生成质量和解耦方面的性能（第5.1节）。然后，我们通过将其应用于LLZTO数据集（Zhang et al., 2024）来展示我们的方法在推进材料科学研究方面的潜力。

**结论**
在这项工作中，我们向扩散模型引入了辅助潜在表示，以编码具有语义意义和解耦的信息，从而提高了模型的可解释性。具体来说，我们认为模型应该关注潜在表示，并提出了两种策略：基于约束的优化策略和机制引导的调制策略。前者使用两个额外的编码器（查询编码器和解密编码器）来显式约束互信息。

**作者贡献声明**
余振尧：撰写——审阅与编辑、撰写——原始草稿、验证、软件、方法论、数据整理。
杨正伟：验证、方法论、概念化。
张旺英：可视化、验证。
刘子图：验证、形式分析。
刘月：监督、项目管理、资金获取。