用于神经网络中状态条件认知探索的合成梦境

《Neural Networks》：Synthetic Dreaming for State-Conditioned Epistemic Exploration in Neural Networks

　　

**摘要**

人工智能（AI）系统通常从外部提供的数据中学习，这限制了它们的泛化能力、在分布偏移下的鲁棒性以及创造能力。受生物梦境的启发，我们提出了一种名为"合成梦境"的学习框架，在该框架中，神经网络基于其不断演化的隐式表征生成内部想象的训练样本，并将其整合到优化过程中。

本工作在概率框架内对合成梦境进行了形式化描述，采用一种混合训练目标，通过受调控的梦境权重系数 λ 和高层隐变量 h，将经验数据与内部生成的样本结合起来。该框架采用基于 Transformer 的语言模型与条件变分梦境生成器的组合来实现。

实验结果表明，与强基线方法相比，该方法表现出一致的性能提升或趋势。特别是，合成梦境将测试困惑度降低了约 15%，将分布外困惑度降低了约 19%，同时增加了词汇多样性（以 n-gram 熵衡量），并提高了在输入损坏情况下的鲁棒性（在 10% 掩码条件下将退化从约 41% 降低至约 19%）。

这些结果表明，状态条件化的内部样本生成可以通过扩展和正则化学习的表征空间来提高泛化能力和鲁棒性。所提出的框架为将内部模拟整合到神经网络训练中提供了一种具体且计算高效的机制。

**引言**

近年来，人工智能（AI）取得了令人瞩目的进展，这主要归功于数据密集型范式，如深度学习和大规模监督训练。从语言建模到图像分类和强化学习，现代 AI 系统在接触大量标注或结构化数据时都表现出了令人印象深刻的性能（Arulkumaran, Deisenroth, Brundage, Bharath, 2017; Azizov, Manzoor, Bojkovic, Wang, Wang, Iklassov, Zhao, Li, Liu, Zhong, Liu, & Liang; Coupland, Scheidwasser, Katsiferis, 2025; Edozie, Shuaibu, Ukagwu, Sadiq, 2025）。然而，这种成功也暴露了一个根本性局限：当代 AI 系统本质上是反应式的。它们几乎完全从外部刺激中学习，被动地处理由环境或精选数据集提供的数据（Sze et al., 2017）。

相比之下，生物智能并不局限于外部经验。人类和动物的认知包含一种深刻的生成性维度：即独立于直接感官输入来模拟、想象和创造假设场景的能力（Hoel, Yoshida, Toyoizumi, 2023）。这种能力的一个尤为引人注目的表现形式就是梦境。在睡眠期间——尤其是在快速眼动（REM）阶段——大脑会产生生动且内部一致的体验，这些体验重新组合了过去记忆的片段、抽象模式和想象的未来（Deperrois, Petrovici, Senn, Jordan, 2022; Mukai, Yamanaka, 2023）。梦境越来越多地被理解为不仅是副产品，而是对记忆巩固、情感整合和认知泛化具有重要功能意义的过程（Hudachek, Wamsley, 2023; Zhang, Pena, Delano, Sattari, Shuster, Baker, Simon, Mednick, 2024）。

本文从生物梦境中汲取灵感，提出了一种新的机器学习范式：合成梦境。在该范式中，智能体根据自身学习的表征生成内部且合理的训练样本，而不依赖于直接的外部输入（Bauer, Trapp, Stenger, Leppich, Kounev, Leznik, Chard, & Foster; Lu, Shen, Wang, Wang, van Rechem, Fu, & Wei; Such, Rawal, Lehman, Stanley, Clune, 2019）。这些合成样本——即"梦境"——既非随机噪声，也非传统的增强手段，而是由智能体自身内部知识塑造的结构化、内省式模拟（Such et al., 2019）。通过在外部数据和内部生成的数据进行联合训练，智能体有望扩展其泛化能力、探索学习表征空间中表征较少的区域，并提高对分布偏移的鲁棒性。

除了纯前馈或反应式训练之外，越来越多的工作开始探索神经网络中的内部模拟。世界模型（world models）——如 Ha 和 Schmidhuber 所提出的——训练智能体构建其对环境的显式生成模型，然后在这个学习到的隐空间中"想象"轨迹，而非直接与真实世界交互（Ha and Schmidhuber, 2018）。与此同时，生成回放（generative replay）和深度生成回放（deep generative replay）方法表明，内部生成的样本可以通过在训练期间回放合成过去经验来缓解持续学习中的灾难性遗忘问题。合成梦境将这些思想从重构或回放过去数据拓展到有意想象新颖且具有认知价值的样本，这些样本不必对应任何先前观测到的输入，其目标在于改善泛化能力和创造性行为，而不仅仅是保留已有知识。

本文做出以下贡献：

- 我们引入了合成梦境的概念，作为一种在人工智能中实现生成式、内省式训练的新形式。
- 我们开发了一种基于隐变量模型的正式框架来实现合成梦境，该模型以内部表征为条件。
- 我们提出了一种混合训练目标，以原则性的方式将真实世界数据和梦境样本结合起来。
- 我们在语言建模任务上评估了该框架，证明与标准训练方案相比，它表现出改善或更鲁棒的泛化行为。

通过赋予 AI 系统模拟超越其观测世界的经验的能力，我们旨在迈向更具自主性、自我引导和想象力的形式的人工智能——这些系统不仅从"是什么"中学习，也从"可能是什么"中学习。本文的其余部分组织如下。第 2 节回顾梦境和内部模拟的生物学与计算视角。第 3 节讨论相关工作并将所提出的框架置于现有文献中。第 4 节呈现正式模型和训练过程。第 5 节提供实验评估和分析。第 6 节讨论影响、局限和未来方向。

**章节片段**

**背景：生物梦境与内部模拟**

尽管人工智能取得了显著进展，但当前的学习系统仍然根本上依赖于外部数据来源。它们被动地运行，摄入从真实世界编制或收集的观测和标签（Bay, & Yearick, Goetz, et al., 2024; Pontin, 2018）。这种设计范式限制了它们在无需持续监督的情况下进行泛化、适应陌生环境或生成原创推理的能力（Kawaguchi, Kaelbling, & Bengio, Zhou, et al., 2021）。

**理论基础与相关工作**

合成梦境框架借鉴了跨认知神经科学、机器学习和认知逻辑学的跨学科思想。在本节中，我们回顾梦境的生物学理论、内部模拟的计算类比，以及当前生成式学习的局限性。

**合成梦境的形式化模型**

我们在概率生成学习框架内对合成梦境进行了形式化描述，将内部生成的样本直接整合到神经网络的优化过程中。设 $x \in \mathcal{X}$ 表示从真实数据分布 $\mathcal{D}$ 中抽取的观测训练样本，设 $\theta$ 表示预测模型的参数。标准的监督或自监督学习优化一个具有以下形式的目标函数：

$$\mathcal{L}_{real}(\theta) = \mathbb{E}_{x \sim \mathcal{D}}[\ell(x;\theta)]$$

其中 $\ell(\cdot)$ 是与任务相关的损失函数（例如

**实验**

本节对第 4 节中引入的概率目标下的合成梦境框架进行了定量和定性评估。所有实验都明确探究了梦境权重系数 λ 的作用、隐变量 h 的隐先验分布，以及梦境生成对内部表征 $(z, h)$ 的条件化。我们报告了泛化、鲁棒性和创造性多样性方面的结果，并将所提出的方法与标准训练和经典方法进行了比较

**讨论与未来工作**

本文呈现的结果将合成梦境定位为一项原则性的机制，用于将内部生成的模拟整合到学习过程中。该框架不仅依赖于观测训练样本或回放的过去经验，还使模型能够生成其内部表征的状态条件化扰动，并将其直接纳入优化。

第 5 节的实验结果表明，这种机制影响了

**结论**

我们引入了合成梦境，作为人工智能中生成式、内省式学习的原则性概念和技术框架。通过将内部生成的、状态条件化的模拟直接嵌入训练目标，我们建立了一种受调控的认识论探索的具体机制，超越了被动的经验学习。所提出的概率公式，连同控制变量 $(h, \lambda)$，为将想象视为一种内在的

**CRediT 作者贡献声明**

Menachem Lachiany：写作——审阅与编辑，软件，方法论，形式分析，数据整理。

**利益冲突声明**

作者声明他们没有已知的竞争性经济利益或个人关系，这些利益或关系可能影响本文所报告的工作。

Menachem Lachiany