稠密联想记忆视角下的扩散模型：从记忆存储到泛化生成的关键阶段分析

《Nature Communications》：Emergence of diffusion models from associative memory through memorization and generalization

　　

摘要

稠密联想记忆（DenseAMs）是Hopfield网络的推广，它将训练数据存储在能量景观的局部极小值处。当训练数据量超过临界记忆存储容量时，新的局部极小值（不同于训练数据）会出现。这些新出现的局部极小值被称为伪态，可能会阻碍记忆检索。我们通过DenseAM的视角研究扩散模型（DMs），将其生成过程视为一种记忆检索的尝试。在数据量较少的情况下，DMs为每个训练样本创建不同的吸引子，类似于低于临界容量的DenseAMs。随着训练集规模的增加，DMs会转向泛化。我们识别出一个关键的中间阶段，这是DenseAM理论所预测的，其特征是伪态的出现。在生成建模中，这些之前被忽视的状态不再是不利的产物，而是生成能力的最初表现。它们的存在在广泛的架构和数据集上得到了验证。