DiffuStory：基于对比学习与解码器-解码器Transformer的文本扩散模型在创造性故事生成中的创新研究

《Expert Systems with Applications》：DiffuStory: Improving text diffusion models for creative story generation with contrastive learning and decoder-decoder Transformers

本文提出DiffuStory模型，通过两阶段架构（记忆模块学习隐式情节表征IPR+表达模块进行自回归解码）解决神经故事生成（NSG）中信息鸿沟与创造性不足的难题。创新性引入token级对比学习（TLCL）校准嵌入空间，结合最优传输知识蒸馏（OTKD）实现跨分词器知识迁移，在多元评估框架下验证模型在跨语言数据集上的优越性，为开放域文本生成提供新范式。

　　

亮点

本研究首次将扩散模型应用于神经故事生成（NSG），其学习的隐式情节表征（IPR）显著提升故事的创造性，更符合人类审美偏好。

DiffuStory采用解码器-解码器Transformer架构生成连贯故事，有效解决扩散模型在开放域文本任务中的退化问题，开辟新的生成路径。

提出两项创新技术：TLCL（通过序列扰动和偏移校准嵌入空间）与OTKD（支持跨分词器的知识迁移），具备广泛适用潜力。

通过结合自动指标、LLM（大语言模型）评估与人工评估的多维框架，在跨语言数据集上验证模型竞争力。同步发布中文NSG数据集CHGStories促进相关研究。

讨论与结论

本研究提出新型两阶段NSG模型DiffuStory，先利用文本扩散模型学习促进创造性的IPR，再通过解码器-解码器Transformer架构生成连贯故事。关键改进包括：（1）TLCL目标通过序列扰动与偏移校准文本扩散模型的各向异性表示空间；（2）OTKD方法实现跨分词器的知识迁移，借助预训练模型指导解码过程。实验表明DiffuStory在多元评估中表现优异，隐式情节表征能有效桥接信息鸿沟并激发叙事创造性。未来工作将探索IPR的可解释性及模型在医疗叙事生成等领域的应用。