动态师生框架下的无任务连续生成建模：知识渐进同化机制与理论分析

本文提出一种结合长短时记忆管理的无监督连续学习框架，通过动态扩展的教师模型（Teacher）和固定容量的短期记忆缓冲器（STM）实现生成模型的持续学习。创新性提出知识渐进同化机制（KIAM），基于概率距离评估实现教师模型的自适应扩展，并采用数据无关的知识蒸馏（KD）训练轻量化学生模型（Student）。理论分析与实验表明，该方法在无任务连续学习（TFCL）中显著优于现有模型。

　　

Highlight

• •
  我们提出一种创新的师生架构，专为无任务连续学习（TFCL）场景下的终身生成建模而设计。通过新型教师扩展策略——知识渐进同化机制（KIAM），在无监督信号条件下动态增强教师知识库。
• •
  我们提出创新的数据无关知识蒸馏（KD）框架，通过教师生成数据实现在线知识迁移至学生模型，显著降低推理计算开销。同时提出专家剪枝策略，在压缩教师混合模型时保持并增强知识多样性。
• •
  我们建立创新的理论分析框架，在TFCL背景下解析方法的遗忘动态。理论分析表明该框架具有卓越性能。

Conclusions and limitation

本文提出了一种面向无任务终身生成建模的新框架，可在学习多个不同数据域后实现无遗忘生成。与现有基于单一记忆缓冲器的方法（如Aljundi等人2019年工作）不同，本框架核心思想是管理双记忆系统以存储短期与长期信息。通过固定容量记忆缓冲器存储近期数据样本，而教师模型动态扩展以积累历史知识。实验验证了该方法在多个数据域流上的有效性，但当前框架仍存在计算复杂度较高的局限性。

（注：根据要求已去除文献引用标识，保留专业术语英文缩写及上下标格式，如TFCL、KIAM等。翻译采用生命科学领域常见的生动表述方式，如"知识库"、"计算开销"、"遗忘动态"等术语。）