基于混合策略的增量学习灾难性遗忘缓解：交错记忆回放与参数正则化用于序列文本分类

《Electronics》：Mitigating Catastrophic Forgetting in Incremental Learning Using Hybrid Approach: Interleaving Memory Replay and Parameter Regularization for Sequential Text Classification

　　

摘要专业翻译 灾难性遗忘（Catastrophic Forgetting, CF）是深度学习模型在一系列新数据上增量训练时所面临的一项重大挑战。以往研究主要聚焦于减少图像和视频数据中的遗忘现象，而对文本领域的关注相对较少——在文本领域中，离散的词元分布（discrete token distributions）与语义漂移（semantic shifts）会随主题不同而发生变化。此外，为缓解灾难性遗忘而提出的单一策略仍有改进空间。为此，本文提出一种将分层记忆回放（stratified memory replay）与参数正则化（parameter regularization）协同作用于基于双向长短期记忆网络（Bidirectional Long Short-Term Memory, BiLSTM）的增量学习模型的方法，以缓解序列文本数据集中的灾难性遗忘。分层回放机制将少量历史数据样本的小型缓冲区（buffer）回放到当前训练阶段，以保留旧数据模式；参数正则化则对神经网络中与过往任务至关重要的权重修改施加惩罚。所提出的方法在增量训练流水线中于多个不同的文本数据集上进行评估，包括软件缺陷报告（任务A）、新闻数据集（任务B）和电子邮件（任务C）。评估结果表明，基线神经网络经历了灾难性遗忘，其初始数据集（任务A）的准确率从降至。单独的经验回放方法能够将任务A的准确率维持在，较其峰值有所下降；对于任务B，该方法达到，较峰值有所下降。缓冲区敏感性分析表明，模型准确率随回放缓冲区大小的增加而提高。参数正则化方法能够有效降低灾难性遗忘，但对于具有破坏性的文本分布序列效果较弱，导致先前任务出现明显遗忘，后续任务的可塑性降低。对该方法的评估显示，在任务C训练完成后，任务A的准确率从降至。所提出的混合方法减少了遗忘，并将任务A和任务B的准确率分别保持在和。因此，实证评估表明，所提出的方法有效且优于单独的经验回放策略和参数正则化方法，将最早任务的遗忘限制在仅，而基于回放的方法遗忘为，同时为最终任务保留了足够的可塑性，达到的准确率。

论文解读

一、研究背景与问题提出

深度学习模型在静态数据上已取得卓越性能，但当模型被增量地训练于新数据时，往往会遗忘先前习得的知识，这一现象被称为灾难性遗忘。自然智能具备持续学习新概念同时保留先前知识的能力，这一特性正是增量学习（Incremental Learning, IL）的动机来源。大型语言模型（Large Language Models, LLMs）等前沿模型需要从持续变化的数据流中不断增量学习，IL模型被期望能够保留先前任务的知识，并利用累积的知识促进后续学习，这一属性被称为前向知识迁移。然而，灾难性遗忘是IL面临的主要挑战：基于梯度的权重更新可能覆盖先前获取的知识。灾难性遗忘的后果不仅包括旧任务性能退化，还涉及计算与资源效率低下、可扩展性与适应性受限，以及稳定性（保留旧知识）与可塑性（获取新知识）之间的权衡问题。

现有缓解灾难性遗忘的研究通常提出单一策略，主要分为三类：基于正则化的方法（如弹性权重巩固，Elastic Weight Consolidation, EWC）通过约束关键参数权重的更新来保护先验知识，但会降低模型学习新异任务的可塑性；基于回放的方法（如经验回放，Experience Replay, ER）通过将历史数据的内存缓冲区交错到新数据训练流中，但较大的回放缓冲区会带来内存开销；基于架构的方法通过隔离任务特定参数或动态扩展神经网络来减少遗忘，但会导致参数爆炸。尽管已有诸多研究努力，但全面且通用的灾难性遗忘解决方案仍难以实现。更重要的是，大多数灾难性遗忘缓解方法面向图像和视频数据，文本数据具有离散词元分布、稀疏语义漂移和刚性句法结构等独特挑战，该领域仍存在研究机会。基于单一方法的局限性，本文旨在利用组合不同策略的混合方法，发挥各独立方法的优势。

二、研究内容与核心结论

本研究提出一种混合集成方法，将经验回放缓冲区与参数正则化整合到BiLSTM模型中，以缓解文本数据的灾难性遗忘，同时保留足够可塑性以学习新任务。研究在三个不同的文本数据集上进行了增量训练评估：软件缺陷报告（任务A，二分类）、AG News数据集（任务B，商业与体育二分类）和Enron垃圾邮件数据集（任务C，垃圾邮件与正常邮件二分类）。主要贡献包括：提出整合经验回放与参数正则化的新型混合方法；在多个文本数据集上验证了该方法相比独立技术的性能提升；评估了不同内存缓冲区大小分配对遗忘的影响。

实验结果表明，基线BiLSTM模型在顺序学习三个任务后，任务A准确率从87.53%骤降至11.75%，严重遗忘率达75.78%，充分证明了灾难性遗忘的存在。单独的经验回放方法将任务A的遗忘限制在5.37%，任务B遗忘为2.69%。单独的参数正则化方法在任务C训练后任务A准确率降至71.09%，遗忘率为16.78%，且任务C可塑性受限，仅达到88.50%准确率。所提出的混合方法在任务C上达到98.92%的准确率，同时将任务A准确率维持在83.73%（遗忘仅4.65%），任务B准确率维持在95.04%（遗忘3.25%），在稳定性与可塑性之间取得了更优的平衡。

三、关键技术方法概述

研究人员采用BiLSTM（双向长短期记忆网络）作为共享骨干架构，该网络包含嵌入层（将离散词元映射为向量）、BiLSTM层（每方向64个单元）、Dropout正则化层、32单元ReLU激活的Dense层以及单节点Sigmoid输出层。研究设计了双约束优化架构：数据空间约束采用分层经验回放，在每项任务完成后提取保持原始类别分布比例的分层采样缓冲区；参数空间约束采用累积EWC正则化，基于经验Fisher信息矩阵（Empirical Fisher Information Matrix）的对角元素计算参数重要性，对关键权重修改施加二次惩罚。优化过程通过自定义梯度磁带（tf.GradientTape）实现联合损失函数的自动微分与梯度更新。数据集来源包括软件缺陷报告语料库、AG News数据集和Enron邮件语料库。

四、研究结果

基线增量学习结果。 基线模型在增量训练后续任务时表现出严重的灾难性遗忘，任务A准确率从87.53%降至11.75%，遗忘率达75.78%，同时模型对后续任务保持高可塑性（任务B和任务C准确率均超过99%）。

经验回放缓解结果。 经验回放机制通过周期性将先前任务的代表性子集重新引入当前训练循环，显著稳定了决策边界。在完成任务C训练后，回放方法将任务A准确率维持在80.01%，总遗忘仅5.37%，相比基线模型实现了大幅度的准确率保留。

参数正则化缓解结果。 单独使用EWC正则化方法成功学习了初始任务并保留了任务B的高可塑性（95.97%），但在具有高度破坏性的任务C训练阶段难以维持稳定性，任务A准确率降至71.09%（遗忘率16.78%），且严格权重惩罚略微抑制了最终任务的可塑性，任务C准确率仅88.50%，表明单独正则化不足以应对不同文本分布序列。

混合方法性能结果。 混合方法在任务C上达到98.92%的准确率，任务B保持95.04%（遗忘仅3.25%），任务A保持83.73%（遗忘仅4.65%），实现了高度降低的遗忘同时保留足够可塑性。消融实验表明，正则化单独将遗忘相对基线减少69.7%，回放单独减少92.9%，混合方法减少93.9%，确认两种机制互补而非冗余。

缓冲区大小敏感性结果。 缓冲区大小敏感性分析表明，增加回放缓冲区大小可显著提升性能。缓冲区大小为0时模型遭受严重遗忘，任务A遗忘达75.78%，任务B遗忘达3.56%。缓冲区从500增至1000有进一步性能提升，但增至2000后增益趋于平缓。任务A对缓冲区大小最为敏感，因其与后续任务词汇重叠度最低（Jaccard相似度：Bugs-News为0.150，Bugs-Emails为0.199），且是唯一高度类别不平衡的数据集（1069:8392，约1:7.85）。训练时间分析显示，缓冲区从500增至1000使总训练时间增加50.9秒（+10.6%），从1000增至2000增加114.8秒（+21.7%），累计增加34.6%。由于准确率和遗忘增益在缓冲区达1000后基本趋于平缓，而训练成本持续近似线性增长，1000被视为合理的平衡点。

五、讨论与结论

讨论部分指出，混合方法在文本数据上的有效性源于两个互补机制：记忆回放通过将旧文本样本混入新训练数据，迫使模型同时学习新旧任务；参数正则化通过计算对过往任务至关重要的权重并惩罚对这些权重的大幅修改，弥补了小缓冲区无法充分表征长任务序列中先前任务的不足。文本数据的词汇漂移与稀疏语义特征使得Fisher矩阵惩罚主要锚定先前词汇的词嵌入行，同时允许BiLSTM循环权重适应新任务词元，这解释了混合模型在强正则化下仍保持高可塑性。局限性包括：旧数据存储需求、缓冲数据样本的隐私问题（尤其任务C邮件数据可能含个人身份信息）、类别不平衡导致的Fisher估计偏差、更高的计算时间，以及对清晰任务转换边界的依赖。未来工作方向包括：向无任务在线学习过渡、通过类别平衡采样解决类别不平衡、动态回放缓冲区管理，以及将混合方法扩展到基于适配器（如LoRA）参数保护的LLM规模模型。

研究结论表明，基线BiLSTM模型顺序训练于三个不同文本数据集后，初始缺陷分类任务准确率从87.53%降至11.75%，证实了无缓解策略时循环模型的灾难性遗忘。所提出的混合方法成功以98.92%的高准确率学习最终邮件任务，证明其保留了出色的可塑性；同时将最早任务（任务A）准确率维持在83.73%，中间任务（任务B）维持在95.04%，展现出卓越的稳定性；最早任务的总长期遗忘降至仅4.65%，较基线模型大幅改善，并优于单独的经验回放技术。该研究证明，将参数保护与分层记忆回放相结合是构建文本数据鲁棒增量学习模型的有效方法。