学习回放：一种用于持续学习中经验回放的元强化学习方法

《Pattern Recognition》：Learning to Replay: A meta-reinforcement learning approach to experience replay in continual learning

　　•统一策略学习问题：本文将经验回放重新定义为一种统一的策略学习问题，在这个问题中，回放内容的选择（“什么”）和调度（“何时”）是共同优化的，而不是单独的问题。
•双层元强化学习架构：它引入了一个双层优化框架，其中元强化学习代理（Replay Agent）作为元控制器，动态观察学习状态以生成自适应的回放策略。
•差异化的优化机制：采用了混合优化策略，使用近端策略优化（PPO）直接训练随机时序策略，同时通过熵和平衡正则化等辅助损失来指导高维内容策略。
•最先进的性能：L2R框架在各种持续学习基准测试中取得了最先进的成绩，显著优于DER++和Replay Scheduling等强大基线，并将平均遗忘率降低了近九倍。

引言
持续学习（CL）旨在解决智能系统在动态环境中面临的一个根本挑战：平衡新知识的获取与先前学到知识的保留。这一挑战与机器学习中众所周知的稳定性-可塑性困境密切相关——模型必须具有足够的可塑性以适应新任务，同时又必须足够稳定以避免灾难性遗忘，即在学习新信息时系统性地遗忘先前获得的知识[1]。随着大型语言模型（LLM）的迅速普及，这一挑战对于以语言为导向的应用尤为重要：使LLM能够不断获取新的文本领域知识和技能而不消除现有能力是一个关键且日益重要的前沿问题[2]、[3]。更广泛的持续学习和终身学习研究也强调，跨序列任务必须综合考虑迁移、保留和资源限制[4]、[5]。在这项工作中，L2R在统一的生成协议下针对受控文本任务进行了研究，所得到的证据旨在建立在基于文本的语言模型设置中的框架级适用性，而部署规模的验证则留待未来的工作来完成。
为了解决这一挑战，经验回放（ER）作为一种常见的策略出现，用于减轻灾难性遗忘[6]。其核心思想是在新任务训练过程中回放一部分过去的经验，以巩固模型对先前任务的记忆[7]。在各种持续学习方法中，当希望在不受限内存的情况下保持任务行为时，回放方法仍然特别具有吸引力，尽管功能正则化方法提供了另一种减轻遗忘的途径[8]。然而，所有基于回放的方法都基于一个关键假设：回放“好的”数据有助于有效减轻遗忘。这自然引出了持续学习动态环境中的一个基本问题：什么构成“好的”回放数据，应该如何定义它？因此，一个有效的回放缓冲区应该既忠实又高效：它应该在使用有限的内存和回放预算的同时保留保留旧任务所需的关键信息。最近的调查强调，持续学习不仅需要根据保留情况来评判，还需要根据实际约束下的资源效率来评判[9]。模式识别和主动学习中的相关工作也表明，在标签或内存预算有限的情况下，优先选择信息丰富的样本可以提高数据效率[10]、[11]、[12]。这一要求暴露了固定启发式回放规则的局限性。例如，iCaRL通过示例选择来提高回放的代表性[13]，而GSS则倾向于选择能够多样化梯度方向的样本[14]。在线持续学习在不平衡的数据流中进一步表明，样本的效用取决于不断变化的数据分布[15]。更近期的原型蒸馏结果也表明，保留值在不同的训练阶段是变化的，而不是对所有存储的样本都保持固定[16]。一个在训练早期快速确定新决策边界有用的样本可能不同于一个在后期边界细化有用的样本。因此，回放质量是状态依赖的，而不是固定的。
现有的回放策略仍然难以明确模拟这种依赖性。Rainbow Memory在数据流中保持样本的多样性[17]。GSS通过梯度多样性来保留示例[14]。基于影响的正则化也被用来通过捕捉跨任务的高阶效应来稳定持续更新[18]。尽管取得了这些进展，这些方法仍然主要是启发式的和开环的。它们没有直接根据不断学习过程中的学习者状态、当前遗忘风险和回放成本来调整回放。
•内容选择依赖于固定的启发式规则（例如，梯度多样性或样本损失），这使得随着任务动态的变化难以调整回放的重点。
•时序调度通常在每个步骤采用均匀回放，无法智能地应对不同的遗忘风险水平。
为此，我们引入了L2R，一个将结构建模与策略优化相结合的自适应经验回放框架。L2R建立在双层优化架构之上，该架构将回放构建为一个由任务学习器（TL）和回放代理（RA）共同驱动的闭环决策系统。利用强化学习，RA观察模型状态和任务动态，并学习联合回放策略，决定何时回放以及回放哪些样本。在内容方面，L2R根据样本的保留值来策划回放子集。在时机方面，它通过感知遗忘风险和任务干扰来调整回放频率和强度。这两个组件共同建立了一个双重适应性机制，以改善稳定性-可塑性权衡。在一个统一的框架内，内容和时序策略被共同优化，使回放过程能够适应不断变化的学习需求。
我们的主要贡献有三个方面：
•我们提出了Learning to Replay（L2R）框架，将该框架表述为一个双层优化问题，通过元强化学习代理共同优化内容和时序。
•我们设计了一个策略生成网络，该网络将PPO优化的时序策略与熵正则化的内容策略耦合起来，实现了协作适应性。
•在受控文本分类和生成式问答流上的实验表明，L2R在评估的基于文本的语言模型设置中优于DER++和Replay Scheduling等强大基线，并减少了遗忘。

部分摘录
基于回放的方法通过在学习新任务时回放先前任务的样本来减轻灾难性遗忘，从而实现了与多任务学习相当的性能。由于其简单性和有效性，它们已成为持续学习中最广泛采用的范式之一[19]。以往的研究主要关注两个关键问题：回放什么以及何时回放[20]。
对于回放内容，代表性的方法包括iCaRL，它选择类别……

问题设置和假设
我们考虑一个任务递增的持续学习设置，其中T个任务依次到来。任务t的数据集表示为Dt={(xit, yit)}i=1Nt。在训练任务t时，任务学习器（TL）可以访问当前任务数据Dt和由全局内存预算M控制的回放缓冲区M。该缓冲区仅存储来自先前任务的有限示例集，通过任务级别的维护规则在全球预算下分配任务特定的配额。一旦任务完成，其……

实验
我们在一个受控的文本持续学习设置中评估了L2R的有效性，其中分类和问答基准被纳入了一个统一的生成协议。本节详细介绍了实验设置、基线方法和评估指标，随后分析了在评估的语言模型设置中发现的结果和学到的回放行为。

实证结果的解释
总体而言，实验表明L2R是有效的，因为它将回放视为两个耦合的决策，而不是一个固定的启发式方法。效率表、控制器轨迹和内容策略图表指向相同的解释：Replay Agent在任务转换期间增加了回放压力，在过去的任务中非均匀地分配回放量，并保持了适度的探索。任务顺序和跨骨干的结果表明，这种行为并不依赖于单一因素……

结论
我们提出了Learning to Replay（L2R），这是一个闭环自适应回放框架，共同决定回放内容和回放时机。在六个基于文本的持续学习任务中，L2R将平均最终性能从66.49%提高到85.20%，并将AFR从35.81%降低到3.05%，相对于顺序微调而言，同时也在报告的比较中优于强大的回放基线。在评估的基于文本的语言模型设置中，这些结果支持……

CRediT作者贡献声明
Haoran Yu：撰写 – 原始草案、方法论。
Jianzhou Feng：概念化。
Huaxiao Qiu：撰写 – 审查和编辑、验证。
Ruitong Wang：数据策划。
Xingcan Bao：撰写 – 审查和编辑。
Tianyu Yang：监督。

资金支持
本工作部分得到了河北省自然科学基金一般项目（F2022203028）、河北省重大科技支撑项目（242Q0301Z）、河南省关键研发专项（241111211900）、高等教育机构科技计划（科学与工程类别）以及河北省教育厅-产学研合作项目（CXZX2025031）的支持。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文中报告的工作。

Haoran Yu | Jianzhou Feng | Huaxiao Qiu | Ruitong Wang | Xingcan Bao | Tianyu Yang