模型预测任务采样：实现高效且稳健的适应性调整

《Nature Communications》：Model predictive task sampling for efficient and robust adaptation

　　

摘要

基础模型和通用策略依赖于适应性学习，包括元训练、领域随机化和监督式微调。在分布变化的情况下，具有挑战性的任务优先采样对于提高适应性鲁棒性至关重要。然而，对任务难度进行排序需要耗时的评估，无论是通过元强化学习中的智能体-环境交互和领域随机化，还是在大模型微调中的重复前向传播，这种方式都成本高昂。我们提出了模型预测任务采样（Model Predictive Task Sampling，简称MPTS）框架，该框架能够将任务空间与适应性风险分布联系起来，以实现主动的任务选择。MPTS利用轻量级的生成模型来预测特定任务的适应性风险，从而在降低评估成本的同时能够可靠地对任务难度进行排序。它可以无缝集成到零样本学习、小样本学习和监督式微调场景中。我们在模式识别和序列决策任务中进行了大量实验。实证结果表明，与现有方法相比，MPTS显著提高了模型对尾部风险或分布外任务的适应性鲁棒性，并且在学习效率上也优于CVaR_α等子集选择方法。