综述：参数高效持续微调：综述

《Neurocomputing》：Parameter-efficient continual fine-tuning: A survey

　　摘要
大规模预训练模型的出现彻底改变了人工智能领域，为各种任务带来了新的可能性，并实现了前所未有的性能。然而，这些模型继承了传统机器学习方法的一个根本局限：它们严重依赖独立同分布的假设，这限制了它们适应动态现实场景的能力。我们认为，人工智能领域的下一个重大突破在于开发出能够高效且持续地适应不断变化的环境的系统，这类环境中新数据和任务会依次出现。这一需求催生了持续学习这一机器学习范式，其目标是构建能够在整个生命周期中持续学习而不遗忘先前知识的神经网络模型。与此同时，参数高效微调技术作为一种强大的工具出现，能够以较少的计算资源将大型模型适配到特定任务中。尽管参数高效微调技术通过较少的参数更新就能达到与全量微调相当的性能，但它仍然容易遭受灾难性遗忘问题。本综述通过聚焦于参数高效持续微调这一新兴领域，弥合了持续学习与参数高效微调之间的差距。我们首先全面概述了持续学习策略和参数高效微调方法，接着回顾了参数高效持续微调领域的最新进展。我们分析了现有方法，比较了评估方案，并指出了当前面临的挑战以及未来研究的方向。我们的目标是凸显持续学习与参数高效微调之间的协同作用，为那些希望构建具备适应性、可扩展性和高效性的人工智能系统的研究人员提供见解与指导。

引言
深度学习模型通过增加参数规模以及训练时使用的数据量来取得优异的成果。然而，这些模型往往需要大量的资源，这使得持续更新它们变得不切实际。尽管大型预训练模型通过大量预训练展现了出色的能力，使它们在特定领域表现极为出色，但它们在动态且持续变化的环境中的适应性仍有限。当这些模型被部署在现实场景中时，对它们进行微调变得越来越复杂，计算成本也日益高昂，尤其是随着任务数量的增加以及数据分布的持续变化。

以医疗人工智能系统为例，随着医学知识的不断进步，这类系统必须持续学习新的疾病、治疗方案和诊断技术。传统方法要么需要从零开始重新训练整个模型，这一过程既耗费大量计算资源又成本高昂；要么需要在新数据上进行微调，而这往往会导致先前学到的知识被彻底遗忘。对于需要在现实中始终保持最新且内容全面的系统而言，这两种解决方案都不可行。

这一挑战源于当前人工智能系统的两个根本局限性。首先，虽然大型预训练模型在单个任务上表现优异，但它们在面对随时间出现的连续任务时却力不从心。其次，更新这些模型所需的巨大计算成本使得频繁调整变得不切实际，从而在模型能力与部署效率之间形成了矛盾。为应对这些挑战，人们发展出了参数高效微调与持续学习这两大研究方向，但二者各自独立发展，仅凭其一尚不足以满足大型预训练模型持续适应的需求。持续学习致力于让模型能够在不遗忘先前知识的情况下从连续任务中学习，从而解决长期以来困扰机器学习系统的稳定性与灵活性之间的矛盾。然而，许多传统的持续学习方法都是在假设可以完全访问所有模型参数的经典实验环境下开发的，通常涉及对整个网络的微调。这样的假设使得这些方法计算成本高昂，而且在这些环境下得出的经验结论也无法直接应用于大型预训练模型，因此它们在涉及大型预训练模型的持续适应场景中的适用性通常较为有限。尽管如此，这些方法背后的许多理念仍然具有参考价值，只是需要进一步调整或针对特定任务进行修改才能有效应用于大型预训练模型。另一方面，参数高效微调领域提供了仅通过少量参数即可调整大型预训练模型的方法，从而在保持性能的同时大幅降低计算成本。不过，这类方法通常假设可以同时访问所有训练数据，且缺乏防止在顺序处理任务时发生遗忘的机制。

为此，结合两者的优势便产生了参数高效持续微调这一新范式，它将持续学习的连续学习能力与参数高效微调的计算效率相结合。参数高效持续微调方法使大型预训练模型能够在保持过去知识的同时持续进化并适应新任务，同时还能维持较高的计算效率。一方面，持续学习让模型能够持续适应，而参数高效微调则确保了适应过程中的效率；更重要的是，二者的结合解决了单独使用任一方法都无法解决的缺陷。

早期在这方面的研究已经展示了这种融合的潜力。这些研究表明，经过精心设计的参数高效适配方法能够让模型实现持续学习，且无需在遗忘问题与计算成本之间做出传统折衷。然而，目前该领域尚未形成对各类方法、它们的相对优缺点以及决定有效参数高效持续微调的基本原理的全面理解。

参数高效持续微调的概念不仅仅代表一项技术进步，它还回应了人们对可持续人工智能系统的迫切需求——这类系统能够在整个部署生命周期中不断适应和发展。传统的机器学习范式假设学习场景是静态的，数据集和任务都是固定的。而现实世界中的人工智能系统必须在动态环境中运行，这类环境中：
• 新任务会不断出现（例如电子商务领域的新产品类别、新的疾病）；
• 数据分布会随时间发生变化（例如用户偏好的改变、社交媒体趋势的演变）；
• 计算资源往往十分有限（例如边缘设备、成本敏感型应用）；
• 无法承受因重新训练而导致的系统停机时间（例如自动驾驶车辆、医疗诊断系统）。

参数高效持续微调为构建能够满足这些现实需求的人工智能系统提供了路径，它能够让系统以高效、渐进的方式适应变化，同时不会影响性能或导致先前能力的丧失。

随着人们越来越关注将持续学习与大型预训练模型相结合，已有不少相关综述文章发表。具体而言，有一些关于通用持续学习方法的全面综述，有一些专门探讨单任务适配的参数高效微调技术的综述，还有近期针对基于预训练模型的持续学习以及面向大型语言模型的持续学习的重要综述。此外，还有专门的研究分析了视觉语言模型等特定领域中的持续适应挑战。虽然这些综述都提到了参数高效微调技术（如提示词方法或适配器方法）作为其分类体系的一部分，但它们并没有将重点放在参数效率这一核心问题上。我们的工作正是填补了这一空白。这是第一篇全面定义并梳理参数高效持续微调范式的综述。我们的独特之处在于，我们提供了一个结构化的分类体系，并重点分析了在最小化可训练参数的同时最大化知识保留所带来的独特权衡问题。

在本综述中，我们全面介绍了参数高效持续微调研究领域的内容，包括推动持续学习和参数高效微调发展的动机、参数高效持续微调如何克服传统方法的局限性、现有的参数高效持续微调方法、这些方法之间的对比，以及该领域未来的发展方向。据我们所知，这是第一篇对这一新兴领域进行系统且结构化梳理的文章。通过这项工作，我们旨在：
• 帮助读者更深入地理解参数高效持续微调的概念、其重要性，以及它在自然语言处理和计算机视觉领域发展中的作用；
• 明确展示当前参数高效持续微调领域中最先进的 методи以及实际应用情况；
• 激发对该领域未来有前景的研究方向的探索与发现。

本文的结构如下：第2节介绍背景概念，第3节阐述现有典型持续学习方法的最新进展及详细分类，第4节概述当前的参数高效微调方法，第6节探讨持续学习与参数高效微调的结合方式，第7节讨论该领域的未来发展方向，最后在第8节总结全文。他的研究聚焦于计算机视觉领域的持续学习，尤其关注参数高效微调方法。他致力于将大型预训练模型适配到不断变化的领域和任务中。他的研究兴趣还包括领域适应和高效模型微调。埃里克·努尔泰·科尔曼|路易吉·夸兰蒂埃洛|刘子越|杨琴文|萨姆拉特·穆克吉|胡尔塔多·胡里奥|文森佐·洛莫纳科意大利比萨大学，布鲁诺·庞特科尔沃大街3号，比萨，56127