你只能调整归一化：一种简单而有效的参数高效微调方法

《ACM Transactions on Intelligent Systems and Technology》：You Can Only Tune Normalization: A Simple and Effective Approach to Parameter-Efficient Fine-Tuning

提出YONO方法，仅调整模型归一化层和最终分类层，避免额外模块设计，在28个基准数据集上验证其参数量减少40%-60%且性能与全微调相当，支持多种视觉模型部署。

　　

摘要

为了解决在大规模预训练模型进行微调时参数数量过多的问题，人们提出了参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）方法。该方法的核心思想是冻结模型的主干网络，仅更新一小部分参数。这种策略不仅减少了训练所需的参数数量，而且性能与全参数微调相当，在某些数据集上甚至超过了全参数微调的效果。然而，大多数流行的PEFT方法会引入额外的参数或模块来进行微调，这些额外组件存在固有的局限性。为此，我们提出了一种简单高效的PEFT方法，称为“You Can Only Tune Normalization”（YONO）。YONO仅专注于调整模型的归一化层和最终的分类层，避免了添加额外模块，因此可以轻松应用于任何模型而不会导致推理延迟。我们在28个基准数据集上对YONO进行了广泛测试，结果表明与其他先进的PEFT方法相比，YONO所需的参数数量显著较少。此外，我们还验证了YONO在多种视觉模型上的效率和泛化能力。最后，我们进一步探讨了PEFT方法的本质：它们究竟是学习了新的知识，还是只是揭示了模型已经掌握的能力。我们的研究发现表明，YONO对数据集质量的改进更为敏感，使其成为未来扩展到更大规模模型的有力候选方法。