用于可扩展大型语言模型微调的差分隐私零阶方法

《IEEE Transactions on Information Forensics and Security》：Differentially Private Zeroth-Order Methods for Scalable Large Language Model Fine-tuning

　　

摘要：

在下游任务上对大型语言模型进行微调已成为提升其性能的常用方法。然而，使用敏感数据集时这一过程会引发隐私问题，因此人们越来越关注差分隐私下的微调方法。尽管现有的方法是在DP-SGD的奠基性工作基础上发展而来的，但它们仍受到固有效率瓶颈的限制。在本文中，我们研究了DP零阶方法在LLM微调中的潜力，该方法通过用更高效的零阶梯度来近似梯度，从而避免了SGD的可扩展性瓶颈。我们提出了分阶段DP零阶方法（DP-ZOSO），该方法动态调整关键超参数，以利用DP随机扰动与梯度近似误差之间的协同效应。为进一步提升可扩展性，我们还提出了DP零阶分阶段剪枝方法（DP-ZOPO），该方法通过无需额外隐私预算的无数据剪枝技术减少可训练参数。我们对这两种方法进行了理论分析，并在仅编码器型和仅解码器型的自回归语言模型上进行了大量实验分析，结果显示其在不同任务中的可扩展性和实用性均十分出色。