LoRA Dropout：一种基于稀疏正则化的过拟合抑制新策略及其理论机制解析

（编辑推荐）本文创新性地提出LoRA Dropout框架，通过理论建模揭示Dropout在低秩自适应（LoRA）中的稀疏正则化机制，证明其能有效平衡经验风险与泛化误差边界。提出的测试时集成策略进一步压缩误差界，实验验证该方法在参数高效微调（PEFT）中显著提升模型性能。

　　

Highlight

LoRA Dropout：过拟合抑制的稀疏正则化器

引言

近年来，预训练语言模型（PLMs）随着参数规模的快速增长，在各种任务中展现出卓越性能。然而，当PLMs适配下游任务时，传统全参数微调需要消耗大量计算资源。参数高效微调（PEFT）范式应运而生，其中低秩自适应（LoRA）通过冻结预训练参数、仅优化低秩增量矩阵实现高效适配。但LoRA在小数据集上仍面临过拟合风险，现有方法缺乏理论指导。

理论突破

本文首次建立LoRA Dropout的稀疏正则化理论框架：

1. 将Dropout建模为稀疏微调过程，推导出泛化误差边界

2. 证明适当稀疏性能收紧经验风险与泛化风险的差距

3. 揭示传统Dropout在参数空间稀疏模式多样性不足的缺陷

方法创新

提出LoRA Dropout三阶段技术：

1. 增强稀疏模式：在低秩矩阵（A/B）上实施分层Dropout，提升正则化精度

2. 测试时集成：融合不同参数丢弃模型，理论证明可进一步压缩误差界

3. 内存优化：通过掩码共享机制控制GPU内存开销

实验验证

在GLUE等基准测试中，LoRA Dropout使RoBERTa_large模型：

• 过拟合现象降低37.2%

• 平均准确率提升2.4%

• 优于AdaLoRA等基线方法

结论

本研究为PEFT领域提供首个理论完备的Dropout框架，其核心优势在于：在不牺牲表达力（如降低LoRA秩）的前提下，通过稀疏正则化实现更优的泛化性能。

Section snippets

低秩自适应基础（LoRA）

预训练模型M⁰参数θ⁰∈R^d，LoRA通过冻结θ⁰、优化低秩分解矩阵Δθ=BA（B∈R^d×r, A∈R^r×k）实现高效微调。

Dropout如何平衡LoRA的过/欠拟合

理论分析表明：

• 稀疏度与Rademacher复杂度呈负相关

• 最优Dropout率p*=1-(1/√训练样本数)

实验设计

对比BitFit、H-Adapter等基线，在文本分类/生成任务中验证：

• LoRA Dropout显著缩小训练-测试损失差距

• 集成策略使预测方差降低19.8%

应用前景

该框架可扩展至：

1. 医学文本分析（如临床记录分类）

2. 生物序列建模（如蛋白质功能预测）

3. 多模态健康数据处理