QuantFT-VL：融合量化技术和LoRA以实现高效的移动视觉-语言模型微调 金方圆（Fangyuan Jin） 林慧（Hui Lin） 张路（Lu Zhang） 陈意威（Yiwei Chen）

《Algorithms》：QuantFT-VL: Harmonizing Quantization and LoRA for Efficient Mobile Vision–Language Model Fine-Tuning Fangyuan Jin, Hui Lin, Lu Zhang and Yiwei Chen

　　

摘要

视觉语言模型（VLMs）在资源受限的环境中得到了越来越多的应用，然而高效的微调仍然具有挑战性，因为训练后的量化往往会降低低秩适应的效果。本文以MobileVLM1.7B为例，重新探讨了这一不匹配问题，并提出了一种新的初始化策略QuantFT-VL，该策略在量化阶段之后使用，以无缝对接LoRA技术。其核心思想是使用量化残差的低秩近似值来初始化LoRA，而不是QLoRA风格管线中使用的默认零初始化。在将预训练的权重矩阵W量化为Q之后，我们计算残差W ? Q，并利用截断奇异值分解来初始化LoRA因子（A和B），从而使最初的适配权重Q + AB^T更好地匹配全精度模型。这种基于残差的初始化方法减少了量化引入的差异，从而实现了更快、更稳定的优化过程。在六个标准的VLM基准测试中，QuantFT-VL的表现始终优于QLoRA，并且在最佳设置下恢复了接近或优于全精度LoRA的性能。在两块RTX 3090 GPU上，QuantFT-VL将平均基准测试分数提高了3.27个百分点，同时保留了量化微调在内存和速度上的优势。