投影特征尺度校准：面向2比特视觉编码器的仅图像后训练方法

《Electronics》：Projected-Feature Scale Calibration for 2-Bit Vision Encoders in Multimodal Large Language Models

　　

摘要

多模态大语言模型的视觉编码器进行极低比特量化可能会损害文本识别和图表理解能力。我们提出了投影特征尺度校准（PSC），这是一种针对 2 比特视觉编码器的仅图像后训练方法。PSC 以范围搜索的 GPTQ 为起点，固定整数码和零点，并通过冻结的多模态投影器匹配特征来联合更新现有的分组尺度。该目标使仅图像的校准与提供给语言模型的视觉表示保持一致。学习到的更新直接融入原始尺度中，从而保留了推理架构。在 LLaVA-OneVision 上的实验表明，与相同的强量化初始化相比，文本识别和图表理解能力均得到了一致提升，即使在同时进行语言模型压缩的情况下也是如此。匹配对照实验支持投影特征监督优于编码器输出重建，重复校准样本证实了增益的稳定性，而方法不变的对比式语言 - 图像预训练（CLIP）评估支持了向第二个编码器的迁移。因此，PSC 提高了紧凑视觉编码器的准确性，同时保留了其量化表示。