VVSQ：基于视觉漏洞分数（Vision Vulnerability Score）的视觉-语言模型训练后量化方法

《Neurocomputing》：VVSQ: Vision vulnerability score-guided post-training quantization for Vision-language models

　　摘要
将传统的LLM训练后量化（PTQ）应用于视觉-语言模型（VLMs）通常会导致一种特征性的“盲目但流利”的故障模式：文本流畅性在很大程度上得以保留，而视觉推理能力却下降。先前的研究表明，校准偏向于语言的保留，因为语言标记的梯度占主导地位，但哪些层最容易受到特定模态崩溃的影响以及为什么仅通过全局模态重新加权是不够的，这一点仍然不清楚。我们引入了两种逐层诊断方法——视觉脆弱性得分（VVS）和语言脆弱性得分（LVS），这些方法通过测量目标层被量化时，对视觉或语言干预的最终层隐藏状态响应的减弱程度来量化各层的模态脆弱性。基于这些诊断方法，我们提出了VVSQ（视觉脆弱性得分引导的量化）。VVSQ对易受视觉崩溃影响的层应用视觉保留的选择性辅助稳定目标，并使用梯度加权的标记重建，可选地提高对同时受视觉和语言崩溃影响的层的精度。与全局重新加权模态的先前方法不同，VVSQ根据每层的模态脆弱性局部控制量化损失。

在Qwen2-VL、InternVL2和LLaVA上，使用W2A16、W3A16、W4A4和W4A8架构，以及在W3A16和W4A8架构下的新Qwen2.5-VL-3B/7B架构上，VVSQ在多模态基线方法——模态平衡量化（Modality-Balanced Quantization）上表现出了一致的改进。在Qwen2.5-VL-3B上，未经校准的RTN在我们的设置中完全崩溃，而考虑校准和脆弱性引导的方法仍保持了可用的多模态准确性。在更严格的评估环境中，收益最大，W3A16下的平均改进达到了（Qwen2-VL-2B相对于MBQ）、W4A8下的平均改进达到了（LLaVA-7B相对于MBQ）、W2A16下的MMMU（LLaVA-7B相对于MBQ），以及W4A4下的MMMU（LLaVA-7B相对于MBQ）；这些是单个模型的最大改进，九个模型套件的平均改进分别为（W3A16）和（W4A8）。这些结果表明，根据每层的模态脆弱性来控制量化损失比在整个网络中均匀应用单一的模态平衡目标更为有效。

引言
最近的视觉-语言模型（VLMs），包括Qwen2-VL/Qwen2.5-VL、InternVL2和LLaVA-One [1]、[2]、[3]、[4]，包含数十亿个参数，这促使人们采用训练后量化（PTQ）进行高效部署 [5]、[6]、[7]、[8]。然而，直接将面向LLM的PTQ应用于VLMs通常会导致“盲目但流利”的故障模式，即文本流畅性基本保持不变，但基于图像的推理能力显著下降 [9]、[10]。这种故障与语言主导梯度有关，在校准过程中语言标记的梯度占主导地位 [9]。现有的解决方法重新平衡了不同模态的重建损失 [9]，但它们无法识别哪些层失去了对视觉的依赖性。

常见的代理指标，如重建误差、梯度幅度、SQNR和余弦相似度也无法直接定位特定于视觉的崩溃 [6]、[7]、[11]、[12]。我们发现，视觉崩溃集中在一小部分对视觉敏感的层中（在第4节中有所说明），在这些层中，用于保留语言和视觉的量化尺度存在显著差异。我们将这种现象称为模态特定的量化尺度不匹配。因此，单一的全局模态重新加权目标是不够的；有效的VLM PTQ需要一种方法来识别这些层并选择性地保护它们。为了解决这个问题，我们引入了视觉脆弱性得分（VVS）和语言脆弱性得分（LVS）。这些得分受到类似ROME [13]的因果干预分析的启发，通过视觉或语言干预引起的最终层依赖性的变化来量化各层的模态脆弱性。图1的上半部分显示，综合脆弱性得分（VVS + LVS）比标准代理指标更准确地追踪了各层的MMMU退化情况。下半部分使用排名一致性指标定量证实了这一趋势：VVS + LVS在所有比较指标中与实际MMMU退化之间的对应关系最强，支持其作为逐层脆弱性信号的使用。

基于这些诊断方法，我们提出了VVSQ（视觉脆弱性得分引导的量化）。对于易受视觉崩溃影响的层，VVSQ将尺度搜索目标切换为视觉保留的选择性辅助稳定公式。对于同时受两种模态影响的层，它还可以通过混合精度位提升来减轻联合崩溃（第4节）。在W2A16、W3A16、W4A4和W4A8下的Qwen2-VL、InternVL2和LLaVA [1]、[3]、[4]上，VVSQ在多模态平衡量化（MBQ）以及其他PTQ基线上表现一致地取得了改进，W3A16下的平均改进达到了（Qwen2-VL-2B相对于MBQ）、W4A8下的平均改进达到了（LLaVA-7B相对于MBQ）、W2A16下的MMMU（LLaVA-7B相对于MBQ），以及W4A4下的MMMU（LLaVA-7B相对于MBQ）。我们进一步在W3A16和W4A8下的Qwen2.5-VL-3B/7B [2]上进行了评估，VVSQ再次优于MBQ。值得注意的是，在我们的设置中，未经校准的RTN在Qwen2.5-VL-3B上完全崩溃，这突显了直接四舍五入对较新的Qwen系列VLMs的脆弱性。

本文的主要贡献如下：
- **逐层诊断模态特定量化尺度不匹配**：我们表明，“盲目但流利”的量化现象不能仅通过全局语言主导梯度来解释。相反，语言-视觉梯度不平衡以及相应的损失最小化尺度在深度上存在显著差异，表明视觉崩溃集中在一小部分层中，这些层的保留语言的尺度与保留视觉的尺度发生冲突。因此，我们制定了VVS和LVS这两个基于因果干预的得分，它们可以直接定位每层的模态特定崩溃，超越了标准的数值代理指标。
- **VVSQ：基于模态脆弱性的选择性保护**：我们开发了VVSQ，它仅对被识别为易受视觉崩溃影响的层应用视觉保留的尺度搜索目标，并且可以选择性地提高对同时受两种模态影响的层的精度。稳定目标使用梯度加权的标记重建，以便在尺度不匹配严重的情况下对重要标记提供更强的保护。
- **广泛的验证和实证洞察**：在W2A16、W3A16、W4A4和W4A8下的Qwen2-VL、InternVL2和LLaVA上，VVSQ在多模态平衡量化（MBQ）上始终表现出改进，尤其是在更严格的评估环境中获得了最大收益。我们还在W3A16和W4A8下的Qwen2.5-VL-3B/7B上进行了验证，其中包括Qwen2.5-VL-3B上的完全RTN崩溃情况，此时VVSQ仍然有效。我们的分析进一步表明，基于隐藏状态的评分比基于logit的替代方法更可靠，保护正确的层比保护更多层更为重要。

相关工作
VVSQ与四个研究方向相关：（i）LLM量化，（ii）VLM特定量化，（iii）基于敏感度的选择性量化，（iv）混合精度量化。我们简要回顾了每个方向，并相应地定位了VVSQ。

动机
先前的研究 [9] 报告称，在VLM PTQ中，语言标记的校准梯度远大于视觉标记的梯度，这导致校准偏向于语言的保留（语言主导梯度）。然而，将这一原则均匀应用于所有层可能不适合那些强烈依赖视觉输入的层。本节提出了两个实证观察结果，以激励识别和选择性地保护这些层。

方法论
图5总结了整个VVSQ的工作流程。我们在统一的位量化（uniform-bit PTQ）下制定了VVSQ，有两个目标：（i）通过视觉干预引起的依赖性变化来量化哪些层在低位量化下失去了视觉推理能力；（ii）仅在对这些层上切换尺度搜索标准，以抵消有害的语言主导梯度偏见。

路线图
核心贡献包括两个部分：

实验
本节通过实证验证了所提出的VVSQ的有效性。实验旨在回答以下三个研究问题：（Q1）在相同的极端低位设置（例如W2A16）下，VVS引导的脆弱层保护是否比现有的PTQ方法更有效地减轻了视觉依赖任务的退化？（Q2）VVSQ的每个组成部分（基于VVS的脆弱层选择、目标切换和填充感知统计）贡献了多少？

局限性和未来工作
我们的研究有三个局限性。首先，VVS/LVS在简单实现中需要额外的前向传递；小规模的校准集（16-128个样本）已经可以产生稳定的诊断结果，但非常大的模型（70B+）可能需要块级近似。其次，VVSQ仅限于尺度搜索轴（AWQ/MBQ系列），并且保持四舍五入的权重不变。由于GPTQ风格的方法在正交权重更新轴上操作，因此两者是互补的：VVS/LVS可以选择哪些层进行二阶处理。

结论
我们提出了视觉脆弱性得分（VVS）和语言脆弱性得分（LVS），这两种逐层诊断方法可以量化量化过程中的模态脆弱性，以及VVSQ，这是一种具有脆弱性意识的PTQ框架，它仅在结构上脆弱的层上应用视觉保留的尺度搜索目标，并且可以选择性地提高对同时受两种模态影响的层的精度。VVSQ不是在整个网络中均匀应用单一的模态平衡目标，而是根据每层的模态脆弱性来控制量化损失。

作者贡献声明
Kim Jungseok：写作——审阅与编辑、原始草稿编写、验证、方法论、调查、形式分析、数据策划、概念化。
Woo Byeongju：写作——审阅与编辑、验证、方法论。
Kim Hoseong：写作——审阅与编辑、验证、资源管理。
Pak Byeonghyun：写作——审阅与编辑、可视化。
Kim Daeyoung：写作——审阅与编辑、验证、监督、概念化。

利益冲突声明
作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。

Kim Jungseok 分别于2011年和2013年在韩国大田的忠南国立大学获得了计算机科学与工程学士学位和硕士学位。自2022年以来，他一直在韩国大田的KAIST计算学院攻读博士学位。自2013年起，他一直在韩国国防发展署（ADD）担任高级研究员。他的研究兴趣包括检测/跟踪算法开发和神经网络量化。