多VLM协同自适应采样以实现更高效的数据剪枝

《Neurocomputing》：Multi-VLM collaborated adaptive sampling for enhanced data pruning

　　摘要：在计算和数据资源受限的情况下，对大规模基础模型进行数据剪枝对于使其适应下游任务至关重要。然而，许多现有方法依赖于浅层统计特征，忽略了图像与文本之间的语义关系，这在多模态场景中尤为有害。我们提出了多视觉语言模型协同自适应采样框架mCAS，该框架利用多个预训练的视觉语言模型之间的互补优势来进行数据剪枝。mCAS由三个部分组成：语义增强模块，利用大型语言模型优化文本描述并丰富图像表示；多视觉语言模型协作模块，整合不同视觉语言模型的预测结果，识别出不一致或模糊的样本；以及自适应采样模块，从中等相似度范围内选择有信息量的样本，从而减少冗余，同时避免过拟合和欠拟合。在Mini-ImageNet、COCO-GLT、Caltech101和ImageNet-1K上的实验表明，mCAS在多种少样本和迁移学习场景中的表现均优于现有的典型剪枝方法。在Mini-ImageNet上，mCAS在使用更少训练样本的情况下，将5样本和10样本分类准确率分别提高了41.3%和32.6%。在ImageNet-1K上，它在5样本、10样本和15样本设置下的分类准确率分别提升了8.24%、9.72%和8.81%。额外的消融实验验证了各组件的作用，并证实多视觉语言模型协作能够带来更稳定可靠的剪枝决策。这些结果表明，利用多视觉语言模型协作和自适应采样可以有效保留关键的语义信息，从而在数据匮乏的多模态环境中更可靠、高效地部署基础模型。

引言：在深度学习时代，尤其是随着大规模基础模型的出现，有效的数据管理变得极为重要。这类模型通常在海量数据集上预训练，然后再针对特定的下游任务进行微调，这一流程会带来巨大的计算和存储成本。随着数据量的增加，训练速度变慢且成本上升，而冗余或噪声样本还会进一步降低模型性能。数据剪枝通过选择性删除低价值样本来缩小数据集规模，同时不牺牲模型精度，以此应对这一挑战。在面对特定任务的数据量有限的情况时，精细的剪枝尤为重要：保留最具信息量的样本不仅能减少计算量，还能提升模型的泛化能力，从而使微调更加高效有效。然而，这些传统方法都有一个共同点，即依赖低级统计指标或模型内部指标。这种做法隐含地将剪枝视为单模态问题，且往往仅涉及图像，因为许多基准测试中的实例级文本标注较为稀少或不对齐。现有的数据剪枝方法从早期基于幅值的方法发展到基于不确定性的技术，后者注重保留模型置信度较低的样本。最近，又出现了基于得分的方法，它们利用难度驱动的指标为样本分配重要性分数，如到类中心的距离、梯度幅度等。与此同时，人们还探索了核心集选择方法，用于数据子采样和主动学习，旨在通过几何覆盖或梯度匹配来识别出简洁且具有代表性的样本子集。然而，这些传统方法通常依赖低级或静态指标，因而忽视了复杂数据集中固有的深层语义关系，而这可能会削弱模型的泛化能力，尤其是在多模态场景中。

视觉语言模型领域的进展使得这类模型在需要整合视觉和文本信息的任务中得到了广泛应用。这些模型擅长提取语义嵌入，捕捉图像与文本之间的有意义关系，因此在各种视觉和语言任务中都展现出巨大价值，包括图像分割等任务。例如，Fang等人证明，基于视觉语言模型的方法可以通过解决单一模型评估的局限性来提升语义理解能力。此外，它们丰富的语义表示还有助于为数据不平衡的复杂场景开发出更高效的微调策略。类似的改进也应用于视频处理和物体检测领域。尽管这些模型功能强大，但许多数据剪枝方法仍然依赖单一模型或固定的评估方案，这限制了它们动态整合多种语义线索的能力。在数据剪枝任务中，深入理解语义关系对于确保模型的稳健性和泛化能力至关重要，这一限制尤为突出。我们的分析表明，不同的视觉语言模型往往会对同一组图像给出不同的排序结果，这凸显了单一模型评估标准的主观性。例如，如图1中的红色框所示，某张图像在Blip-coco模型中被评为“最差”，而在Clip-ViT-B/16模型中却被评为“最佳”。此外，即使在同一模型内，横向比较也显示，排名较低的图像往往比排名中间的图像具有更明显的特征（见图1中的绿色框），这进一步质疑了传统评估指标的可靠性。

基于上述观察，我们提出了多视觉语言模型协同自适应采样框架mCAS，该框架通过融合语义增强后的表示与自适应采样策略，克服了单一模型剪枝标准的局限性。该框架由三个部分组成：语义增强模块、多视觉语言模型协作模块以及自适应采样模块。语义增强模块利用大型语言模型生成具备类别意识的文本描述和简洁的属性提示，从而丰富图像表示并增强跨模态对齐能力。协作模块则整合来自不同视觉语言模型的排序信号，减少模型特定的评分偏差，形成尺度不变的共识排序，进而提高样本选择的可靠性。以经过类别校准的视觉-文本相似度分数作为主要选择依据，进一步强化了这一设计：该分数提供了基于语义的、高效的相关性度量标准；能够在不同类别和模态之间实现统一且易于理解的排序；无需特殊归一化即可实现编码器之间的融合；还能在样本选择过程中灵活控制类别平衡和多样性。最后，自适应采样器作用于相似度分布——极低的相似度意味着样本偏离目标或标签错误，极高的相似度通常反映的是冗余的样本，而具有信息量和区分度的样本则集中在中等相似度区间。通过优先保留中等相似度的样本，同时去除两端异常样本，mCAS能够在不丢失边界信息的情况下减少噪声和冗余。多视觉语言模型协作与自适应采样的结合，既提升了语义评估的可靠性，也增加了所选样本子集的多样性。这些组件共同作用，保留了关键的语义内容，有助于模型在各种数据集和资源限制条件下保持稳定性能。

我们提出了mCAS（多视觉语言模型协同自适应采样），这是一种将多视觉语言模型协作与自适应采样相结合的统一方法。在该方法中，图像及其对应的语义信息会被输入到多个视觉语言模型中。通过这些模型计算得到的文本与图像特征之间的相似度被用作过滤标准。mCAS利用这些相似度分数，采用自适应采样策略来选择更符合下游任务需求的 数据集。

我们还引入了一种基于大型语言模型的语义增强模块用于数据剪枝。与仅依赖类别名称不同，mCAS利用大型语言模型生成以外观特征为导向的类别描述，为视觉-语言相似度估算提供更丰富的文本参考。我们使用包括ChatGPT-4、Mistral和Llama 3在内的不同文本生成器对这一设计进行了验证，结果表明所提出的语义增强策略并不局限于某一种特定的大型语言模型。

我们在Mini-ImageNet、COCO-GLT、Caltech101和ImageNet-1K上进行了大量实验，结果显示，在多种少样本学习场景中，mCAS的表现始终优于现有的语义感知型及传统剪枝方法。

语义感知采样策略：语义感知采样策略通过引入机制来捕捉和利用数据的上下文及关联属性，从而拓展了数据集剪枝的应用范围。这些策略致力于保留数据集的语义丰富性，确保那些对下游任务有重要贡献的数据点能够被保留下来。在图像分割等任务中，保持详细的语义边界对于实现精确的结果至关重要。

方法论：我们提出的方法名为多视觉语言模型协同自适应采样mCAS，它围绕三个核心组件来提升数据剪枝的效果：语义增强模块、多视觉语言模型协作模块以及自适应采样模块。如图2所示，mCAS的架构首先由语义增强模块构成，该模块负责确保所选样本不仅在视觉上具有代表性，还能体现复杂的语义背景。

数据集：我们在四个基准数据集上评估了我们提出的数据剪枝方法的性能，分别是Mini-ImageNet、COCO-GLT、Caltech101和ImageNet-1K。

结论：在本文中，我们提出了mCAS，这是一种语义感知型数据剪枝框架，它结合了基于大型语言模型的提示生成、多视觉语言模型共识排序以及自适应采样技术，旨在实现高效的基础模型适配。通过为类别描述添加基于外观特征的文本提示，mCAS能够提供比仅使用类别名称的剪枝方法更强的视觉-语言对齐信号。通过整合多个视觉语言模型的排序结果，并从保留的中等相似度样本中选择具有代表性的样本，mCAS实现了更好的效果。

作者贡献声明：Changfan Wang负责原始稿撰写、可视化、验证、方法论设计、研究分析、正式分析以及数据整理工作；Chaoran Zhang负责原始稿撰写、可视化、验证、方法论设计、研究分析、正式分析工作；Wei Xu负责原始稿撰写、可视化、验证、方法论设计、研究分析以及概念构思工作；Huahui Yi负责审稿与编辑、验证、方法论设计以及数据整理工作；Kang Li负责审稿与编辑、项目监督以及资源与资金协调工作。

利益冲突声明：作者们声明自己没有已知的、可能影响本文研究成果的财务利益或个人关系。Changfan Wang目前是中国北京邮电大学人工智能学院的本科生，他的研究兴趣主要集中在图像分类领域，尤其致力于开发和改进高效准确的图像识别算法。

Changfan Wang|Chaoran Zhang|Wei Xu|Huahui Yi|Kang Li|Zhicheng Zhao|Boyu Wang|Fei Su|Qicheng Lao
中国北京100876，北京邮电大学人工智能学院