两阶段差异化提示优化：面向视觉语言模型图像分类的方法

《Scientific Reports》：TDPO: two-stage differentiated prompt optimization for image classification

　　

摘要

提示工程已成为将视觉语言模型（VLMs）适应于图像分类的有效范式。尽管大语言模型（LLMs）能够生成丰富的视觉描述，但其幻觉现象往往会产生不准确或区分度较弱的特定类别提示。此外，现有的提示优化方法对所有类别进行统一优化，忽视了类间异质性。为了解决这些局限性，我们提出了一种两阶段差异化提示优化（TDPO），将提示从特定任务模板细化为特定类别描述。在第一阶段，TDPO 通过轮盘赌选择优化模板，以平衡效率和多样性。在第二阶段，通过类别组采样策略抽样显著类别，并使用混合繁殖优化算法（HBO）优化提示。这种协作算法根据类间异质性将特定类别提示分配给三条演化路径，从而在保留表现良好类别的稳定提示的同时，高效发现具有区分度的特定类别提示。在极具挑战性的单样本图像分类设置中，在七个图像分类数据集上进行的大量实验表明，提出的 TDPO 有效提高了分类准确率，特别是在 Flowers102 和 DTD 数据集上，比之前的最先进水平分别提高了 2.9% 和 1.7%。本工作为视觉语言应用中的提示优化提供了一个有前景的方向。