基于图像描述增强的CLIP适配器（IDEA）在少样本图像分类中的跨模态优化研究

本文提出IDEA（Image Description Enhanced CLIP-Adapter）——一种无需训练的跨模态适配器，通过利用训练集中的文本描述增强CLIP模型对细粒度特征的捕捉能力，显著提升少样本分类（few-shot classification）性能。其可训练扩展版本T-IDEA进一步引入轻量级投影层和可学习语义空间，在11个数据集上达到SOTA（state-of-the-art）。作者还利用LLaMA构建自动化流程生成1,637,795对图像-文本数据集IMD-11，为多模态学习（multimodal learning）提供新范式。

　　

Highlight
视觉与语言的语义互补性增强了人类对世界的感知。不同于以往的参数高效微调（PEFT）方法，我们提出一种多模态适配器，能有效挖掘图像-文本对中嵌入的信息。该适配器促进跨模态语义交互，增强模型捕捉细粒度特征的能力，并提升其在少样本图像分类任务中的表现。值得注意的是，无需训练的IDEA方法超越了多种需要训练的方法。

Conclusion and Future Work
视觉与语言在语义上相互补充，强化了人类对世界的认知。我们提出的多模态适配器突破了传统PEFT方法的局限，通过促进跨模态语义交互和细粒度特征提取，显著提升了少样本图像分类性能。未来将进一步探索动态语义空间构建和跨模态对抗训练等方向。

CRediT authorship contribution statement
Zhipeng Ye：综述撰写/初稿撰写/可视化/监督/软件/资源/方法论/调研/形式分析/数据整理/概念化；Feng Jiang：综述撰写/初稿撰写/项目管理/方法论/调研/概念化；Qiufeng Wang：综述撰写/监督/方法论；Kaizhu Huang：综述撰写/验证/监督；Jiaqi Huang：验证

Declaration of competing interest
作者声明以下潜在利益冲突：Feng Jiang报告获得江苏省高校自然科学研究基金资助。其他作者声明无已知可能影响本研究的财务或个人关系。