高效地对基于文本的人物搜索模型CLIP进行调优

《Neurocomputing》：Efficiently tuning CLIP for text based person search

　　摘要
基于文本的人物搜索的核心挑战在于弥合视觉和语言之间的跨模态异构性差距，以实现文本描述与行人图像之间的准确匹配。现有方法要么依赖于大量标注样本来训练专用的跨模态模型，要么在预训练模型（如CLIP（对比语言-图像预训练）上进行全参数微调。这些方法不仅消耗大量的计算资源，还倾向于破坏预训练模型中嵌入的通用知识，导致模型调优效率较低。为了解决这个问题，本文提出了一种高效的适配范式，即用于基于文本的人物搜索的Prompting-Adapting CLIP（PACLIP-TPS）。该范式包括两个核心创新模块：跨模态协作提示模块（CMCP）和SVD增强型低秩适配器（SVD-LoRA）。前者通过双向引导的可学习提示构建视觉-语言通信桥梁，并在不同层之间建立提示的逐步协作机制，从而增强CLIP模型的跨模态协作能力。后者借鉴LoRA的思想，在CLIP的编码器层中设计了包含 vanilla LoRA和截断SVD分解路径的旁路结构，以实现高效的任务适配。在三个主流数据集上的全面实验结果表明，我们的PACLIP-TPS在行人搜索准确性方面与代表性的基于CLIP的FPFT方法IRRA相当，同时仅需要1500万个可训练参数，约为IRRA 1.95亿个可训练参数的8%。

引言
基于文本的人物搜索（TPS）[17] [42] 是计算机视觉和自然语言处理交叉领域的一个关键技术任务，其核心目标是根据用户输入的自然语言描述（例如，“一个留着短黑发、穿着黑色衬衫、紧身黑色裤子和黑白相间鞋子的人”）从大规模无序的行人图像库中准确检索目标行人（如图1所示）。这项技术打破了传统基于图像的人物重新识别[23] [29] [46] [49] [50]对初始目标图像的依赖，并在实际场景中具有不可替代的应用价值，如智能监控、公共安全筛查和失踪人员搜救。然而，由于文本描述的抽象性和视觉图像特征的具象性之间存在本质差异，如何有效地弥合视觉-语言跨模态异构性差距[25]并实现这两种模态的精确对齐已成为一个紧迫的核心挑战。为了解决上述挑战，学术界提出了多种TPS算法，这些算法主要可以分为三类主流方法。第一类是传统的深度学习方法[12] [16] [38] [44]，它们设计专门的跨模态特征学习框架并对大量手动标注的行人图像-文本对进行端到端训练。然而，这些方法存在显著的限制：它们对标注数据的数量和质量有很高要求，而行人图像-文本对的标注成本很高。第二类是基于CLIP的全参数微调（FPFT）方法[24]，随着通用跨模态预训练模型[4] [21] [31] [33]的出现而成为研究热点。其核心思想是利用CLIP模型[24]获得的通用跨模态知识，并通过针对特定数据集重新调整模型参数来实现模型的适配。然而，这类方法仍存在三个关键缺陷：（1）FPFT需要巨大的计算能力，在资源受限的场景中不可行；（2）微调过程容易发生灾难性遗忘，从而损害预训练模型中学习的通用跨模态知识；（3）这类方法通常需要精心设计跨模态交互模块来适应TPS任务。

在过去的一年中，第三类工作，如CSKT[19]和DM-Adapter[20]，采用了参数高效微调（PEFT）技术。在冻结CLIP模型参数的情况下，它们通过提示学习或适配器将CLIP的预训练知识转移到下游任务中。然而，该领域的研究仍处于起步阶段。如图2所示，尽管包括CSKT和DM-Adapter在内的现有方法有效减少了可训练参数的数量，但与FPFT方法相比，在行人搜索准确性方面仍存在相当大的差距。因此，如何精心设计提示和适配器以实现高效调优仍是一个挑战。为了解决现有方法中的这些问题，本文提出了一种新的PEFT范式，即用于基于文本的人物搜索的Prompting-Adapting CLIP（PACLIP-TPS）。通过提示学习和改进的适配机制的协同设计，该范式实现了预训练知识的保留和有效的任务特定适配。具体来说，PACLIP-TPS以CLIP模型为框架，并冻结CLIP的参数以避免破坏预训练知识。在此基础上，引入了两个核心创新模块。首先是跨模态协作提示模块（CMCP），它在图像编码器和文本编码器的输入端插入可学习提示张量。通过双向投影机制，生成跨模态提示以在两种模态之间建立信息通信桥梁。这可以引导模型关注TPS任务的关键特征（如服装、体型、发型等）。同时，我们在CMCP模块中设计了一种逐步提示机制，使得提示能够逐步在编码器的不同层之间传输和融合。通过这种层间协同作用，模型可以更准确地捕获与任务相关的信息。其次是SVD增强型低秩适配器（SVD-LoRA）。考虑到CLIP编码器中的前馈神经网络（FFN）具有强任务相关性，该模块借鉴了LoRA[9] [48]的低秩适配思想，并在FFN中添加了旁路结构。与仅通过低秩向量映射输入特征的vanilla LoRA不同，该模块不仅对输入特征进行低秩映射，还对全连接层的权重矩阵进行截断SVD分解以处理输入信息。通过这种截断SVD分解得到的矩阵包含了预训练矩阵的主要特征，但其参数数量大大减少。如图2所示，我们的PACLIP-TPS在搜索准确性方面与现有的基于CLIP的FPFT方法相当，同时仅需要1500万个可训练参数，显著降低了训练成本，凸显了我们提出的框架的效率。总之，我们的贡献如下：
- 提出了一种新颖且高效的TPS任务PEFT方法。通过参数冻结策略，避免了预训练知识的破坏，同时显著降低了计算资源消耗，从而提高了该方法的实际应用性。
- 设计了一种跨模态协作提示模块，构建了视觉-语言交互桥梁，并在不同层提示之间建立了逐步融合机制，有效增强了CLIP模型的协作对齐能力。
- 提出了一种SVD增强型低秩适配器，在保证轻量级设计的前提下实现了预训练模型与TPS任务之间的精确适配。它比传统适配更有效，进一步提高了检索性能。
- 在流行的数据集上进行了广泛的实验，以验证所提出方法的有效性和优越性。实验结果表明，我们的方法与现有的最先进FPFT方法具有可比的性能，同时显著减少了可训练参数的数量。

本文的其余部分结构如下：第2节简要回顾了与我们研究密切相关的最新研究成果。第3节详细介绍了所提出的模型及其各组成部分。第4节报告了实验配置和综合结果，最后一部分总结了本文的工作，并指出了本研究的方法局限性和未来的工作方向。

章节片段
近年来，利用CLIP的预训练知识来解决TPS任务已成为研究热点。这类方法可以分为两大类：基于CLIP的全参数微调方法。随着CLIP的出现，Han等人[8]首次将CLIP引入TPS任务，开创了基于CLIP的研究范式。此后，许多相关工作随之展开。例如，[31]中的方法提出了一个基于CLIP的框架来实现...

模型概述
如图3所示，本文提出了一种名为PACLIP-TPS的高效适配范式，它实现了CLIP在TPS任务中的低成本适配。以预训练的CLIP为框架，我们的方法冻结了CLIP的视觉和文本编码器的所有参数，以避免微调导致的通用跨模态知识损坏。我们的PACLIP-TPS模型包括两个核心的轻量级创新模块：跨模态协作提示模块（CMCP）和SVD增强型...

数据集和评估协议
CUHK-PEDES[17]是最早的TPS任务数据集，包含13,003个人物身份。每个身份都有从不同视角和背景拍摄的多张图像，大多数图像对应2个描述性文本，总计40,206张图像和80,422个文本。遵循现有作品中的数据分割协议，我们将数据集分为训练集、验证集和测试集。具体来说，训练集包含11,003个人物身份，对应34,054张图像...

结论
针对TPS任务中无法克服的跨模态异构性差距、高计算成本和低知识转移效率的核心问题，本文提出了一种高效的CLIP适配范式，称为PACLIP-TPS。基于预训练的CLIP，该范式通过跨模态协作提示模块和SVD-LoRA的协同设计，在不损害通用预训练知识的前提下实现了高效的任务适配。实验验证表明...

CRediT作者贡献声明
Fang Ming：方法论、概念化。
Sun Jie：方法论、形式分析、数据整理。
Zhou Yudong：软件、调查。
Zhang Xiaojian：可视化、软件、资源。
Wang Junpei：可视化、验证。
Wang Kaiyu：软件、数据整理。
Chen Yanwen：撰写——原始草稿、资源。
Zhang Weifeng：撰写——审阅与编辑、撰写——原始草稿、调查、资金获取、概念化。
Xi Chuan：撰写——审阅与编辑、撰写——原始草稿。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢
本工作得到了浙江省自然科学基金（授权号LJXSQY26F010002）的支持。
Fang Ming获得了南京航空航天大学材料科学与工程学的学士学位和浙江大学的材料科学硕士学位。他是国家级一级计量师，法定计量技术机构的评估员，实验室认证、资格认证和管理系统的内部审核员，以及浙江计量与测试学会力学专业委员会的成员。

Ming Fang|Jie Sun|Yudong Zhou|Xiaojian Zhang|Junpei Wang|Kaiyu Wang|Yanwen Chen|Weifeng Zhang|Chuan Xi
浙江省嘉兴市计量检测研究院