《Computer Vision and Image Understanding》：CLIP-driven fine-grained mining for text-based person search
编辑推荐：
细粒度文本到图像检索方法：提出CLIP-Driven Fine-grained Mining（CDFM）框架，通过注意力偏置视觉前向（ABF）提取局部视觉特征，结合细粒度嵌入学习（FEL）和文本提取策略（TES）实现无外部工具的细粒度关系挖掘，并在三 benchmarks上验证有效性。
Xianwen Lin|Xia Geng|Shengli Wu|Zhi Yang
江苏大学计算机科学与通信工程学院，镇江，212013，中国
摘要
基于文本的人脸搜索旨在根据文本描述检索行人图像。主要挑战在于探索模内差异的同时确保模间一致性。最近，对比语言-图像预训练（CLIP）因其强大的语义理解能力而受到了广泛关注。然而，现有方法主要依赖于掩码建模任务来实现隐式的细粒度关系学习。相比之下，我们提出了一个CLIP驱动的细粒度挖掘（CDFM）框架，该框架在不引入外部工具的情况下显式地挖掘细粒度关系。CDFM在保持全局对齐的同时提取了高度对齐的细粒度表示。具体来说，我们首先设计了一个基于注意力偏置的视觉前向（ABF）过程，通过局部补丁集的单向信息传递来提取局部视觉表示。其次，为了获得细粒度文本表示，我们提出了一个细粒度嵌入学习（FEL）模块和文本提取策略（TES）。FEL使用交叉注意力机制将细粒度文本信息聚合成一组可学习的标签。为了确保细粒度文本表示的对齐，TES使用局部视觉表示作为监督，将余弦相似性和欧几里得距离知识从预训练空间传递到多模态解码器中。实验结果证明了我们CDFM的优越性。
引言
基于文本的人脸搜索（TBPS）（Li等人，2017年）旨在从人脸图像库中检索与给定文本描述最相关的图像集。它是图像-文本检索和人脸重新识别的一个子任务。文本描述的出现导致了显著的模态异质性和身份内部变化，使得TBPS在细粒度信息方面要求更高。得益于视觉-语言预训练模型（VLP）的成功，最近的研究（Jiang和Ye，2023年；Han等人，2021年；Yan等人，2022年）将其强大的知识应用于TBPS，缓解了上述问题并取得了令人印象深刻的结果。与在单模数据上预训练的模型相比，VLP在自然语言监督下提供了更强大、高质量的语义表示，其中对比语言-图像预训练（CLIP）（Radford等人，2021年）是最具代表性的例子。
尽管IRRA（Jiang和Ye，2023年）证明了在TBPS上微调完整CLIP模型的有效性，但TBPS要求模型区分行人之间的细微差异，而CLIP在预训练阶段主要关注实例级对齐（图像到句子）。在回顾最近的研究时，我们发现了将CLIP模型应用于显式挖掘细粒度信息时的几个关键问题。
首先，仅依赖全局对齐可能会导致潜在的任务差距（图1(a)）。以往的方法（Chen等人，2022年；Gao等人，2021年）通常采用基于部分的卷积基线（PCB）（Sun等人，2018年）来显式获取局部视觉特征，但这些方法依赖于基于CNN的视觉编码器。H. Li等人（2021年）尝试将PCB引入基于变压器的视觉编码器并修改了分割方法，但未能获得令人满意的性能。其次，简单的模态共享可能会导致次优结果。Zuo等人（2024年）提出了一个共享的多模态解码器来挖掘细粒度表示，但忽略了解码器与预训练空间之间的兼容性。最后，引入外部工具使网络依赖于它们的性能（图1(b)）。例如，Wang等人（2020年）使用斯坦福词性标注器解析文本，并使用HRNet分割人脸图像。虽然这种方法可以提高模型性能，但随着预训练和微调成为新的范式，我们建议专注于探索预训练网络的知识。
鉴于上述观察，我们提出了一个CLIP驱动的细粒度挖掘框架（CDFM）。CDFM利用CLIP作为初始化来减轻跨模态特征的不对齐，并在全局对齐的同时显式挖掘细粒度差异作为补充信息。首先，受到CLIP在图像分割方面成功的启发，我们提出了一种新的基于注意力偏置的视觉前向（ABF）过程来提取局部视觉特征。与以往的方法（Chen等人，2022年；Wang等人，2020年）不同，我们根据行人的特定拓扑结构对嵌入的补丁进行分组，在每个组前添加一个局部分类（[CLS]）标记，并在注意力偏置矩阵的帮助下传递标记序列。视觉编码器输出处的局部[CLS]标记状态作为局部图像表示。接下来，我们提出了一个细粒度嵌入学习（FEL）模块来提取与视觉语义相对应的细粒度文本嵌入。具体来说，我们将嵌入的文本标记输入到一个多模态解码器中，其中包含一组可学习的标记，以探索单词和标记之间的语义相关性。这使得文本嵌入可以隐式地与语义相似的标记结合，而无需依赖外部工具。我们将最终输出称为细粒度文本嵌入。
然而，在没有语义注释的情况下，确保细粒度文本嵌入与相应的局部图像表示之间的对齐是具有挑战性的。为了解决这个问题，我们设计了一种文本提取策略（TES），在视觉监督下关联余弦相似性并传递欧几里得距离。TES的底层逻辑是模态共享对于跨模态任务是有效的（Shu等人，2022年；H. Li等人，2021年；Zuo等人，2024年），并且预训练模型的图像-文本联合潜在嵌入空间应该是一致的。因此，我们利用图像模态作为桥梁，将来自模态共享FEL的细粒度图像嵌入与ABF的输出对齐。通过这种方式，CLIP潜在空间中的知识将被传递到FEL中，确保FEL提取的细粒度文本嵌入与其对应的视觉概念保持一致的语义线索。
最后，为了防止模型由于FEL的随机初始化而陷入局部最小值（Bai等人，2023年），我们从J. Li等人（2021年）的研究中得到启发，在FEL的训练过程中引入了动量蒸馏（MoD）。这种方法旨在从由动量模态共享的可学习标记生成的伪目标中学习更强大的细粒度嵌入。
我们的主要贡献和创新总结如下：
- •
我们提出了一个CLIP驱动的细粒度挖掘框架，该框架通过提出的基于注意力偏置的视觉前向过程（ABF）和细粒度嵌入学习（FEL）模块显式利用细粒度嵌入，而不影响全局表示或引入外部工具。
- •
我们设计了一种文本提取策略，将CLIP的知识传递到提出的FEL中，而无需语义注释，确保细粒度文本特征与相应的视觉概念对齐。
- •
在三个公开的TBPS基准测试集上进行的大量实验，即CUHK-PEDES（Li等人，2017年）、ICFG-PEDES（Ding等人，2021年）和RSTPReid（Zhu等人，2021年），证明了CDFM的有效性。
部分片段
基于文本的人脸搜索
基于文本的人脸搜索最初由Li等人（2017年）提出，他们构建了第一个基准数据集CUHK-PEDES。TBPS的主要挑战是找到合适的联合图像-文本嵌入空间并对齐图像和文本嵌入。早期的工作侧重于探索人像-文本对之间的全局特征关联。Zheng等人（2020年）提出了实例损失来减少两种异构特征之间的跨模态差异，从而提高了区分度
方法
在本节中，我们介绍了我们提出的CDFM框架。CDFM的概述如图2所示，详细内容将在以下小节中讨论。
数据集和指标
我们在三个公开且具有挑战性的TBPS数据集上评估了我们的方法。
CUHK-PEDES（Li等人，2017年）是第一个为基于文本的人脸搜索收集的数据集。它包含40,206张图像和13,003个人的80,412个文本描述。根据官方协议，该数据集被分为训练集、验证集和测试集。训练集包括34,054张图像和11,003个人的68,108个文本描述。验证集包括3,078张图像和6,158个文本描述
结论
在这项工作中，我们提出了一个CLIP驱动的细粒度挖掘（CDFM）框架，旨在利用CLIP的能力来提取具有区分性的细粒度嵌入，而无需外部工具。我们发现合适的提取方法（ABF、FEL）和监督策略（TES）为实例级预训练模型的显式细粒度挖掘提供了有效的解决方案。在三个流行的TBPS基准测试集上的全面实验证明了我们CDFM的有效性。此外，
CRediT作者贡献声明
Xianwen Lin：写作 – 审稿与编辑，撰写原始草稿，可视化，验证，软件，方法论，调查，形式分析，数据策划，概念化。Xia Geng：监督，资源，项目管理，资金获取，概念化。Shengli Wu：写作 – 审稿与编辑，撰写原始草稿。Zhi Yang：形式分析。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
致谢
这项研究没有收到公共、商业或非营利部门的任何特定资助。
