跨模态双分支并行混合匹配用于文本到图像的人脸检索

《Neurocomputing》：Cross-modal dual-branch parallel hybrid matching for text-to-image person retrieval

　　文本到图像人物检索旨在根据自然语言查询返回在语义上匹配的行人图像。我们提出了跨模态双分支并行混合匹配（CDPHM）方法，该方法通过双向注意力将全局CLIP分支与轻量级局部分支相结合，在共享的嵌入空间中融合整体语义和细粒度的空间特征。在三个基准数据集上的大量实验表明，CDPHM在所有数据集上都取得了最先进的第5名排名性能，第10名排名表现优异，在RSTPReid数据集上的第1名排名率为61.65%，为最佳成绩。在CUHK-PEDES和ICFG-PEDES数据集上，CDPHM的第1名排名率分别为73.89%和63.92%。此外，CDPHM的模型规模仅为191百万个参数，与现有的基于CLIP的方法相比参数开销极小，同时还能有效结合全局和局部匹配功能。相关代码已公开发布在https://github.com/mian-hu/CDPHM。

文本到图像人物检索的任务是依据文本描述从大规模图像库中检索出对应的行人图像。近年来，这一任务受到了学术界和工业界的广泛关注。例如，它被用于在监控系统中定位或追踪嫌疑人或失踪人员[3]、[4]。然而，图像和文本的语义需要被映射到同一个潜在空间中，而这凸显了不同模态之间存在的巨大差异[5]。目前的 方法在全局对齐和细粒度对齐方面仍有不足，而且不同模态之间的外观属性存在冗余现象[5]。例如，行人图像往往包含大量无关或重复的视觉特征，这些特征会妨碍模型捕捉关键特征，使得文本到图像人物检索成为跨模态表示学习中的一个难题。为了解决这些问题，现有的方法大多采用全局或局部对齐策略来学习可靠的相似性度量指标。具体而言，IVT[6]通过基于Transformer的掩码重构目标将视觉和文本标记统一起来；上下文的隐性共享迫使两种模态在同一个潜在空间中自我对齐。LapsCore[7]则通过双向颜色推理流程——文本引导的图像着色和图像引导的颜色词填空——在文本短语和图像区域之间建立细粒度的跨模态关联，从而提升基于语言的人物检索的表示质量。DeepCMP[8]则侧重于深度跨模态投影，将图像的区域特征和文本词汇相互投影到同一个潜在空间中，并通过双向排序损失端到端学习细粒度对齐，以实现精确的图像-文本匹配。IVT属于全局匹配方法（将整个图像和完整句子映射到同一个潜在空间），而LapsCore和DeepCMP则是局部匹配方法（明确地将文本短语与图像的局部区域对齐）。M-RAM[9]通过多步循环注意力机制迭代优化区域-单词对齐权重，逐步消除歧义，以实现更精确的图像-文本匹配。UARDA[10]则明确建模负向区域-单词对，并通过正负双分支注意力共同推断图像-文本的相似性，从而实现更精细的局部对齐。M-RAM和UARDA都属于局部匹配方法：它们通过迭代或正负分支明确优化局部对齐权重。

近年来，研究人员利用从预训练骨干网络中提取的视觉和语义信息[11]、[12]、[16]，来实现显式的全球对齐或挖掘更细粒度的局部特征对应关系[5]，这有效地提升了跨模态检索任务的性能。同时，包括面向遥感图像字幕生成的考虑尺寸的图嵌入技术在内的相关跨模态研究[48]也表明，建模结构化的语义关系同样有助于增强视觉与文本之间的细微交互。不过，这些方法最初是为图像字幕生成而开发的，并非用于具有区分能力的文本到图像人物检索。目前的人物检索框架大多采用单一的局部匹配或单一的全球对齐策略。因此，我们提出了一种新的方法，将全球对齐和局部匹配相结合，从而克服全球匹配的局限性，同时抑制单一局部匹配带来的噪声和不稳定性。为引导全球图像-文本相似性匹配，我们引入了多尺度空间上下文（MSSC）模块。该模块通过对输入特征图进行多尺度空间重加权以及后续的特征聚合，增强了特征图的空间感知能力。具体而言，首先沿通道维度将特征图分割成大小相等的若干部分，然后对每个部分以不同的空间分辨率进行处理：通过自适应最大池化得到低分辨率版本，再经过轻量级的深度卷积进行细化，最后上采样回原始尺寸。所有不同尺度下的特征线索都会被拼接在一起，通过一个卷积操作进行融合，之后经过GELU非线性函数处理，最终生成注意力图。为引导图像-文本匹配，我们设计了三种损失函数：图像-文本相似性分布匹配损失[17]（SDM损失）、图像与文本之间的实例损失[18]（ID损失），以及样本亲和力一致性损失[19]（SaCo损失）。SDM损失通过KL散度将图像-文本对的标准化相似性概率与其标签分布对齐，同时利用可学习的温度参数来调节峰值强度。降低温度值可以增强难负样本的梯度，加强正样本对之间的关联，进而增大匹配样本与未匹配样本之间的类别间隔。ID损失的核心思想是将每个样本（如图像或文本）视为一个独立的“类别”，并优化该样本内的特征分布。具体来说，模型需要学习每个样本的特征表示，使得同一样本内的特征在特征空间中尽可能接近，而不同样本的特征则尽可能分离。这种方法与中心损失的理念类似，后者通过最小化类内差异和最大化类间差异来提升模型的区分能力。SaCo损失的主要目标是优化嵌入空间，使得图像与文本之间的样本亲和力在不同模态下保持一致。具体而言，对于任意一对图像-文本对，SaCo损失首先计算其视觉嵌入和文本嵌入的余弦相似度，然后促使模型最小化这两个相似度得分之间的差异。在本文中，我们提出了一种新的框架，该框架能够：（i）从图像和文本中提取局部和全局特征，同时隐式地分析它们之间的区域关系；（ii）通过双分支架构将这些特征融合在一起——一个分支处理原始图像，另一个分支则在MSSC的辅助下处理多尺度上下文——从而生成具有区分能力的全球图像和文本表示。如图1(d)所示，这些经过优化的表示会被进一步对齐，以实现稳健的图像-文本检索。如前所述，CDPHM在直接的全局编码（分支1）和经MSSC增强的编码（分支2）之间实现了良好的平衡。第4.6节、表7和图9显示，在CUHK-PEDES[13]、ICFG-PEDES[14]和RSTPReid[15]这三个基准数据集上，等量的损失权重（1:1）能够实现最佳的平衡效果，因此无需针对特定数据集进行额外调整。表1对比了我们提出的CDPHM与包括SEN[47]在内的十种最先进的模型以及一个基准系统的参数规模，这些模型涵盖了局部（L）和全局（G）匹配两种方式。值得注意的是，CDPHM仅引入了一个轻量级的多尺度空间上下文（MSSC）模块，而没有修改其他竞争性基于CLIP的模型（如IRRA、AMNS、SEN）所采用的核心编码器架构（CLIP-ViT-B/16和CLIP文本变换器）。与这些基于CLIP的模型相比，我们的方法的参数数量仅为191百万个（见表1），比基准模型少7百万个，也比最大的基于局部的竞争对手AMNS（198百万个参数）轻约3.5%。值得强调的是，尽管SEN（172百万个参数）和IRRA（189百万个参数）的参数数量少于CDPHM，但SEN已经整合了全局和局部匹配功能，而IRRA仅采用全局匹配，相比之下，CDPHM在几乎不增加参数数量的情况下就整合了全局和局部匹配机制（仅比IRRA多2百万个参数）。这充分证明了MSSC模块具有极高的参数效率——仅需添加一个轻量级组件，CDPHM就能同时实现全局和局部匹配，且其模型规模仍小于大多数现有的基于CLIP的全球+局部匹配方法。尽管参数开销极小，我们的方法仍在三个基准数据集上取得了最先进的性能。这种性能提升在一定程度上得益于强大的预训练CLIP骨干网络，而MSSC模块和损失函数融合策略则进一步提升了跨模态对齐效果，使其超越了基础版CLIP的性能。本文的主要贡献如下：•我们提出了跨模态双分支并行混合匹配（CDPHM）框架，该框架能够融合全局和局部特征，用于文本到图像人物检索。•我们设计了一个轻量级的多尺度空间上下文（MSSC）模块，该模块能够捕获多粒度空间特征，从而在保持较低参数开销的同时提升细粒度对齐能力。•我们引入了一种多损失联合优化策略，结合了SDM、ID、IRR和SaCo损失，从而在实例层面和亲和力层面实现精确的跨模态对齐。

初步介绍文本到图像人物检索旨在为给定的自然语言查询找到最相关的行人图像。这项任务在计算机视觉和自然语言处理领域具有重要的研究价值和应用前景。目前，基于对齐方法，主要存在两类对齐策略：全局匹配方法[41]、[42]、[43]和局部匹配方法[20]、[21]、[22]。前者试图利用文本和视觉骨干网络，并采用某种模型架构。

在本节中，我们将介绍我们模型的架构，如图2所示。

实验设置我们的模型由三个主要组成部分构成：一个CLIP-ViT-B/16图像编码器、一个CLIP文本变换器编码器，以及用于增强局部特征的所提出的MSSC模块。输入图像会被统一调整为指定像素尺寸，而文本描述则会根据标准CLIP输入要求被截断或填充，使其长度不超过77个token。该模型使用Adam优化器进行训练，训练周期为60轮，每轮的批量大小为64，权重衰减系数则设定为某个特定值。初始学习率也为某个特定值。

关于优化和表示行为的讨论CDPHM之所以能表现出强大的性能，得益于其如表9所示的四要素集成设计。首先，基于CLIP-ViT-B/16构建的全局分支能够实现视觉特征与文本特征之间的强大整体语义对齐。其次，专门的局部分支能够实现细粒度的局部特征提取，从而捕捉细微的外观差异。第三，MSSC模块能够注入多尺度空间上下文，引导注意力集中在有意义的区域，同时抑制无关信息。

结论在本文中，我们提出了用于文本到图像人物检索的跨模态双分支并行混合匹配（CDPHM）框架。CDPHM结合了预训练的CLIP-ViT-B/16骨干网络提供的全球特征对齐能力与局部关系推理功能。这种双分支设计解决了仅依赖全局匹配或仅依赖局部匹配所带来的局限性。我们还引入了轻量级的多尺度空间上下文（MSSC）模块，该模块能够减少冗余的视觉信息，突出具有区分意义的空间细节。它……