I2ID：通过同步掩蔽技术分离身份特征，实现零样本复合人物检索

《Pattern Recognition》：I2ID: Disentangling Identity Features via Synchronized Masking for Zero-Shot Composed Person Retrieval

零样本复合人物检索通过同步掩码机制分离身份特征与冗余信息，结合多层次对比约束优化语义对齐，构建TG-CPR数据集验证有效性。

　　

郭宇|王迪|闫成伟|严峰|罗楠|王一峰|王全

中国西安电子科技大学陕西省智能人机交互与可穿戴技术重点实验室，710071

摘要

组合人物检索（CPR）旨在根据修改文本中描述的外貌变化检索同一人物的图像。由于为训练标注三元组（参考图像、修改文本和目标图像）的成本较高，人们对零样本CPR（ZS-CPR）的兴趣日益增加，因为零样本CPR无需标注三元组。现有的零样本方法将参考图像投影到文本特征空间中生成一个伪词，然后将其与修改文本结合进行检索。然而，参考图像通常包含非身份信息，如服装或配饰，这些信息可能与修改文本相冲突。这种语义冲突会导致组合查询嵌入不准确，从而降低检索效果。为了解决上述问题，本文提出了一种新颖的图像到身份解耦网络（I2ID），用于ZS-CPR，有效抑制了图像中非身份信息的干扰。具体而言，I2ID采用同步掩蔽机制分别明确掩蔽图像和文本中的服装区域和描述，并引入多种对比约束来引导模型关注与身份相关的特征，从而增强伪词与文本描述之间的语义对齐。此外，为了支持CPR的发展和评估，我们引入了一个新的基准数据集，称为文本引导的组合人物检索（TG-CPR）。大量实验表明，所提出的方法在ITCPR和TG-CPR基准测试中均取得了先进的性能。代码和数据集可在以下链接获取：https://github.com/YuuGuo/I2ID。

引言

人物检索[1]、[2]是智能监控中的核心任务，在提升公共安全管理及视觉语言推理方面发挥着重要作用。以往的研究主要集中在基于图像[3]、[4]或基于文本[5]的人物检索上。最近，为了支持基于参考图像的查询（例如“他现在穿了一件黑色夹克”），提出了组合人物检索（CPR）任务[6]，如图1(a)所示。与传统检索范式相比，CPR在实际场景中显著提高了检索的灵活性和针对性。

完全监督的CPR方法需要大量的三元组标注（即参考图像、修改文本和目标图像），这些标注既昂贵又耗时。为了减轻手动标注的负担，最近的研究探索了零样本组合检索方法，包括自然图像的ZS-CIR[7]、[8]和人物图像的ZS-CPR[6]。这些方法通常遵循统一的框架：它们将参考图像投影到文本特征空间中生成一个伪词，然后将其与修改文本结合形成组合查询嵌入，用于文本到图像的匹配。

尽管这些方法成功整合了视觉和文本信息，但它们忽略了一个关键问题：人物图像同时包含与身份相关的信息（如性别、姿势和面部特征）和非身份信息（如服装和配饰）。当用户使用修改文本表达检索意图时，这些非身份信息（现在变得多余）可能会与修改文本的语义不一致甚至矛盾。以往的方法将所有视觉信息与修改文本融合在一起，这可能导致组合查询嵌入出现语义冲突，难以准确反映用户的真实检索意图。如图1(b)所示，当指令指定“用白色风衣替换黑色皮夹克”时，伪词可能仍然保留原始黑色夹克的特征，导致组合查询嵌入在潜在空间中同时反映“黑色皮夹克”和“白色风衣”。

为了解决这个问题，我们提出了一种新颖的图像到身份解耦网络（I2ID），用于ZS-CPR，该网络能够明确过滤掉非身份视觉信息，并引导模型构建更符合用户检索意图的语义互补组合查询嵌入。首先，为了解决参考图像中多余信息引入的语义冲突，我们引入了同步掩蔽机制，分别明确掩蔽图像和文本中的服装区域和描述。这引导模型关注面部和身体轮廓等对身份识别更有信息量的区域。然后，我们引入了多种对比约束来增强模型提取与身份相关信息的能力，包括：（i）身份一致性损失，以对齐掩蔽图像和未掩蔽图像的表示；（ii）身份分类损失，以提高掩蔽图像的身份识别能力；（iii）相似性分布匹配损失，以增强模型区分不同身份的能力。最后，由于ITCPR[9]是目前唯一的CPR基准测试，它限制了在多样化设置下的全面评估，我们构建并发布了一个新的数据集，称为文本引导的组合人物检索（TG-CPR），以提供更完整的评估方案。

总结来说，我们的主要贡献如下：

• •
  我们提出了I2ID，这是一种用于零样本组合人物检索（ZS-CPR）的新框架，解决了参考图像中多余视觉信息引起的语义冲突这一关键挑战。
• •
  我们设计了一种同步掩蔽机制，并引入了多层次对比约束，引导模型在构建组合查询嵌入时关注与身份相关的特征并抑制多余视觉信息。
• •
  为了更全面地评估CPR，我们构建并发布了一个新的基准数据集，称为TG-CPR。
• •
  在ITCPR数据集上的大量实验表明，I2ID显著优于现有基线方法，验证了其在生成更准确反映用户真实检索意图的组合查询嵌入方面的有效性。

本文的其余部分安排如下：第2节回顾了人物检索和组合检索的相关工作，提供必要的背景知识。第3节详细介绍了提出的I2ID框架。第4节报告了实验设置、结果和综合分析。第5节总结了本文。最后，第6节讨论了本文的局限性并指出了未来研究的方向。

小节片段

人物检索

人物检索是计算机视觉[10]和跨模态理解[11]中的核心任务，通常通过基于图像或基于文本的方法来实现。传统的基于图像[12]、[13]的检索方法使用查询图像从大规模图库中匹配目标个体。尽管深度学习方法[4]、[14]在Market-1501[15]和MSMT17[16]等公共基准测试中取得了令人印象深刻的性能，但由于实际场景中的挑战，它们的有效性往往会下降。

提出的方法

给定一个参考图像和一个修改文本{T}作为组合查询，CPR的目标是从人物数据库中检索与意图相符的人物图像，其中和应对应同一个人。图2展示了我们提出的I2ID的详细架构。为了实现零样本CPR任务，我们的目标是学习一个映射网络，将中的与身份相关的信息（如性别、姿势和面部特征）投影到文本中。

实验

在本章中，我们将详细介绍实验设置、数据集描述、实验结果和分析。

结论

在本文中，我们提出了一种用于零样本组合人物检索（ZS-CPR）的图像到身份解耦网络（I2ID）。通过采用同步掩蔽机制和多种对比约束，I2ID有效地关注与身份相关的信息，同时过滤掉多余特征。这减轻了组合查询嵌入中的语义冲突，并使表示与检索意图保持一致。大量实验表明，所提出的方法

局限性与未来工作

尽管所提出的框架在零样本组合人物检索中取得了有竞争力的性能，但仍存在一些局限性。首先，虽然我们的方法在训练过程中消除了对完全标注的组合三元组的需求，但它仍然依赖于成对的图像-文本数据来学习跨模态对齐。其次，当前的掩蔽策略相对粗糙，缺乏处理细粒度或局部属性变化的灵活性。通过探索这些局限性，我们可以进一步改进

CRediT作者贡献声明

郭宇：撰写 – 审稿与编辑，撰写 – 原始草稿，方法论。王迪：监督，项目管理，调查，资金获取。闫成伟：验证，方法论。严峰：验证，方法论。罗楠：数据管理，概念化。王一峰：可视化，验证。王全：资源。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

致谢

本工作部分得到了国家科技重大项目（项目编号2022ZD0117103）、陕西省杰出青年科学基金（项目编号2025JC-JCQN-083）、国家自然科学基金（项目编号62577041）以及陕西省重点研发计划（项目编号2025CY-YBXM-047）的支持。