基于文本的无监督人物检索方法：通过自适应的不确定性感知跨模态学习实现

《Pattern Recognition》：Unsupervised Text-Based Person Retrieval via Adaptive Uncertainty-Aware Cross-Modal Learning

文本生成式人物检索通过多模态大语言模型生成伪描述，但存在噪声干扰和固定模板导致的语义模糊及一多映射问题。本文提出自适应不确定性感知跨模态学习框架AUCL，通过高斯分布建模模态不确定性，设计不确定引导的跨模态对齐模块，结合自适应注意力机制缓解伪描述噪声对特征学习的影响，有效解决人物检索中的语义歧义和跨模态映射冲突。

　　

孙伟佳|张伟|齐一达|杨嘉宇|彭金佳

河北大学网络安全与计算机学院，保定，071000，中国

摘要

无监督的基于文本的人脸检索（TBPR）旨在使用自然语言从大型图库中检索人物图像，而无需注释。最近的方法通过引入多模态大语言模型（MLLMs）的预训练和基于模板的生成技术取得了有希望的结果。然而，MLLMs生成的标题受到噪声干扰和固定模板的影响，这降低了标题的质量，并且容易导致一对一多映射的问题，从而造成严格的跨模态对齐和对语义模糊性的适应能力较差。为了解决这个问题，本文提出了一种名为自适应不确定性感知跨模态学习（AUCL）的新框架，该框架利用模态特定的不确定性来缓解由低质量标题引起的一对多映射和语义模糊性问题。具体来说，提出了不确定性感知表示构造器（URC）来为不同模态构建高斯表示，通过可学习的分布特征量化固有的语义模糊性，以减轻一对一多模态映射的不利影响。随后，提出了不确定性引导的跨模态对齐（UGA）模块，通过利用三个互补的视角来增强表示学习：身份分配、对比监督和负样本选择。此外，UGA将对齐置信度纳入特征聚类中，自适应地加权对比对，并强调语义上困难的负样本，从而减少由模糊描述引起的不匹配，使模型能够专注于更可靠的跨模态对应关系。在三个基准测试上的广泛实验表明，我们的方法优于现有的无监督方法。

引言

基于文本的人脸检索（TBPR）[1]旨在使用自然语言描述从大型图库中检索行人图像。主要挑战在于弥合跨模态表示差距和实现更细粒度的语义对齐。近年来，完全监督的TBPR方法[2]、[3]、[4]、[5]、[6]、[7]通过利用全局-局部对齐、注意力机制和视觉-语言预训练模型来增强跨模态交互，取得了显著进展。这些方法通常在多个层面对齐视觉和文本特征。然而，它们严重依赖于手动标注的身份标签和文本描述，导致较高的标注成本。为了减轻这一问题，弱监督策略[8]、[9]、[10]、[11]使用伪标签进行模态内的无监督表示学习。这些方法通常依赖于成对的图像-文本特征，这严重限制了它们的实际应用性，尤其是在没有此类配对数据的情况下。为了解决这个问题，最近的方法通过提示视觉-语言模型[12]、[13]，结合图像-文本匹配或对齐技术来生成伪标题。

尽管取得了有希望的结果，但最近的方法仍然严重依赖于多模态大语言模型（MLLMs）生成的伪标题。这些伪标题通常使用固定模板生成，并引入噪声，这两者都会降低其质量。模板的泛化性质往往导致一对一多映射问题，即单个文本描述可能模糊地对应于多个视觉上相似的图像。例如，像“一个男人穿着黑色和灰色的羽绒服”这样的查询可能会与许多视觉上相似但在细节上不同的图像对齐。在TBPR中，这个问题尤为严重，因为相似的服装很常见，而细粒度的线索区分身份。此外，伪标题生成中的噪声可能导致语义不一致，因为同一图像的标题在内容和风格上可能有所不同。这种不一致性会破坏训练，导致语义漂移和不准确的跨模态对齐。因此，如何有效评估生成伪标题的可靠性，并利用它来解决由低质量文本描述引起的一对多映射和语义模糊性问题，仍然是无监督TBPR中的一个关键挑战。

为了解决这个任务，我们提出了一个无监督的TBPR框架。如图1所示，与现有框架将图像-文本对表示为嵌入空间中的确定性点不同，我们的方法将它们建模为概率分布。这种设计的动机是现有确定性表示学习方法的一个关键限制。具体来说，基于点的表示强制图像和文本特征之间的硬对齐，隐含地假设伪标题提供了可靠的监督。然而，在无监督的TBPR中，伪标题通常是嘈杂的且语义模糊的，使得这种硬对齐不可靠，并增加了错误积累的风险。因此，模型可能会学习到次优的特征表示，并且跨模态检索性能下降。虽然最近的概率方法[13]、[14]、[15]在建模不确定性方面取得了有希望的进展，但它们通常使用简单的线性投影来实现不确定性，并将不确定性视为简单的相似性度量。为了更深入地将不确定性整合到表示学习中，我们设计了一种自适应的多高斯注意力机制。这种机制不是依赖于简单的投影来估计分布，而是在跨模态交互过程中动态构建和融合多个高斯核，以捕捉结构上的模糊性。此外，这种学习到的不确定性积极调节聚类、对比学习和困难负样本的挖掘，减轻了由噪声伪标题引起的不匹配对和语义模糊性的负面影响。

具体来说，我们的框架包括以下两个组成部分：（1）不确定性感知表示构造器将视觉和文本特征建模为高斯分布，并集成自适应注意力来动态调节特征的重要性，使模型能够更好地捕捉语义不确定性。（2）不确定性引导的跨模态对齐减轻了由噪声伪标题和语义漂移引起的对齐错误。它包括三个组成部分：不确定性引导的中心对齐联合考虑特征和分布级别的相似性，以分配更可靠的伪标签；不确定性引导的对比学习通过根据它们的不确定性调整正样本对的置信度来软化监督，从而在噪声标签下促进稳定训练；不确定性引导的困难负样本挖掘识别语义上模糊但置信度高的负样本对，以增强细粒度的区分。总之，我们的方法做出了以下创新：

•

本文提出了一种无监督的TBPR框架，通过分布表示来建模跨模态不确定性，以缓解由低质量伪标题引起的一对多映射和语义模糊性问题。

•

为了解决语义变异性和模态特定的模糊性，不确定性感知表示构造器模块设计了自适应高斯注意力，为不同模态构建高斯表示，量化固有的不确定性。

•

为了解决噪声监督和跨模态对不匹配的问题，不确定性引导的跨模态对齐旨在利用不确定性来更有效地细化身份分配和调节学习动态。

部分摘录

基于文本的人脸检索

TBPR任务最初在[1]中通过CUHK-PEDES数据集引入，用于细粒度的图像-文本检索，它在监控、安全监控和跨模态检索系统中具有广泛的应用。后续的数据集如ICFG-PEDES [16]和RSTPReid [17]进一步增加了场景的复杂性和多样性，为准确的跨模态对齐带来了额外的挑战。最近的方法可以分为两类：基于注意力的和非基于注意力的，

整体架构

与有监督的基于文本的人脸检索相比，无监督设置仅使用没有文本注释或身份标签的图像，表示为

$I={\left\{v_i\right\}}_{i=1}^N$，其中v_i是人物图像，N是图像的总数。为了引入文本监督，我们使用MLLMs通过提示它们描述人物的外观来生成伪标题，同时忽略背景细节。由于输出可能包含噪声属性或不相关的内容，因此应用了跨模态匹配模型

数据集和评估指标

数据集。在三个具有代表性的基于文本的人脸检索基准测试上进行了全面评估：CUHK-PEDES [1]、ICFG-PEDES [16]和RSTP-Reid [17]，这些测试在规模、注释格式和身份粒度上有所不同。具体来说，CUHK-PEDES是最大的数据集，具有丰富和多样的描述；ICFG-PEDES提供了更精确的文本-图像对齐和更严格的身份对应关系；而RSTP-Reid捕捉到了现实世界中的挑战，如遮挡、模糊和姿势

结论

在本文中，我们提出了一个无监督的TBPR框架AUCL，它集成了URC模块和UGA模块来缓解一对多映射和语义模糊性问题。具体来说，URC将图像和文本特征建模为高斯分布，以捕捉它们的固有不确定性。UGA利用模态特定的不确定性来解决低质量伪标题中的一对多映射和语义模糊性问题，改善了身份分配。广泛的实验验证了该方法的有效性

CRediT作者贡献声明

孙伟佳：撰写 – 审稿与编辑，撰写 – 原始草稿，可视化，验证，项目管理，方法论，调查，形式分析，数据策划。张伟：撰写 – 审稿与编辑。齐一达：可视化，验证。杨嘉宇：撰写 – 审稿与编辑，数据策划。彭金佳：监督，资源获取。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。

致谢

本工作得到了中国国家自然科学基金（项目编号62501226）、河北省自然科学基金（项目编号F2025201037）和河北省石家庄市属高校基本研究项目（项目编号241791387A）的支持。