基于文本引导的遮挡感知跨模态人物重识别重建

《Neurocomputing》：Text-guided occlusion-aware reconstruction for cross-modal person re-identification

　　

摘要

基于文本的遮挡人物重识别是跨模态人物检索领域的关键挑战，其目标是利用自然语言描述来检索被遮挡的行人图像。现有方法通常依赖词元级掩码策略，这类策略往往忽视高级文本结构，且难以从严重遮挡的区域恢复具有区分度的特征。为解决这些局限，我们提出了一个文本引导的遮挡感知重建框架（TOAR），该框架通过多级遮挡感知机制提升跨模态检索的鲁棒性。具体而言，首先我们设计了一种语法引导的组掩码策略，将掩码后的语言建模从词元级别提升到由语法引导的语义组级别。这一策略促使文本编码器学习对细粒度对齐至关重要的强健概念级表示。其次，我们开发了一个遮挡感知特征重建模块（OAFR），通过利用内部重建置信度判定为可靠的可见区域块来恢复被遮挡的视觉特征。通过将这些可信区域作为重建重点，并将其语义上下文传递到遮挡区域，OAFR能够在严重遮挡的情况下仍恢复具有区分度的视觉内容，同时保持与文本描述的语义一致性。大量实验表明，所提出的框架在具有挑战性的遮挡型TO-ReID基准测试中取得了最先进的性能。这些结果验证了TOAR的有效性，同时也凸显了通过语义引导的掩码和特征重建来显式建模遮挡的重要性。相关代码将在论文发表后公开。

引言

人物重识别旨在在不同摄像头或场景下识别出同一人，它是智能监控和安全分析系统中的核心组成部分。近年来，基于文本的人物重识别技术因能够实现自然语言描述与行人图像之间的灵活跨模态检索而越来越受到研究关注[1]、[2]、[3]、[4]、[5]。与传统需要预先获取查询图像的图像型人物重识别不同，基于文本的ReID允许用户使用自由形式的文本描述来搜索目标行人[6]、[7]、[8]。这种灵活性使得它在现实世界应用中极具价值，比如在无法获取查询图像的犯罪调查和失踪人员搜寻等场景中[9]、[10]。

然而，遮挡问题依然是仅依赖视觉信息的系统以及基于文本的ReID系统面临的核心挑战。在拥挤的城市环境中[11]、[12]，行人常常被其他物体或行人部分遮挡，从而导致具有区分度的视觉线索严重丢失[13]。这类遮挡不仅会妨碍视觉特征的提取，还会破坏跨模态对齐[14]、[15]，因为诸如服装颜色、配饰或随身物品等关键身份特征可能会被遮挡而无法看到[16]、[17]。如图1所示，传统的基于文本的ReID模型无法检索到被严重遮挡的行人，而我们提出的方法即便在复杂的遮挡条件下也能有效地定位并匹配这些行人。

现有的方法主要聚焦于全局对齐目标或基于注意力的特征匹配[18]、[19]。在可见光-红外人物重识别领域的相关研究则进一步探索多粒度表示学习与跨模态结构建模，以此减少不同模态之间的差异[20]、[21]。尽管这些方法在图像较为完整或观测条件较好的情况下表现良好，但在现实世界的遮挡场景中仍存在两大局限性。首先，它们缺乏在部分视觉信息缺失时重建具有区分度特征的明确机制，迫使模型依赖可能已受损的视觉表示[22]。其次，大多数语言建模模块对所有词元一视同仁，忽视了它们之间不同的语义重要性[23]、[24]，这可能会导致冗余或噪声较大的文本线索，使得学习到的表示容易受到两种模态噪声的影响。为解决这些问题，我们针对TO-ReID提出了一个文本引导的遮挡感知重建框架（TOAR），该框架能够同时考虑文本语义与视觉遮挡现象。

在文本层面，我们引入了语法引导的组掩码策略（SGM）。与传统的词元级扰动方法[25]、[26]不同，SGM利用语法分组来构建语义概念组，例如“红色衬衫”这样的概念。通过结合词性先验和逆文档频率，SGM能够自适应地调整那些冗余或不确定的语义组，从而促使文本编码器从更广泛的上下文线索中重建复杂概念。这样一来，模型就能学习到更为紧凑、具有更强区分度且语义连贯的文本嵌入表示。

在视觉层面，我们设计了遮挡感知特征重建模块（OAFR）。该模块首先通过逐块不确定性估计来识别可靠的可见区域块，随后通过语义重新加权与跨块注意力机制来重建被遮挡区域。这一策略能够将可见区域的信息传递到遮挡区域，确保重建后的嵌入表示与原始视觉表示保持语义一致性。本研究的核心贡献可归纳如下：

• •
  我们提出了一种语法引导的组掩码策略，通过语法分组自适应地调整语义概念，进而提升了跨模态检索的鲁棒性与语义连贯性。
• •
  我们设计了一个具备语义加权与不确定性感知优化功能的遮挡感知特征重建模块，能够有效恢复被遮挡的行人特征表示。
• •
  在Occluded-CUHK-PEDES、Occluded-ICFG-PEDES和Occluded-RSTPReid这三个遮挡型基准测试上的大量实验表明，所提出的TOAR框架表现优异，在这三个测试中的排名均处于领先水平，同时其mAP值也具有很强的竞争力。

章节节选

相关工作

基于文本的人物重识别。基于文本的ReID是一种发展迅速的研究领域，其目标是弥合行人图像与自然语言描述之间的模态差异[27]、[28]、[29]。早期的研究方法主要集中在构建带有全局对齐目标的双分支编码器上[30]、[31]。虽然这类方法在简单匹配任务中表现良好，但往往忽视了视觉信息与文本信息之间的细微关联。近期的研究则

方法

所提出的TOAR框架由两个主要部分组成：语法引导的组掩码模块与遮挡感知特征重建模块。图2展示了该框架的整体架构。

实验

本节旨在评估我们所提方法在三个基准测试上的性能：Occluded-CUHK-PEDES、Occluded-ICFG-PEDES和Occluded-RSTPReid。这些数据集经过处理，用于模拟基于文本的ReID中的遮挡场景。在详细介绍实现方案后，我们会将TOAR与现有最先进的方法进行对比，以展示其性能优势。最后，我们还会通过全面的消融实验，分析各个模块在弥补视觉细节缺失方面的作用。

结论

在本研究中，我们提出了文本引导的遮挡感知重建框架（TOAR），这是一种专门为解决基于文本的ReID中存在的文本冗余与严重视觉遮挡两大核心问题而设计的有效方法。该框架之所以能取得优异的性能，得益于两项核心创新：首先是SGM策略，它将掩码后的语言建模任务提升到由语法引导的语义组级别，从而促使模型增强双向上下文理解能力；

CRediT作者贡献说明

余明宇：论文撰写——初稿撰写、可视化处理、验证工作、软件开发、方法设计、研究实施、数据整理、概念构思。 梅玲：论文撰写——审稿与编辑、软件开发、资源协调、研究实施、资金筹集、概念构思。 程毅伟：可视化处理、软件开发、数据整理、概念构思。 张宇：软件开发、研究实施、数据整理。 王晓：论文撰写——审稿与编辑、研究指导、资源协调。 刘军：论文撰写——审稿与编辑、研究指导、资源协调。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。

致谢

本研究得到了中国国家自然科学基金的支持，项目编号为62306218。

余明宇目前是中国武汉科技学院电子信息学院的2024级硕士生。他已在人群密度估计和行人轨迹预测领域合作发表了两篇SCI期刊论文，还参与过一项关于跨模态群体重识别技术的专利申请工作。他的当前研究方向为文本-图像群体重识别及多模态表示学习。他曾获得

Mingyu Yu|Ling Mei|Yiwei Cheng|Yu Zhang|Xiao Wang|Jun Liu

中国湖北省武汉市武汉科技学院电子信息学院，邮编430081