C2R-ReID：一种可控制的逐组件重建技术，用于衣物更换场景下的重新识别（ReID）

《Digital Signal Processing》：C2R-ReID: Controllable Component-wise Reconstruction for Cloth-Changing ReID

可控组件重建与人体解析掩码协同优化服装无关特征，显著提升长时服装变化下的行人重识别性能。

　　

Hucheng Yang|Junpeng Ma|Pinxue Ma|Lu Yang

宁夏电力工程有限公司，中国宁夏银川

摘要

人物重识别（Re-ID）旨在通过不同的摄像头视角识别同一个个体。然而，在长时间场景下，由于个体可能会不定期更换衣物，其性能往往会下降。为了解决这一挑战，最近人们开始更加关注更换衣物的重识别（CC-ReID）技术。尽管现有方法试图将与衣物无关的特征与衣物区域分离，但由于缺乏直接监督和定制的特征处理，这些方法的效果仍然有限。为此，我们提出了C2R-ReID，一种新颖的、可控的、基于组件的重识别网络。我们的框架利用人类解析掩码来明确监督三个不同特征的重建：与衣物无关的身体属性、衣物纹理和行人轮廓。具体来说，我们设计了三个专用模块——全局特征捕获模块（GFC Block）用于聚合稀疏的身份线索，局部特征细化模块（LFR Block）用于模拟细粒度的服装变化，以及行人轮廓重建模块（PCR Block）用于增强形状的一致性。在推理过程中，仅使用细化的与衣物无关的特征进行识别。在四个基准测试（PRCC、LTCC、Vc-Clothes、CCVID）上的广泛实验表明，C2R-ReID取得了最先进的性能，在更换衣物的场景中显著优于现有方法。我们的实现代码可在以下链接获取：https://github.com/DeMo6666-png/C2R-ReID。

引言

人物重识别（ReID）涉及在不同的场景和视角下匹配行人，假设行人的衣物保持不变[1]、[2]、[3]、[4]、[5]。然而，由于行人衣物的变化，这一假设在长时间内不再成立，导致现有的ReID系统失效。为了解决这一问题，提出了更换衣物的重识别（CC-ReID）技术。

现有的主流CC-ReID方法可以分为两类：数据驱动的分离方法[6]、[7]、[8]、[9]和特征驱动的分离方法[10]、[11]、[12]、[13]。数据驱动的分离方法通过修改衣物区域的像素来减少与衣物相关特征的影响。为此，广泛采用了基于像素重采样的[9]和基于GAN的[8]、[14]方法。然而，由于缺乏细粒度的衣物区域注释，生成的像素可能会破坏与衣物相关的特征。为了避免衣物相关特征的破坏，特征驱动的分离方法利用额外的与衣物无关的分支来提取特征，这些分支使用灰度和轮廓图像进行监督，以克服衣物颜色的变化[11]、[15]。尽管这些方法可以减轻与衣物相关特征的影响，但它们也忽略了具有辨识度的、与衣物无关的特征，如皮肤、包和鞋子。

为了克服上述方法的缺点，一些研究[12]、[13]、[16]、[17]、[18]、[19]、[20]采用了重建过程来在一定程度上约束与衣物无关的特征。这些方法试图重新构建行人的与衣物无关和与衣物相关的特征，并将它们映射到RGB域。然而，由于缺乏真实数据，重建过程受到间接监督和控制。具体来说，它们使用了额外的正则化项[16]、[17]、[18]、判别器[12]、[13]或映射回源图像[20]。这导致与衣物无关的特征不可避免地受到与衣物相关特征的干扰，限制了重建结果和模型性能。

如果重建过程是可控的，它可以提高与衣物无关特征的分离度，从而提高CC-ReID的准确性。为此，一些最新的方法[21]、[22]、[23]、[24]采用了预训练的人类解析器[25]和边缘检测器[26]来生成与衣物无关区域、与衣物相关区域和行人轮廓的真实掩码，然后用于监督重建过程，如图1所示。然而，这三种类型的特征具有不同的特性；以前的方法往往忽略了这些差异，采用统一的处理方法而未进行定制操作。具体来说，与衣物无关的特征在图像中分散且分离在不同的区域，因此需要全局建模将稀疏信号整合成一个连贯的身份表示。因此，我们引入了全局特征捕获模块（GFCBlock）进行全局上下文聚合。对于衣物纹理和颜色，它们在CC-ReID中随着服装的变化而发生剧烈变化，应该被明确建模，而不是混合到身份通道中。为此，我们应用了局部特征细化模块（LFRBlock），在衣物区域内使用多尺度卷积（具有不同的感受野）进行细粒度的外观建模，捕捉外观变化。行人轮廓表现出全局一致性，需要加强位置相关性并改进轮廓提取。我们引入了行人轮廓重建模块（PCRBlock），沿通道维度聚合多级边缘和形状信息，增强整体轮廓表示的清晰度和对比度。最后，为了实现可控的分离，我们在推理阶段仅使用与衣物无关的特征进行重识别。本文的主要贡献如下：

•

我们提出了C2R-ReID，一种可控的重建CC-ReID架构，分别监督与衣物无关、与衣物相关和轮廓的重建，并在推理阶段仅使用与衣物无关的线索进行识别。

•

我们设计了一个全局特征捕获模块（GFCBlock），用于聚合分散的与衣物无关区域的全局上下文。

•

我们引入了一个局部特征细化模块（LFRBlock），在衣物区域内进行显式的多尺度外观建模（纹理/颜色），捕捉服装变化，同时防止服装外观泄露到身份通道中。

•

我们开发了一个行人轮廓重建模块（PCRBlock），沿通道维度融合多级边缘/形状特征，以加强位置相关性和增强轮廓的清晰度。

部分摘录

人物重识别

人物重识别从图像或视频序列中检索特定的行人，假设人们在短时间内不会更换衣物。因此，可以利用衣物的颜色和纹理信息提取用于识别的具有辨识度的特征。主流的特征学习策略可以分为三类：（i）基于全局建模的，（ii）基于局部特征的，以及（iii）结合全局和局部特征的方法。

整体结构

如图2所示，所提出的C2R-ReID的整体架构由三部分组成：身份分类器、衣物分类器和重建分支。在训练过程中，我们优化身份分类器以区分不同的行人。与[10]、[21]一样，衣物分类器采用两阶段训练来提高模型对衣物特征的区分能力。在重建分支中，我们利用人类解析掩码来增强

数据集和评估协议

我们在四个主流数据集上评估了我们提出的模型：LTCC [38]、PRCC [39]、Vc-Clothes [6] 和 CCVID [10]。

LTCC [38] 包含来自12个摄像头的17,138张图像，共152个身份，带有身份和衣物标签，并且服装变化频繁；官方数据集分为77/75的训练/测试数据集，并定义了两种评估设置——标准（混合）和更换衣物（排除穿着相同衣物的配对）——以反映实际监控中的光照、视角、姿势和携带情况的变化

结论

在本文中，我们提出了C2R-ReID，一种用于更换衣物人物重识别的新型可控组件级重建网络。通过在人类解析掩码的监督下显式重建与衣物无关、与衣物相关和轮廓特征，并设计专用模块（GFC、LFR、PCR）来处理它们的不同特性，我们的方法有效地将身份相关线索与服装变化分离。在四个基准测试上的广泛实验表明

未引用的参考文献

缺少图4的引用。

CRediT作者贡献声明

Hucheng Yang：撰写——原始草案、方法论、软件。Junpeng Ma：研究、验证。Pinxue Ma：研究、验证。Lu Yang：撰写——审稿与编辑、监督。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。