《Digital Signal Processing》：Structured Re-ranking for Intra-Camera Supervised Person Re-Identification
编辑推荐：
Zongchen Li|Dong Ye|Junyao Li|Chuntao Chen中国江苏省南京市江苏警察学院，邮编210031摘要人物重识别（ReID）旨在从多个非重叠的摄像头中找回同一人[1]、[2]、[3]。这项技术对于视频监控和法医调查非常重要[4]，因为它能够帮助用户
Zongchen Li|Dong Ye|Junyao Li|Chuntao Chen
中国江苏省南京市江苏警察学院，邮编210031
摘要
人物重识别（ReID）旨在从多个非重叠的摄像头中找回同一人[1]、[2]、[3]。这项技术对于视频监控和法医调查非常重要[4]，因为它能够帮助用户追踪社区内的嫌疑人。然而，ReID模型的性能在很大程度上依赖于包含跨摄像头身份标注的大规模数据集。手动为不同摄像头中的同一人标注身份不仅工作量大，而且随着摄像头数量的增加，效率也会降低。为了解决这一问题，出现了基于摄像头内部监督的（ICS）ReID方法。ICS-ReID假设每个摄像头内都有身份标注，而跨摄像头的身份对应关系则完全未知[5]。这种设置大大降低了标注成本，同时仍能实现跨摄像头检索，使其更适用于实际应用。
目前的ICS-ReID方法主要采用两阶段策略[5]、[6]、[7]、[8]、[9]来利用摄像头内部的标签。在初始阶段，模型利用摄像头内部的真实标签进行训练，以建立基本的区分能力。之后，现有方法通常使用全局身份关联技术将所有摄像头中的身份联系起来，从而为跨摄像头学习生成伪标签。为此，人们探索了多种关联方法，包括在全局身份图中寻找连通分量[6]、[8]，通过贪婪聚类建立受限的图划分问题[10]，或利用循环预测一致性进行多标签对齐[5]、[11]。
然而，我们认为这种两阶段方法存在固有的不稳定性。首先，初始的预热阶段迫使模型对同一摄像头内的身份进行分类。由于缺乏跨视角的正则化处理，模型容易过度拟合摄像头特有的特征（如光线、视角和背景）。其次，明确的全局身份关联风险很高。在ReID中，跨摄像头的关系本质上是模糊的。如果在构建图结构或合并身份时出现错误，这些错误会在整个训练过程中传播，从而降低伪标签的质量。
另一种研究方向则是不在构建全局身份图，而是在聚类之前优化邻居之间的相似度。然而，诸如倒数重排[12]之类的标准无监督度量优化方法，或是CA-Jaccard之类的考虑摄像头特性的惩罚机制[13]，都与ICS设置不完全兼容。首先，它们依赖软距离调整，并将摄像头内的图像视为未标记的，这无法区分摄像头内部监督的绝对确定性以及跨摄像头相似度的模糊性。因此，视觉上相似的摄像头内部负样本仍可能被错误地归为一类。其次，现有的查询扩展（QE）技术容易受到摄像头数量不平衡的影响。因为[12]中的标准QE只是简单地对所有检索到的邻居的特征进行平均，所以大量抽取的摄像头内部图像会主导那些虽然数量少但信息量大的跨摄像头匹配结果。这种密度偏差会在相似度传播过程中抑制有价值的跨摄像头关系。
这就引出了一个关键的研究问题：如何充分利用摄像头内部的先验信息来优化跨摄像头相似度，同时避免摄像头过拟合、脆弱的全局关联以及密度偏差。为了解决这个问题，我们提出了一种更为稳健且统一的解决方案：针对ICS-ReID的结构化重排方法（SRR-ICS）。我们的核心思路是将摄像头内部的真实标签不仅仅视为训练目标，而是作为高置信度的严格结构先验，用于优化摄像头之间的关联。具体而言，我们首先引入ICS-CNRR，它将摄像头内部的监督信号整合到邻居搜索过程中，以过滤掉摄像头内部的异常值。在经过筛选的邻居基础上，我们设计了具有ICS意识的结构性上下文编码（SCE）。考虑到摄像头内部邻居和跨摄像头邻居的可靠性存在根本差异，SCE会对它们进行独立编码。这种分组编码方式能够确保摄像头内部先验的绝对确定性得到保留，不会受到嘈杂的跨摄像头候选项的干扰。最后，为了解决相似度传播过程中的密度偏差，我们提出了平衡查询扩展（BQE）方案。与标准的全局平均不同，BQE通过原型聚合来构建和整合分组信息。这种设计将样本数量与其贡献权重分开，从而确保那些数量虽少但至关重要的跨摄像头匹配结果不会被数量众多的摄像头内部样本所主导。
本研究的主要贡献如下：
- •
首先，我们提出了SRR-ICS，这是一种统一的约束保持框架，它将摄像头内部的监督直接整合到结构化重排过程中，无需再进行预热阶段或全局关联处理。
- •
其次，我们设计了ICS-CNRR来明确过滤摄像头内部的硬负样本，并引入SCE来独立建模分组间的亲和力。二者结合，用严格的结构先验替代了软距离启发式方法，避免了初始距离矩阵被破坏。
- •
第三，我们提出了BQE，这是一种平衡的查询扩展方案。通过原型聚合将样本数量与其贡献权重分开，BQE有效缓解了查询扩展过程中的摄像头密度偏差。
- •
最后，大量的实验表明，我们的方法在ICS方法中取得了出色的性能，证明了其有效性和稳健性。
章节摘录
完全监督式人物重识别
人物重识别（ReID）旨在从多个非重叠的摄像头网络中找回特定个体[1]、[14]、[15]、[16]。在过去的十年中，它已经从手工设计的方法发展到深度表示学习技术[1]、[14]、[17]。由于在视频监控和公共安全领域的广泛应用，近年来它也受到了越来越多的关注。
在完全监督的环境下，通过设计具有区分能力的损失函数，已经取得了显著的进展[18]，
方法
在基于摄像头内部监督的（ICS）环境下，身份标注仅存在于每个摄像头视图内部。这种独特的结构从根本上改变了邻居之间的关系，因为传统方法往往无法区分摄像头内部的负样本和真正的跨摄像头正样本。为了充分利用这一结构先验，我们提出了针对ICS-ReID的结构化重排方法（SRR-ICS）。整个框架如图1所示。
具体来说，该框架由三个模块组成。
数据集
我们在基于摄像头内部监督的（ICS）环境下，对三个广泛使用的人物重识别基准数据集进行了实验，包括Market-1501[1]、DukeMTMC-reID[29]和MSMT17[30]。按照标准的ICS环境设置，身份标签仅用于每个单独的摄像头视图，在训练过程中不会提供跨摄像头的身份关联信息。
Market-1501包含了由6个相互独立的摄像头拍摄的1,501个行人身份的32,668张图像。它
结论
本研究针对现有多阶段ICS-ReID方法存在的标注成本高和误差累积问题。为了解决这一挑战，我们提出了SRR-ICS，这是一种统一的迭代框架，它将伪标签生成的范式从软距离启发式方法转变为严格的结构先验。我们的方法并非仅仅将摄像头内部的标签视为训练目标，而是将其作为绝对约束条件，用于过滤掉摄像头内部的误报。结合结构性上下文
生成式AI使用声明
在准备这项工作时，作者们使用了ChatGPT来检查语法并提高可读性。在使用该工具后，作者们对内容进行了必要的审阅和编辑，并对最终发表的文章内容负全责。
CRediT作者贡献声明
Zongchen Li：概念构思、方法设计、初稿撰写。Dong Ye：软件实现、验证、可视化处理、审阅与编辑。Junyao Li：可视化展示、资源整理。Chuntao Chen：监督指导、形式化分析、审阅与编辑。
利益冲突声明
作者声明，他们不存在任何可能影响本文所述工作的已知财务利益或个人关系。
