基于图像语义描述（ReID）的目标重识别重排序框架创新研究

本文提出ReID（Re-Ranking through Image Description）框架，通过多模态语义描述和端到端匹配算法解决目标重识别（Re-Identification）中特征不一致和计算复杂度高（O(N2)）的问题，在监督/无监督场景下显著提升Rank-1准确率（最高+10%）。

　　

Highlight

我们的重排序方法直接针对当前查询和候选排序列表，避免与其他查询的额外交互，从而实现近线性时间复杂度。这不仅提高了系统效率，还确保了结果准确性。我们的主要贡献可总结如下：

1. 1.
   我们基于真实世界图像创建了精细标注的数据集，用于训练目标语义提取模型。
2. 2.
   我们设计了ReID（通过图像描述进行重排序）框架，深入挖掘图像中目标的外观相似性，并利用端到端匹配算法进行重排序，从而提升重识别精度。据我们所知，这是首个在重排序阶段利用图像语义描述的工作。
3. 3.
   我们的算法近似线性复杂度，ReID的计算成本足够低，可满足大规模目标重识别系统的响应时间要求。
4. 4.
   与传统单阶段重识别方法相比，我们的方法在Market1501和MSMT17等数据集上表现优异，Rank-1准确率最高提升10%。

Method

我们的方法如图1所示，可简化为两个阶段：首先训练用于图像语义提取的模型，随后利用提取的上下文信息对目标重识别的初步结果进行重排序。

Dataset

我们主要使用四个重识别数据集进行评估：Market1501、MSMT17、PersonX和VeRi-776。Market1501由6个摄像头采集，包含32,668张图像，涉及1,501个身份。训练集含12,936张图像（751个身份），测试集含19,732张图像（750个身份）。MSMT17是更大规模的数据集，总计126,441张图像（4,101个身份），由15个摄像头采集。

Limitation

当前我们使用预定义方法处理三种特定场景，限制了更广泛的应用。未来我们计划让模型自动生成解析协议，以理解并相应重排序图像。

Conclusion

本文基于真实场景构建了丰富标注的数据集，专用于目标语义提取模型的训练。在此基础上，我们创建了ReID框架，首次将图像语义描述引入目标重识别的重排序阶段。我们的方法不仅深入探索了目标的外观相似性，还采用端到端匹配算法进行重排序。与传统方法相比……