通过模态-相机平衡标签细化实现的无监督可见光-红外人物重新识别（Unsupervised Visible-Infrared Person ReID）

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Unsupervised Visible-Infrared Person ReID via Modality-Camera Balance Label Refinement

无监督可见-红外行人重识别通过分层模态-摄像头平衡标签优化框架，融合多模态特征对齐与噪声标签精修技术，有效缓解跨模态与摄像头带来的不一致问题，提升行人重识别性能。

　　

摘要

无监督的可见光-红外人体重新识别（USL-VI-ReID）致力于开发一种无需标签的跨模态检索模型，以减少对跨模态人工注释的依赖。近年来，多种方法致力于减少跨模态差异。然而，这些方法忽略了USL-VI-ReID也是一个在探索层次化领域中的细粒度信息的同时解决差异的任务。在本文中，我们提出了一个层次化的模态-相机平衡标签细化（MCBL）框架，以平衡每个相机模态的贡献。同时，我们在每个训练阶段探索细粒度特征并细化噪声标签。具体来说，我们的MCBL将模态-相机平衡标签挖掘（MBLM）、不可靠伪标签重新对齐（UPR）和混合模态-相机对比学习（HMCCL）自然地结合到一个统一框架中，通过细化噪声标签来平衡每个层次化领域的关联信息。从技术上讲，MBLM利用模态-相机平衡策略过滤簇级别的噪声样本，从而确保可靠样本存储在内存中以进行有效的对比学习。UPR通过实例级别的重新对齐方法细化噪声标签，从而提高标签的准确性并进一步增强模型的泛化能力。此外，HMCCL的关键在于优化实例级别和簇级别的分布，这使得样本在实时内存更新阶段既接近其簇代理又远离其他样本。大量实验表明，我们的MCBL解决了当前相机差异的问题，并实现了具有竞争力的性能。