CLNS：一种基于相机感知的标签噪声抑制技术，用于无监督的可见光-红外人体重识别

《Patient Education and Counseling》：CLNS: Camera-aware label noise suppression for unsupervised visible-infrared person re-identification

　　赵思成 | 陆伟 | 李世豪 | 陈思宝 | 丁Chris H.Q. | 王 Futian | 唐金 | 罗斌
安徽大学计算机科学与技术学院，IMIS多模态认知计算安徽省重点实验室，安徽省委与安鸿信息科技有限公司联合成立的Zenmorn-AHU人工智能实验室，教育部ICSP重点实验室

**摘要**
无监督的可见光-红外人重识别（US-VI-ReID）能够在无需人工注释的情况下跨模态检索行人图像。为了解决因相机特性导致的身份碎片化和标签噪声问题，我们提出了基于相机特性的标签噪声抑制（CLNS）框架，该框架采用从粗到细的流程逐步净化噪声。具体而言，相机感知原型校准（CPC）模块利用跨相机一致性来纠正结构错误并构建可靠的原型；在此基础上，最优传输原型匹配（OTPM）实现了全局跨模态对齐。在实例层面，邻居引导的相机域学习（NCL）通过软监督策略加密特征分布，而噪声感知记忆更新（NMU）策略则防止错误累积。在SYSU-MM01、RegDB和LLCM数据集上，CLNS分别达到了69.5%（65.6%）、94.8%（91.8%）和54.6%（57.8%）的Rank-1（mAP）准确率，显著超越了现有方法。代码将在https://github.com/apatientzsc/CLNS上发布。

**引言**
可见光-红外人重识别（VI-ReID）在近期研究中得到了广泛关注，它能够在可见光和红外模态之间匹配行人图像，在智能监控中发挥着关键作用。尽管有监督方法取得了显著进展，但这些方法严重依赖于大规模、劳动密集型的注释[2][3][4][5][6]。因此，无监督的VI-ReID（US-VI-ReID）因其可扩展性和实际应用性而受到越来越多的关注。吴等人和叶等人的开创性研究旨在无需人工标签的情况下学习具有区分性的表示。

US-VI-ReID中的一个核心挑战是生成可靠的伪标签。主流方法通常使用聚类算法（如DBSCAN）根据全局特征相似性生成伪标签[9]。虽然这些方法在一般场景下有效，但常常忽略了一个关键问题：相机特性导致的偏差。如图1所示，同一身份的图像在不同相机拍摄时由于背景和视角的一致性而具有更高的视觉相似性。为了量化这一问题的严重性，我们使用基线方法对SYSU-MM01数据集进行了初步分析。具体来说，不同相机拍摄的同一身份图像之间的平均余弦距离高达1.0615，远高于同一相机内的图像（0.7795）。这种由相机引起的差异会误导聚类算法，导致将一个身份分割成多个特定于相机的簇（身份碎片化），或者合并不同的身份。这种噪声不仅会破坏记忆库，还会破坏跨模态对应关系，严重削弱训练效果。

尽管已经提出了一些标签细化策略[10][11]，但它们大多直接在最终聚类结果上操作，而没有明确建模或抑制潜在的相机偏差。由于缺乏这种约束，这些方法容易受到监控数据中高内部相似性的误导，反而加剧了身份碎片化。为了解决这些问题，我们提出了基于相机特性的标签噪声抑制（CLNS）框架，该框架旨在从粗到细的视角逐步净化由相机引起的噪声。我们的方法通过一个连贯的流程进行操作：首先引入相机感知原型校准（CPC）模块，利用跨相机邻域一致性过滤不可靠样本以纠正结构错误并构建稳健的原型；随后，最优传输原型匹配（OTPM）模块将跨模态对齐问题表述为一个全局最优传输问题，从而建立精确的对应关系；接着，邻居引导的相机域学习（NCL）模块利用基于置信度的软标签抑制残余分布噪声；最后，噪声感知记忆更新（NMU）策略动态调整样本贡献，防止记忆库中的错误累积。

**主要贡献**
1. 我们提出了CLNS框架，以解决US-VI-ReID中的相机特性偏差问题。通过从粗粒度原型到细粒度实例逐步净化噪声，CLNS确保了稳健的跨模态学习。
2. 我们引入了CPC和OTPM模块作为结构守护者：CPC通过跨相机一致性纠正伪标签错误，OTPM通过最优传输实现全局跨模态对齐。
3. 我们设计了NCL模块和NMU策略来处理残余噪声：NCL利用软监督压缩特征分布，NMU防止异常值导致记忆库损坏。

**实验验证**
在SYSU-MM01、RegDB和LLCM数据集上的广泛实验表明，CLNS达到了先进的性能水平，验证了抑制相机特性噪声的有效性。

**结论与未来工作**
在本文中，我们提出了基于相机特性的标签噪声抑制（CLNS）框架，以解决US-VI-ReID中的相机特性标签噪声问题。与通用聚类方法不同，CLNS采用从粗到细的协同流程逐步净化表示。CPC和OTPM模块作为结构守护者，分别校准原型并建立全局跨模态对齐；NCL和NMU在实例层面处理残余噪声。

**作者贡献声明**
赵思成：撰写初稿、可视化、方法论；
陆伟：撰写、审稿与编辑、监督；
李世豪：撰写、审稿与编辑；
陈思宝：撰写、审稿与编辑、监督、资金获取；
丁Chris H.Q.：监督、资金获取；
王 Futian：资金获取、资源协调、监督、撰写与编辑；
唐金：监督、资金获取；
罗斌：监督、资金获取。

**利益冲突声明**
作者声明没有已知的财务利益冲突或个人关系可能影响本文的研究结果。

**致谢**
本工作部分得到了国家自然科学基金委员会企业创新发展联合基金（项目编号U24A20342）的支持，同时也得到了国家自然科学基金（项目编号62572004、62576006和61976004）的资助。