基于分布感知的软对齐与边界伪标签修正技术用于无监督可见光-红外人体重识别

《Neural Networks》：Distribution Aware Soft Alignment With Boundary Pseudo Label Correction For Unsupervised Visible-Infrared Person Re-identification

　　

• •
  DASBC框架解决了US-VI-ReID中不可靠的跨模态簇关联问题以及伪标签噪声问题。
• •
  DASA模块通过概率软对齐方法来量化跨模态簇关联的强度。
• •
  BPLC模块利用轮廓系数来修正边界样本的标签，从而提供可靠的监督信号。
• •
  在该框架下，SYSU-MM01和RegDB数据集上的性能表现更为优异。

引言

人物重识别（ReID）是计算机视觉领域的一个重要研究方向，其核心目标是实现同一人物的不同摄像头之间的匹配。随着对全场景应用需求的增加以及红外摄像头的广泛应用，可见光-红外人物重识别（VI-ReID）成为了一种有前景的解决方案。它能够在不同的光照条件下实现可见光图像与红外图像之间的跨模态匹配。然而，传统的监督式VI-ReID方法严重依赖经过完整标注的可见光-红外配对样本，而繁琐的标注过程极大地限制了其在实际场景中的大规模应用。因此，无监督学习方法逐渐成为研究重点。本文试图以无监督的方式解决VI-ReID问题，即无监督可见光-红外人物重识别（US-VI-ReID）。

目前，无监督单模态人物重识别（US-ReID）已经取得了不错的性能。不过，现有的单模态解决方案在US-VI-ReID任务中存在显著局限性。例如，像Cluster Contrast这类主流方法中的聚类算法容易产生模态偏差，从而导致无法生成可靠的跨模态伪标签。本质上，传统的基于聚类的单模态方法难以为不同模态下同一人物的图像分配相同的伪标签。因此，建立跨模态伪标签关联成为了US-VI-ReID任务的关键所在。

现有研究通常采用硬匹配来构建簇间关系，并通过特定规则建立模态簇之间的唯一关联（如最优分配和图匹配），此时一个簇只能与另一种模态下的少数几个簇建立关联。此外，这些方法只能确定跨模态簇对之间是否存在映射关系，而忽略了簇之间的其他关联状态，如图1(a)所示。这种方法既无法量化簇间关联的强度，也无法模拟跨模态场景中常见的模糊簇间关系。例如，ADCAYang等人通过样本对的相似度过滤和计数统计来建立簇间关联，但其固定阈值过滤方法会导致大量硬样本对丢失。另外，这种基于样本级别的局部匹配缺乏簇级别的全局约束，虽然从细粒度的样本角度优化了关联逻辑，但仍未能摆脱硬匹配框架的束缚。作为簇级别硬匹配方法的代表，PGMWu和Ye（2023）利用匈牙利算法来解决两种模态下簇之间全局最优的一对一分配问题。虽然该方法能够覆盖所有可见光簇的跨模态映射，避免出现簇遗漏的问题，但当两种模态下的簇数量不平衡时，它往往会产生多余的模态关联，还会将聚类阶段产生的噪声直接传递到错误的跨模态关联关系中。PCALYang等人则通过跨模态联合聚类来消除模态差异并生成跨模态伪标签，但由于聚类算法的固有特性，噪声不可避免。如图1(b)所示，一些位于簇边界的样本容易被错误地分配标签，且与簇特征不符的噪声样本也可能混入簇中。这些有偏的伪标签会不断干扰模型的特征学习，因此在跨模态联合聚类之后有必要修正边界样本，为模型训练提供更可靠的监督信号。

为了解决US-VI-ReID任务中的两个核心问题，即不可靠的跨模态簇关联以及跨模态联合聚类产生的伪标签噪声，本文提出了一种全新的DASBC框架。该框架由分布感知软对齐（DASA）模块和边界伪标签修正（BPLC）模块共同构成。具体而言，DASA模块通过概率软对齐机制来构建跨模态簇间关联，通过量化簇对之间的关联强度，实现灵活的簇间匹配。它不仅能准确捕捉强关联簇间的核心信息，还能充分保留弱关联和模糊关联的有效价值，从而使跨模态簇关联建模兼具灵活性和稳健性。而BPLC模块则专注于优化跨模态联合聚类结果中的噪声问题，通过精准定位簇边界样本，并验证和修正其伪标签的合理性，有效去除那些簇内特征异常的噪声样本，同时修正有偏的伪标签。这从根本上提升了跨模态联合伪标签的质量，为模型训练提供了准确且有效的监督信号。

我们的主要贡献如下：

• •
  提出了一个协同优化的DASBC框架，该框架构建了跨模态关联建模与伪标签噪声优化的集成机制，用于解决US-VI-ReID中簇关联不可靠以及伪标签噪声严重的问题。
• •
  提出了分布感知软对齐（DASA）模块，该模块通过概率软对齐机制量化跨模态簇关联的强度，既能捕获强关联信息，又能保留弱关联和模糊关联。
• •
  提出了边界伪标签修正（BPLC）模块，该模块可以定位并修正簇边界样本的标签，从而提升跨模态联合伪标签的质量。
• •
  在SYSU-MM01和RegDB数据集上进行的大量实验证明了所提出的DASBC框架的有效性和优越性。

章节要点

监督式可见光-红外人物重识别

监督式VI-ReID旨在解决昼夜或低光环境下可见光模态与红外模态之间的人物检索问题。Ye等人提出的CAYe（2021）方法采用了通道增强策略，在保留颜色信息的同时减少输入图像之间的模态差异。Kim等人则提出了PartMixKim（2023）方法，该方法通过融合跨模态部分描述符来生成增强样本，并结合对比学习技术使用。

方法论

在本节中，我们将详细介绍所提出的DASBC框架，其结构示意图如图2所示。为抑制跨模态联合聚类产生的伪标签噪声，BPLC模块将簇边界样本视为噪声的主要来源，利用轮廓系数来量化样本的簇内凝聚度和簇间分离度，从而实现伪标签的自适应修正，为模型提供可靠的监督信号。DASA模块则负责...

数据集与评估方案

数据集。为了验证DASBC框架的有效性，我们在两个常用的可见光-红外ReID数据集上进行了实验：SYSU-MM01和RegDB。

SYSU-MM01数据集是由Wu等人（2017）开发的，用于研究现实场景中的跨模态可见光-红外匹配问题。该数据集包含了来自四台可见光摄像头和两台红外摄像头的图像，涵盖了491个人物身份，这些人物在不同视角和姿态下都有对应的图像。在训练过程中，使用了395个人物身份的图像，其中包括22,258张可见光图像和11,909张红外图像。

结论

我们提出了一种基于分布感知软对齐并带有边界修正功能的DASBC框架，用以解决无监督可见光-红外人物重识别中跨模态簇关联不可靠以及伪标签噪声问题。分布感知软对齐（DASA）模块通过概率软对齐机制来量化跨模态簇之间的关联强度，能够同时捕捉明确的关联关系和模糊的关联情况。而边界修正模块则...

CRediT作者贡献说明

Hongyang Fu：撰写——初稿、方法论部分。Jin Wang：撰写——审阅与编辑、形式化分析部分。Xiaoshuai Niu：负责形式化分析工作。Liyun Dou：撰写——审阅与编辑、监督工作。

利益冲突声明

作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢

本研究部分得到了中国大学生创新创业训练计划（202510304040）以及南通市自然科学基金2025年度一般项目（项目编号JC2025090）的支持。

Hongyang Fu|Jin Wang|Xiaoshuai Niu|Liyun Dou