基于解耦信息引导的跨模态对齐技术，用于可见光和红外图像中的人重识别

《Neural Networks》：Decoupled Information-Guided Cross-Modal Alignment for Visible-Infrared Person Re-Identification

　　

• •
  我们为VI-ReID提出了一种解耦引导的对齐策略。
• •
  HCE通过聚合多尺度上下文来丰富身份表示。
• •
  MBUE通过组织互补的特征流来促进部分功能解耦。
• •
  DIG-CMA通过整合互补的特征流来支持跨模态对齐。

引言

人物重新识别（ReID）的目标是在不同的相机或同一相机的不同时间段内识别和匹配目标人物。作为公共安全和智能监控的一项重要技术，ReID具有相当大的研究和实用价值（Wu等人，2024年）。大多数现有的ReID方法都是为可见光图像设计的，它们的性能在照明不足或夜间环境中会显著下降，这限制了它们在全天候智能监控中的应用。因此，出现了可见光-红外人物重新识别（VI-ReID）技术来解决这一限制。VI-ReID使用可见光（VIS）相机在白天捕获行人图像，使用红外（IR）相机在夜间捕获图像，从而实现跨模态人物检索（Zhang和Wang，2023年），为全天候监控提供了实用的解决方案。

与传统的单一模态ReID相比，VI-ReID面临额外的挑战（Liang等人，2023年）。如图1所示，传统的ReID已经需要处理由于视角变化和相似步行者外观引起的类内变化和类间相似性（见图1(a)和(b)）。然而，红外图像主要反映行人轮廓和热分布，在纹理和颜色等视觉特征上与可见光图像有本质区别。因此，VI-ReID不仅必须解决传统ReID的固有挑战，还必须解决可见光和红外模态之间的显著差异（见图1(c)）（Wei等人，2024年）。这些差异增加了跨模态特征匹配的难度，并限制了识别精度。

为了减少跨模态差异，最近的VI-ReID研究沿着三个相互关联的方向取得了进展。第一个方向是通过共享特征空间、特征解耦或模态扰动来学习模态不变表示，旨在减少模态相关因素对身份匹配的影响（Ren、Zhang，2024年；Tao、Long、Kong、Duan，2025年；Ye、Wu、Chen、Du，2024年；Zuo、Peng、Cheng、Wang，2025年）。第二个方向通过图像转换、中间模态构建和度量或分布约束来对齐可见光和红外表示（Dai、Lu、Li，2025年；Liu、Xia、Jiang，2023b年；Wang、Zhang、Cheng、Liu、Yang、Hou，2019a年；Wang、Zhang、Yang、Cheng、Chang、Liang、Hou，2020年；Wang、Wang、Zheng、Chuang、Satoh，2019b年；Zhang、Yan、Lu，2021年；Zhang、Yan、Lu、Li、Zhang，2025年）。第三个方向采用注意力机制、 transformer或多粒度建模来整合身体区域、尺度和模态之间的身份区分线索，从而增强跨模态特征交互（Feng、Chen、Sun、Li、Wang，2025a年；Feng、Li、Yan、Lu、Zhang，2023b年；Liang、Jin、Liu、Li，2023年；Lu、Zou、Zhang，2023年）。

这些研究方向从表示学习、嵌入对齐和特征交互的角度推动了VI-ReID的发展。然而，在许多方法中，功能特征组织和后续的跨模态对齐仍然是相对独立的设计阶段。基于解耦的方法通常侧重于区分模态共享信息和模态相关信息，而这些功能上区分的表示如何为后续对齐提供有针对性的指导则尚未得到充分探索。同时，对齐和交互模块的有效性取决于它们的输入表示。当身份相关信息和模态相关信息仍然纠缠在一起时，模态偏见可能会影响特征选择和聚合。基于这一观察，我们研究了一种解耦引导的对齐策略，该策略首先组织具有不同信息倾向的互补表示，然后使用它们来引导特征流交互以实现跨模态对齐。

为了实现这一策略，我们开发了解耦信息引导的跨模态对齐（DIGCA）框架。DIGCA将多尺度特征建模和功能特征组织与后续的跨模态对齐联系起来，使得组织好的互补表示能够指导交互过程，而不是统一处理所有提取的线索。

具体来说，层次化上下文提取器（HCE）通过不同膨胀率的膨胀卷积和残差连接聚合多尺度上下文信息，以丰富初始身份表示。多分支统一编码器（MBUE）通过并行全局关系和局部空间建模组织互补的特征流，从而促进身份相关信息和模态相关信息之间的部分功能解耦。基于这些功能上区分的表示，解耦信息引导的跨模态对齐（DIG-CMA）模块分别应用通道注意力和空间注意力来细化全局关系流和局部空间流，并通过交叉注意力将两个流集成起来。在SYSU-MM01、RegDB和LLCM上的实验表明，DIGCA的表现与最近的VI-ReID方法相当，在SYSU-MM01和LLCM上取得了优异的结果，在RegDB上也取得了可比的结果。

本工作的主要贡献总结如下：

•

我们为VI-ReID提出了一种解耦引导的对齐策略。该策略使用功能上区分的表示来指导互补特征流之间的交互，旨在减轻跨模态差异。

•

我们开发了层次化上下文提取器（HCE），它使用不同膨胀率的膨胀卷积和残差连接聚合多尺度上下文信息，从而丰富骨干网络提取的初始身份表示。

•

我们开发了多分支统一编码器（MBUE），它通过并行全局关系和局部空间建模组织互补的特征流。这些表示表现出不同的信息倾向，并促进身份相关信息和模态相关信息之间的部分功能解耦。

•

我们设计了解耦信息引导的跨模态对齐（DIG-CMA）模块，它分别应用通道注意力和空间注意力来细化全局关系流和局部空间流，然后通过交叉注意力将两个流集成起来，以支持跨模态对齐。

本文的其余部分组织如下。第2节回顾了与本工作相关的VI-ReID研究。第3节描述了所提出的DIGCA框架及其联合优化目标。第4节介绍了实验设置和结果，随后分析了整体性能、组件贡献、MBUE的功能区分行为、训练稳定性和计算效率。第5节总结了本文。

章节片段

特征解耦

相同身份的可见光和红外图像在语义内容上共享，但在光谱依赖的外观上存在显著差异。特征解耦方法旨在在调节模态相关变化的同时保留身份区分线索。常见的方法是将对表示分解为模态共享和模态特定的组成部分，使用对抗性目标来抑制模态可预测性，使用重建损失来保留输入信息，并保持正交性

提出的方法

如图2所示，DIGCA包括层次化上下文提取器（HCE）、多分支统一编码器（MBUE）和解耦信息引导的跨模态对齐（DIG-CMA）模块。HCE通过多尺度上下文信息丰富骨干特征。在MBUE内部，并行全局关系和局部空间建模组织互补的特征流，这些流通过DIG-CMA的引导交叉流交互得到细化和集成。由此产生的表示被联合优化

数据集和评估协议

我们在三个可见光-红外人物重新识别基准测试数据集上评估了DIGCA：SYSU-MM01（Wu等人，2017年）、RegDB（Du等人，2018年）和LLCM（Zhang和Wang，2023年）。遵循每个数据集的标准协议，采用累积匹配特征（CMC）准确性和平均精度（mAP）作为评估指标。R1、R10和R20分别表示排名1、10和20的检索准确性。

SYSU-MM01包含303,420张图像，涉及491个身份，由四个可见光

结论

本文介绍了解耦信息引导的跨模态对齐（DIGCA）框架。其核心思想是通过多尺度上下文建模丰富初始身份表示，组织具有不同信息倾向的互补特征，然后使用这些特征来指导跨流集成以实现跨模态表示对齐。具体来说，HCE从不同的感受野中聚合多尺度上下文信息；MBUE组织

未引用的参考文献

Luo等人（2019年），Hermans等人（2017年）

CRediT作者贡献声明

邓青松：撰写——原始草稿、方法论、概念化。孔光谦：撰写——审稿与编辑、验证、软件。段迅：数据管理。龙慧云：项目管理员。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

本工作部分得到了贵州省科学技术基金（Grant No. QKHJCZK[2024]063）和中国国家自然科学基金（Grant No. 62266011）的支持。

邓青松|孔光谦|段迅|龙慧云