基于频率感知的双子空间表示学习方法，用于实现鲁棒的可见光-红外跨模态匹配

《Optics & Laser Technology》：Frequency-aware dual-subspace representation learning for robust visible-infrared cross-modal matching

　　摘要：在昼夜成像及连续视觉监控任务中，可见光图像与红外图像的生成机制存在显著差异，这往往导致跨模态表示不稳定且匹配结果不可靠。现有方法通常试图在统一特征空间中实现跨模态对齐，却忽视了不同频率分量在结构稳定性和区分能力方面存在差异。为解决这一问题，我们提出了一种基于频率感知的双子空间学习框架，用于实现更可靠的可见光-红外人物重识别。具体而言，该框架将特征表示在频域分解为语义稳定子空间和语义区分子空间：前者旨在保留各模态共有的结构信息，并通过模内原型一致性进行约束；后者则聚焦于与身份相关的区分性细节，在语义可靠性筛选机制下实现选择性跨模态对齐。此外，为表征遮挡、噪声及模态差异导致的特征模糊性问题，我们在概率嵌入空间中引入了基于不确定性感知的Wasserstein度量，该度量能够同时建模特征中心差异与不确定性变化。通过整合频率感知的表示解耦、基于可靠性的一致性学习以及不确定性感知的度量建模，所提框架提升了复杂成像条件下的跨模态匹配稳定性。在SYSU-MM01、RegDB和LLCM数据集上的实验表明，该方法具有出色的性能稳定性，验证了其在可见光-红外跨模态人物匹配中的有效性。

引言：人物重识别技术旨在将不同摄像头或同一摄像头在不同时间捕获的行人图像关联起来，已成为智能安防、城市监控及跨场景目标检索领域的重要技术[1][2]。然而在实际监控系统中，仅依靠可见光成像往往无法满足夜间或低光照条件下的需求。可见光-红外人物重识别技术通过结合RGB图像与红外图像，解决了这一限制，为连续昼夜监控提供了更为可靠的解决方案[3][4][5]。尤其是红外图像能够在低光甚至无光环境下稳定捕捉人体的热辐射信息，这对于提升复杂环境下的视觉感知系统稳定性具有重要意义。正因如此，可见光-红外人物重识别技术在相关领域受到了越来越多的关注。

尽管具有实用价值，但可见光-红外人物重识别仍面临巨大挑战，因为可见光图像与红外图像是由完全不同的成像机制生成的[6][7]。可见光图像通常包含丰富的颜色、纹理和外观细节，而红外图像主要反映热分布和轮廓结构，颜色表现能力有限，高频纹理信息也较为薄弱。这种差异性导致即使对于相同身份的个体，跨模态表示也存在显著差异，从而使得可靠匹配变得困难。此外，现实中的成像条件，如姿态变化、遮挡、背景干扰以及低分辨率采集等问题，会进一步加剧类内差异和类间混淆。因此，可见光-红外人物重识别面临的关键问题是如何在保留对匹配至关重要的结构信息和区分信息的同时，减少跨模态图像生成带来的表示不一致性问题。

针对这一问题，现有研究主要从中间模态生成、共享表示学习、局部细节增强以及语义辅助建模等方面展开探索。一类方法试图通过构建中间模态、模态映射或共享编码空间，减小RGB图像与红外图像之间的分布差异；另一类方法则通过聚焦局部区域、人体部位、运用注意力机制或对抗学习等方法，增强与身份相关的特征表达[8]。此外，基于生成对抗网络的方法试图通过跨模态图像生成来补充模态信息，但这些生成图像往往存在外观不一致、高级语义失真以及身份相关信息丢失等问题[9]。近年来，也有部分研究通过对样本的语义成分施加统一的跨模态对齐约束，以提升特征一致性[10][11]。然而，这类方法通常基于一个较强的假设，即所有语义特征在跨模态条件下都具有相同的稳定性和对齐性。我们认为，在复杂的现实场景中这一假设往往不成立：首先，由于成像机制的差异，RGB图像中的颜色关系和细微外观特征无法在红外模态中得到完全保留[12][13]；其次，在多摄像头环境中，视角变化、尺度差异以及背景干扰会进一步加剧语义偏移[14]。如果所有语义成分都在单一特征空间内进行统一对齐，很可能会导致“过度对齐”现象，即模型被迫匹配那些本质上不一致或不可靠的噪声特征，从而削弱表示的区分能力并限制模型的泛化能力。

进一步分析表明，现有方法仍存在三个主要缺陷。首先，大多数方法仅对空间域内的整体特征进行统一建模，未能明确区分跨模态共享的稳定信息与对身份敏感的区分信息，从而导致不同性质的语义成分被混合在同一个表示空间中。其次，现有的跨模态对齐策略通常对所有样本施加统一约束，忽略了样本在语义质量、匹配可靠性及噪声污染程度方面的差异，这使得低质量样本可能在训练过程中引入错误的监督信号。第三，大多数方法仍采用确定性点嵌入来描述样本特征，这难以准确刻画由遮挡、模糊及跨模态失真引起的表示模糊性问题，进而限制了模型在复杂场景中的稳定性。

这些分析表明，关键问题并非仅仅在于如何引入额外的频率线索或不确定性建模，而在于如何为不同的特征成分赋予适当的语义功能，并据此施加合适的约束。为此，我们提出了一种具有语义可靠性意识与不确定性约束的频率感知双子空间学习框架。具体而言，该框架采用双子空间结构对频率分解进行处理：低频分量用于构建语义稳定子空间，以保持结构一致性；高频分量则用于构建语义区分子空间，以实现基于可靠性的选择性跨模态对齐。语义稳定子空间主要保留各模态共有的结构信息，用于建模不同模态下相对稳定的身份相关表示；为提升该子空间的一致性和聚合能力，本文引入了模内原型约束，该约束通过同一模态的原型中心引导样本特征，从而增强表示的稳定性。与此同时，语义区分子空间则聚焦于具有更强身份区分能力的细粒度信息，用于挖掘跨模态匹配中更为敏感的区分性语义。鉴于这类信息更容易受到噪声和局部失真的影响，本文还设计了语义可靠性筛选机制，对跨模态对齐过程进行条件性调整，仅对语义可靠性较高的样本施加严格的 consistency约束，以此降低不可靠样本对训练的负面影响。

此外，在跨模态人物重识别任务中，遮挡、背景干扰以及模态偏差会导致样本表示出现不同程度的模糊性与不确定性[15]。如果将所有样本视为同等可靠的优化对象，噪声样本就很可能主导训练过程，进而削弱模型的稳定性。为解决这一问题，我们在概率嵌入空间中引入了基于不确定性感知的Wasserstein度量，该度量通过同时建模特征中心与分布离散度，能够更细致地刻画由遮挡、噪声干扰及跨模态成像偏差引起的样本模糊性问题。将不确定性建模与语义双子空间学习相结合，能够进一步提升模型对复杂样本的适应能力，增强跨模态对齐过程的稳定性。最终，整个框架在身份监督、度量约束、语义一致性项、不确定性项以及正则化项的联合优化下实现端到端训练，从而协同提升模型的区分能力、稳定性与泛化能力。

本文的主要贡献如下：1. 提出了一种基于频率感知的双子空间语义一致性学习框架，用于可见光-红外人物重识别，该框架将跨模态特征分解为语义稳定子空间与语义区分子空间，使不同频率分量承担不同的语义建模任务。2. 在语义稳定子空间中引入了模内原型一致性约束，以增强各模态共有结构表示的紧凑性与稳定性；同时在语义区分子空间中设计了语义可靠性筛选机制，实现对可靠的身份相关特征的选择性跨模态对齐。3. 在概率嵌入空间中引入了基于不确定性感知的Wasserstein度量，用于同时建模特征中心差异与不确定性变化，从而提升模型在遮挡、噪声及模态差异条件下的跨模态匹配稳定性。

本文的其余结构如下：第2节简要回顾相关文献；第3节详细介绍所提方法的网络结构；第4节展示在相关数据集上进行的实验及其结果；最后第5节总结实验得出的结论。

片段摘录：可见人物重识别技术旨在通过多个非重叠摄像头识别目标人物。随着神经网络的发展以及智能视频监控需求的增加，该技术已在计算机视觉领域受到广泛关注[16]。BraidNet[17]设计了WConv层，利用该结构可提取两张图像的对比特征，且对错位和颜色差异具有较强鲁棒性。

方法：跨模态条件下语义表示的不一致性是可见光-红外人物重识别的核心难题。设Xv和Xr分别表示可见光图像空间与红外图像空间。给定一对具有相同身份标签yi∈Y的跨模态正样本(xiv,xir)，可见光-红外人物重识别的目标就是学习一个特征嵌入函数?θ:Xv∪Xr→Rd，使得具有相同身份的跨模态样本在特征空间中的距离尽可能近。

实验：在本节中，我们首先将所提方法的性能与当前最先进的算法进行比较，并在常用的可见光-红外人物重识别数据集（SYSU-MM01[25]、RegDB[44]和LLCM[45]）上进行测试。同时，我们还通过消融实验来验证和分析所提方法各组成部分的性能。

数据集：SYSU-MM01[25]是一个专门为解决RGB-IR跨模态行人重识别问题而设计的数据库，其中包含RGB图像……

结论：本文提出了一种基于频率感知的双子空间表示学习框架，用于可见光-红外人物重识别。为解决跨模态表示偏移、语义响应不稳定以及样本表示模糊等问题，该框架将中间特征在频域分解，构建了语义稳定子空间与语义区分子空间。语义稳定子空间侧重于各模态共有的结构信息，而……

CRediT作者贡献声明：钟佳琪：撰写——初稿、方法论、实验分析；钱华明：指导、资金申请；丁鹏：资金申请。

利益冲突声明：作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。

致谢：本项目得到了江西省自然科学基金（20252BAC200197）、华东理工大学博士启动基金项目（DHBK2024026）以及江西省教育厅青年科学技术基金（GJJ2400604）的支持。

钟佳琪|钱华明|丁鹏