面向红外成像的基于前景感知特征融合的跨光谱行人重识别

《Infrared Physics & Technology》：Infrared imaging-oriented cross-spectral person re-identification with foreground-aware feature fusion

　　

# 摘要

红外成像对于全天候监控至关重要，但无监督可见光-红外行人重识别（VI-ReID）仍然困难，因为跨光谱身份标注稀缺，且红外图像存在纹理弱、边界模糊和热背景干扰等问题。现有方法主要关注模态对齐，对前景分割不确定性及其向身份表示传播的影响考虑有限。为克服这些局限性，我们提出了一种语义前景感知特征融合网络（SFFF-Net）。其伪标签引导的前景分割网络（PLG-FSN）通过基于置信度的伪标签过滤、迭代自训练和掩码精化，将RGB人体解析知识迁移到未标注的可见光-红外数据上，生成可靠的红外前景估计。双分支语义感知特征提取网络（DBS-FEN）联合学习全局上下文和前景判别特征，以补偿红外图像纹理不足的问题。全局-前景互补模块（GFCM）随后利用逐样本掩码置信度动态平衡两个分支，而非分配固定融合权重。该设计将像素级前景可靠性与实例级跨模态表示学习耦合，抑制热背景干扰，同时限制分割误差的影响。在SYSU-MM01 All Search和RegDB V→I数据集上的实验表明，该方法分别达到了51.44%和73.77%的Rank-1准确率，分别比ADCA高出5.93和6.57个百分点。消融实验和受控掩码扰动研究表明，动态GFCM consistently优于仅前景和固定融合的替代方案，并且对缺失身体区域和背景误检更具鲁棒性。这些结果验证了所提出的跨模态互补学习机制在实际无监督红外监控中的有效性。

# 引言

红外成像技术在现代监控系统中发挥着至关重要的作用，特别是在可见光摄像头无法捕捉可靠视觉信息的低光和夜间条件下。与依赖反射光的可见光成像不同，红外成像利用物体发射的热辐射，因此本质上对光照变化具有鲁棒性，适用于全天候感知。然而，由于其成像机制和设备限制，红外图像通常缺乏颜色和细粒度纹理，并且往往表现出较低的空间分辨率和模糊的物体边界。同时，热噪声和背景热源可能产生与人体类似的强度响应，进一步削弱红外表示的身份判别能力。

可见光-红外行人重识别（VI-ReID）旨在将同一行人在异构成像模态中进行关联，为连续全天候监控提供必要支持[1]，[2]，[3]。通过利用可见光图像中的颜色和纹理线索以及红外图像中的热辐射线索，VI-ReID能够在不同时期和传感设备之间实现身份检索。然而，成像原理、外观分布和结构响应的显著差异使得身份相关特征难以直接对齐。

除了跨光谱差异之外，标注成本是VI-ReID实际部署面临的另一个主要障碍。有监督方法需要在可见光和红外摄像头之间进行大规模身份匹配和人工标注，成本高且难以扩展到新的监控环境。因此，无监督可见光-红外行人重识别（USL-VI-ReID），即在目标数据上不需要身份标签的方法，作为一种重要的实际部署方向，受到了越来越多的关注。

现有USL-VI-ReID方法主要通过对比学习、伪标签学习和域自适应来减轻模态差异[4]，[5]，[6]。这些方法通常在全局表示上进行聚类和跨模态对齐，但很少显式地区分人体区域与热背景。当背景热源表现出与行人类似的响应时，全局特征容易吸收模态特定噪声。此外，红外图像有限的纹理和对比度使细粒度身份线索更容易被背景信息淹没。仅靠全局级模态对齐不足以同时解决跨光谱差异和热背景干扰问题。

近期研究越来越多地利用部件感知发现和结构引导来学习细粒度局部表示[7]，[8]。然而，姿态、尺度和视角的变化仍可能导致跨摄像头身体区域错位，降低局部特征一致性[9]。这些问题在边界模糊和结构细节不完整的红外图像中进一步加剧。语义分割提供了互补的像素级先验，用于定位行人、抑制热背景并提取身份相关前景信息[10]，[11]，[12]。

然而，直接将语义分割应用于无监督VI-ReID存在两个困难。首先，现有分割模型通常使用高质量RGB数据进行训练，RGB到红外的域差距降低了其在红外目标域中前景估计的可靠性。其次，低分辨率、弱纹理和热模糊可能导致身体区域缺失或背景热源的误检。将此类掩码视为确定性预处理可能会移除身份信息或重新引入背景噪声，而固定比例的全局和前景特征融合无法适应分割质量的逐样本变化。因此，在缺乏目标域分割标注的情况下学习可靠前景，并根据前景可靠性自适应地利用全局和局部信息，仍有待深入探索。

为解决这些挑战，我们提出了一种语义前景感知特征融合网络（SFFF-Net），将跨光谱前景可靠性学习与无监督ReID表示学习相结合。首先，伪标签引导的前景分割网络（PLG-FSN）通过置信度过滤、迭代自训练和掩码精化，从源域迁移人体解析知识并适应到未标注的可见光-红外目标数据。双分支语义感知特征提取网络（DBS-FEN）随后并行保留完整图像的上下文信息和人体前景的判别信息。与仅依赖前景或使用固定融合权重的方法不同，掩码置信度感知的全局-前景互补模块（GFCM）根据每个样本的分割可靠性动态调整两种表示的贡献度。SFFF-Net将像素级前景可靠性转化为实例级融合线索，抑制热背景干扰，减少分割误差的传播，实现更鲁棒的跨模态互补学习。

本文的主要贡献总结如下：

(1) 我们提出了SFFF-Net，一种面向红外监控的无监督跨光谱行人重识别框架，将前景语义可靠性引入跨模态互补学习，以同时缓解模态差异、热背景干扰和分割不确定性。

(2) 我们开发了PLG-FSN，一种针对未标注可见光-红外目标数据的语义学习策略，通过基于置信度的伪标签过滤、迭代自训练和掩码精化，逐步将RGB人体解析知识转化为可靠的红外前景估计。

(3) 我们设计了双分支DBS-FEN，同时从完整场景中学习全局上下文和从人体区域中学习前景判别特征，在抑制背景噪声的同时保留补偿红外纹理缺失的上下文线索。

(4) 我们提出了掩码置信度感知的动态GFCM，将逐样本分割可靠性映射为有界融合权重，自适应平衡全局和前景信息，并减少前景区域缺失和背景误检对ReID表示的影响。

(5) 在SYSU-MM01和RegDB上的系统实验表明，SFFF-Net在SYSU-MM01 All Search上达到51.44%的Rank-1准确率，在RegDB V→I上达到73.77%，分别比ADCA高出5.93和6.57个百分点。消融实验和受控掩码扰动研究进一步验证了所提组件的有效性和动态融合的鲁棒性。

# 相关工作节选

## 有监督可见光-红外行人重识别

有监督可见光-红外行人重识别（VI-ReID）旨在通过完全标注的身份标签学习判别性表示来减少跨模态差异。现有方法通过设计有效的特征学习和模态对齐策略取得了显著进展。例如，Ye等人[13]提出了带有非局部注意力机制和加权三元组损失的AGW，为VI-ReID提供了坚实的基线。Hao等人[14]引入了MCLNet以减少

## 整体框架

为应对红外-可见光监控中跨光谱差异和背景干扰的挑战，我们提出了一种语义引导的特征学习框架，称为语义前景感知特征融合网络（SFFF-Net）。整体架构基于ADCA框架[24]开发，由三个主要组件组成：伪标签引导的前景分割网络（PLG-FSN）、双分支语义感知特征提取网络（DBS-FEN）以及

## 数据集介绍

采用两个主流VI-ReID数据集进行实验验证，与基线ADCA[24]保持一致：

(1) SYSU-MM01[35]：一个大规模跨模态ReID数据集，包含395个身份，由4个RGB摄像头和2个IR摄像头采集。训练集包含22258张RGB图像和11909张IR图像；测试集采用查询-库设置（3803张IR查询图像，301个身份RGB库图像），包含两种评估模式：全搜索和室内搜索。

(2) RegDB[36]：一个双摄像头数据集，包含412

# 结论

本文提出了一种面向低光和夜间条件下基于红外成像监控的无监督可见光-红外行人重识别框架。所提方法通过将语义分割与特征表示学习相结合，解决了跨光谱匹配中的两个关键挑战，即模态差异和背景干扰。

具体而言，引入了伪标签引导的前景分割网络来提取行人区域

# CRediT作者贡献声明

刘静民：撰写-审阅与编辑，撰写-初稿，可视化，验证，项目管理，方法论，调查研究，形式化分析，数据管理，概念化。郭季锋：撰写-审阅与编辑，监督，软件，资源，资金获取。梁智达：撰写-审阅与编辑，调查研究，数据管理。高新丹：撰写-审阅与编辑，监督，资源，项目管理，调查研究，资金获取。李林：

# 利益冲突声明

作者声明不存在任何可能影响本文工作的已知竞争性经济利益或个人关系。

# 致谢

本工作得到国家自然科学基金（批准号：62466012）和广西自然科学基金（批准号：2025JJH170035）的资助。

刘静民 | 郭季锋 | 梁智达 | 高新丹 | 李林

东北林业大学计算机与控制工程学院，中国黑龙江省哈尔滨市 hexing路26号，邮编150040