基于跨模态知识与经验Transformer的可见光-红外行人重识别方法研究

本文提出一种新颖的跨模态知识与经验Transformer（CKT）模型，通过模拟人类视觉系统的认知机制，将训练集中的身份特征中心转化为模型的"知识与经验"，在可见光-红外行人重识别（VI-ReID）任务中实现了模态不变特征的增强推理，显著提升了跨模态匹配性能。

　　

Section snippets

Single-modality VV-ReID

早期VV-ReID解决方案主要依赖手工特征和概率斑块匹配算法。近年来，基于深度卷积神经网络（DCNN）的VV-ReID模型已成为主流，主要分为基于表征学习的模型和基于度量学习的模型两类。

Problem formulation

本节以RGB到红外匹配为例，从理论角度对比现有VI-ReID模型与本文提出的模型。假设q是RGB模态查询图像，G={gi}Kgi=1表示包含红外图像集的图库集。现有VI-ReID模型首先通过特征提取器f(*)从输入图像中提取特征Fq和Fgi，即：

F_q=f(q,α), F_gi=f(g_i,α)

其中α表示特征提取器f(*)的参数。随后通过...

Datasets and Evaluation Metrics

数据集：本研究使用两个公开可用的VI-ReID数据集SYSU-MM01和RegDB来评估我们提出网络的有效性。

SYSU-MM01包含30,071张RGB图像和15,792张红外图像，采集自395个个体，分别使用4个可见光摄像机和2个红外摄像机采集。该数据集随机选择395个行人身份进行训练，96个身份进行测试。通过两种模式评估每个算法...

Conclusion

本文受人类视觉系统启发，提出了一种新颖的跨模态知识与经验Transformer（CKT）用于VI-ReID，该模型能够在从输入图像提取的常用模态共享特征基础上，进一步推断更多关于行人的模态共享特征以提升性能。具体而言，该模型包含一个VI-ReID子网络，可从输入图像中提取判别性模态共享特征。此外，它还设计了一个...

CRediT authorship contribution statement

Nianchang Huang：撰写原稿，验证。Jialiang Wang：可视化，形式分析，数据管理。Qiang Zhang：评审编辑，资金获取。Jungong Han：评审编辑。Jin Huang：评审编辑，监督。

Declaration of competing interest

作者声明不存在任何可能影响本研究报告的已知竞争性经济利益或个人关系。

Acknowledgment

本研究受中国博士后科学基金（No.2023M742745）和广东省基础与应用基础研究基金（No.2023A1515110165）资助。同时获得国家自然科学基金（No.61773301）、陕西创新团队项目（No.2018TD-012）及电工装备可靠性与智能化国家重点实验室（No. EERI KF2022005，河北工业大学）支持。