面向可见光-红外行人重识别的自适应模态感知融合与渐进式对齐

《Neurocomputing》：Adaptive modality-aware fusion with progressive alignment for visible–infrared person re-identification

　　

摘要

可见-红外行人重识别（VI-ReID）旨在跨可见光（VIS）和红外（IR）图像进行身份匹配，但传统的基于可见光的方法在低光照条件下性能急剧下降。虽然近期的对齐方法减少了模态差异，但它们往往引入伪影或丢失判别性线索，从而限制了鲁棒性。为克服这些挑战，我们提出了一种自适应模态感知融合（A-MAF）框架，将跨模态对齐重新定义为一种由人体结构先验引导的渐进式融合任务。A-MAF不再进行突兀的可见光到红外映射，而是构建一个过渡性特征流形，以简化优化并改善收敛。该设计的核心是自适应分层替换模块（AHRM），它能够实现区域感知的融合以及跨模态的连续特征转换。此外，对称语义一致性损失（SSCL）强制执行多尺度对齐，并在可见光、辅助和红外域之间进行互补整合，从而缓解信息丢失并增强跨模态判别能力。这些机制共同建立了一种双向锚定效应，在压缩类内方差的同时保持类间可分性。在三个主流数据集上的广泛评估表明，A-MAF与近期先进的VI-ReID方法相比取得了具有竞争力的性能。

**引言**

行人重识别（ReID）[6]、[7]、[8]、[9]作为计算机视觉领域的关键研究方向，旨在实现跨摄像头和场景的身份匹配。深度学习[16]的最新进展已显著提升了ReID的性能。然而，传统方法主要依赖于可见光成像系统。在低光照或夜间场景下，可见光图像遭受严重的纹理退化，导致外观特征的可判别性不足，性能急剧下降。为解决这一局限性，引入了红外成像系统，由此产生了可见-红外行人重识别（VI-ReID）[47]任务，其目标是在具有不同光谱特征的摄像头网络中匹配行人身份。

VI-ReID[43]的核心挑战在于弥合可见光和红外图像之间的模态鸿沟，这源于它们根本不同的成像机制。该任务需要在异构光谱中检索同一身份，同时应对视角和姿态变化等传统挑战，以及由光谱异质性引起的固有模态差异。关键在于挖掘跨模态共享的判别性语义信息，并在可见光纹理特征与红外轮廓特征之间建立稳健的对应关系。现有方法大致可分为三类：（1）特征级方法，对齐特征分布以缓解模态差异[30]、[61]；（2）图像级方法，采用生成对抗网络[14]进行模态转换[45]；（3）度量学习方法，设计损失函数以优化类内紧凑性和类间可分性[64]。

为进一步缩小模态鸿沟，一些研究尝试引入第三种辅助模态[1]、[32]，如图1所示。由于可见光和红外模态之间存在巨大异质性，直接构建跨模态映射仍然极具挑战性，而辅助模态可以作为更平滑的过渡来促进渐进式对齐。辅助模态的生成已从单源线性组合发展到双源混合策略。早期方法[19]通过线性组合可见光通道构建灰度辅助模态，但这种方法本质上仅引入了RGB空间内的颜色扰动，未能融入红外图像的热语义。后续研究[15]、[28]探索了细粒度双源混合，通过随机融合可见光和红外像素生成本地混合图像。然而，这些方法常受语义错位困扰，产生"双轮廓"伪影，加剧模态冲突并阻碍有效学习。

为克服这些局限性，我们提出了一种由人体结构先验引导的自适应模态感知融合（A-MAF）网络。如图2所示，A-MAF采用自适应分层替换模块（AHRM）进行区域感知的跨模态特征补全。与均匀融合不同，AHRM实施了一种不对称的上下半身策略：包含关键身份线索的上半身区域（如面部、胸部）以低替换概率保留，以保持细粒度的可见光纹理，而下半身区域（如腿部、鞋履）更频繁地替换，以注入红外特征的轮廓稳定信息。每张图像沿垂直身体轴划分为四个水平局部条带，其中两条带分配给上半身，两条分配给下半身，以支持细粒度的身体区域替换。作为AHRM的补充，一个轻量级中间模态加权模块从通道级平均和最大响应计算条带级空间重要性。所得显著性分数与固定的上/下半身先验系数结合，以确定不同身体条带的样本特定替换概率。我们进一步引入了对称语义一致性损失（SSCL），利用辅助模态作为中间桥梁，在特征空间中实现双向知识迁移和双阶段语义对齐（VIS-Aux和Aux-IR）。这些组件共同大幅减少了模态差异，并改善了光谱对应关系，以实现鲁棒的VI-ReID。

本文的主要贡献可总结如下：

- 提出了一种自适应模态感知融合框架（A-MAF），该框架利用人体结构构建不对称辅助模态——"上半身保守、下半身增强"，从而实现了区域感知和语义感知的跨模态特征补全。
- 提出了一种结构感知的AHRM机制，通过显著性引导的身体区域替换自适应地构建辅助模态。通过将样本特定响应与人体先验相结合，有效减少了语义错位和结构伪影，同时保持了模态多样性。
- 设计了一种跨模态对称语义一致性损失（SSCL），联合利用辅助模态作为桥梁，实现可见光-辅助-红外双向对齐，大幅减少了光谱差异，提高了跨模态判别能力。

**章节摘要**

相关工作：在本节中，我们对行人重识别（ReID）的研究进展进行了系统回顾，重点介绍单模态方法、跨模态（可见-红外）方法和辅助学习策略中的代表性工作。

方法：在本部分中，我们详细介绍了自适应模态感知融合（A-MAF）网络的整体框架及其实现细节。

实验结果：在本节中，我们将所提出的A-MAF与几种最先进的VI-ReID方法进行了评估。我们还进行了消融研究、对比分析和可视化，以评估每个组件的贡献。所有报告的结果均是在相同标准协议下重复实验多次后获得的，最终性能为这些重复试验的平均值。

结论：本文提出了A-MAF，一个用于减轻可见-红外行人重识别中模态差异的高效即插即用框架。通过利用自适应分层替换模块（AHRM），A-MAF在不引入额外可训练参数或推理时间开销的情况下构建了信息丰富的辅助表示。此外，所提出的对称语义一致性损失（SSCL）通过分解大的……

**CRediT作者贡献声明**

耿晟谢：数据整理、基金获取、方法论、写作—审阅与编辑。

王广州：软件、写作—原稿撰写。

周强强：写作—审阅与编辑。

钟山：写作—审阅与编辑、基金获取。

**利益冲突声明**

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所报告的工作。

**致谢**

本工作得到了国家自然科学基金（编号：62466026、62376041、62262030）、江西省自然科学基金（编号：20262BAC240069、20232BAB202021）、新型软件技术国家重点实验室、南京大学（编号：KFKT2024B51）、山东省自然科学基金（编号：ZR2023MF042）的支持。

**声明**

作者声明他们不存在利益冲突。

耿晟谢于2022年获得中国天津理工大学计算机科学与技术博士学位。他目前是江西师范大学人工智能学院讲师。他的研究兴趣涵盖机器学习、计算机视觉和图像处理，特别关注视觉目标跟踪和可见-红外行人重识别。

耿晟谢 | 王广州 | 周强强 | 钟山

江西师范大学人工智能学院，江西省南昌市资阳路99号，邮编330022