基于中间模态交互特征注意力学习的可见光-红外行人重识别方法

本文提出交互式特征注意力学习网络（IFALNet），通过中间模态生成器（MMG）合成中间模态图像，结合模态交互注意力（MIA）模块和多尺度特征聚合（MFA）块提取模态共享与特异性特征，并设计三重中心聚合（TCA）损失函数缩小模态差距。在SYSU-MM01、RegDB和LLCM数据集上的实验表明，该方法较同类最新模型在Rank-1和mAP指标上显著提升6.6%和6.2%，为跨模态行人重识别（VI-ReID）提供了创新解决方案。

　　

Highlight

• 提出新型网络框架IFALNet，包含中间模态生成器、模态交互注意力模块和多尺度特征聚合块

• 提出三重中心聚合损失（TCA），促进多模态特征在共享空间中的聚合

• 在三个公开VI-ReID数据集上的实验证明该方法优于现有先进方法

Method

本节详细介绍如图1所示的IFALNet方法。与[16]不同，我们首先对可见光-红外（VIS-IR）图像进行通道级数据增强[37]，并在中间模态生成器中引入特征提取网络以提升通道表示和生成稳定性。随后，生成的中间模态（M-modality）图像对与原始图像对分别输入不同卷积块，以捕获多层级特征。模态交互注意力（MIA）模块通过跨模态交互挖掘判别性共享特征，而多尺度特征聚合（MFA）块则通过多分支卷积结构聚焦模态特异性信息。最后，TCA损失函数约束可见光、红外和中间模态的三类特征中心相互靠近，有效消除模态差距。

Conclusion

本文提出的IFALNet针对VI-ReID任务中中间模态信息利用不足的局限性，重点挖掘模态共享与特异性特征，并结合TCA损失引导模型学习判别性信息。在SYSU-MM01和RegDB数据集上的综合实验验证了方法的有效性。尽管IFALNet在挑战性场景下表现优异，未来工作将进一步优化模型轻量化与实时性。