模态混淆学习：一种适用于可见光-红外重识别的通用框架

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：Modality Confusion Learning: A Versatile Framework for Visible-Infrared Re-identification

跨模态生物识别中，MCLNet+通过MCL核心模块和先验感知边缘中心聚合策略，在可见光-红外特征空间中解耦模态差异并增强身份相关性，在SYSU-MM01数据集上实现71.10% Rank-1准确率和65.78% mAP。

　　

摘要

由于可见光和红外模态之间的差异，大多数现有的生物特征识别任务（如人物重识别 ReID）在获取不同模态之间的特征时存在问题：这些特征要么与模态无关，要么与身份相关但不够可靠。在这项工作中，我们提出了一种端到端的模态混淆学习网络+（MCLNet+），该网络能够确保提取的特征与身份相关，并且在不同模态之间仍然保持可靠性。与之前通过设计复杂分支来学习模态不变特征的方法不同，MCLNet+ 在一个简洁的框架内同时学习了模态不变性和身份相关性特征。我们设计了一个模态混淆学习核心（MCL core），用于进一步区分可见光和红外特征，并利用最大最小博弈在表示空间中解耦不同模态的属性。此外，我们还提出了基于先验的边缘中心聚合策略，以探索摄像头与身份之间的潜在对应关系，从而使模型具备对摄像头和身份的感知能力。我们的 MCLNet+ 在可见光-红外识别任务上的表现优于现有的最先进方法。在大型 SYSU-MM01 数据集上，我们的模型在排名1准确率和 mAP 分数方面分别达到了 71.10% 和 65.78%。