双刃同质模态相似性:基于模态自适应匹配的可见光-红外模态不完整行人重识别

《INTERNATIONAL JOURNAL OF COMPUTER VISION》:Dual-Edged Homogeneous-Modality Similarity: Towards Visible-Infrared Modality-Incomplete Person Re-Identification with Modality Adaptive Matching

【字体: 大 中 小 】 时间:2026年09月20日 来源:INTERNATIONAL JOURNAL OF COMPUTER VISION 10.3

编辑推荐:

   摘要 可见光-红外行人重识别(VI-ReID)传统上基于封闭世界假设运行,即查询库与库库分别来自不同模态。然而,在开放世界场景中,这两个集合很可能同时包含同模态与异模态图像。一个查询可能由仅可见光、仅红外或混合模态图像组成,而库库则包含长期收集的多模态图像。在这些条件下,基

  摘要可见光-红外行人重识别(VI-ReID)传统上基于封闭世界假设运行,即查询库与库库分别来自不同模态。然而,在开放世界场景中,这两个集合很可能同时包含同模态与异模态图像。一个查询可能由仅可见光、仅红外或混合模态图像组成,而库库则包含长期收集的多模态图像。在这些条件下,基于异模态检索范式的现有VI-ReID方法面临三大可信性挑战:同模态高相似度导致的匹配冲突、模态不确定性带来的干扰,以及未知模态组合导致的鲁棒性退化。因此,它们无法满足可信视觉识别在可靠性、一致性和动态适应性方面的要求。为应对这些挑战,我们形式化定义了可见光-红外模态不完整重识别(VIMI-ReID)任务,并重新组织现有数据集,构建了SYSU-VIMI与RegDB-VIMI基准用于评估。VIMI-ReID中不可预测的模态组合以及同模态样本的固有相似性导致现有VI-ReID方法性能显著下降。为此,我们提出了模态自适应匹配Transformer(MAMT)。该模型采用散度Transformer模块(DTM)和共享Transformer模块(STM)分别提取模态特异特征和模态共享特征。在散度损失的引导下,DTM将模态风格信息注入模态特异特征,以增强同模态内的判别能力。同时,模态自适应匹配模块(MAM)根据查询与库的模态关系动态融合特征,从而在任意且不确定的模态条件下实现稳定匹配。在VIMI基准上的大量实验证明了MAMT的有效性与适应性。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号