基于可见光引导的多粒度提示学习方法在可见光-红外人体重识别中的应用

《Expert Systems with Applications》:Visible-guided Multigranularity Prompt Learning for Visible-Infrared Person Re-identification

【字体: 大 中 小 】 时间:2026年02月04日 来源:Expert Systems with Applications 7.5

编辑推荐:

  VI-ReID通过动态多粒度语义提示和交替跨模态对齐策略解决跨光谱特征差异,提出VG-MPL框架,利用可见光引导生成细粒度提示,设计Prompt Slot Router实现语义槽自适应加权,结合多粒度一致性约束和ACMA优化提升跨模态表征对齐精度,显著提升暗光场景下的重识别性能。

  
杨彦罗|陈颖
中国无锡市,轻工业先进过程控制重点实验室(教育部直属)

摘要

由于显著的跨模态差异以及缺乏明确的语义对应关系,可见光-红外人重识别(VI-ReID)仍然具有挑战性。本文提出了一种新颖的可见光引导的多粒度提示学习(VG-MPL)框架,该框架通过语言引导的提示学习将语义推理整合到跨模态对齐中。通过将文本模板分解为可学习的语义槽来构建细粒度的自适应提示,这些语义槽的激活由可见光特征引导的提示槽路由器(PSR)动态调节。这种设计实现了针对样本的具体语义建模,并提高了可解释性。为了建立连贯的跨模态表示,在CLIP文本编码器的层次结构中施加了多粒度一致性约束,以确保全局身份和局部属性语义保持一致。此外,交替跨模态对齐(ACMA)策略及其理论分析促进了RGB和红外模态之间的双向学习,提高了优化稳定性并防止了单方面崩溃。在SYSU-MM01和RegDB数据集上的广泛实验表明,VG-MPL取得了最先进的性能和卓越的跨模态泛化能力,验证了自适应语义提示和层次对齐在弥合模态差异方面的有效性。

引言

人重识别(ReID)旨在匹配由非重叠相机捕获的行人图像,在智能视频监控和公共安全系统中发挥着关键作用。传统的ReID方法主要依赖于可见光谱成像,在充足照明条件下表现良好,但在夜间或低光照环境中性能严重下降。在实际监控场景中——例如昏暗的走廊或夜间的户外场景——基于颜色和纹理的线索变得不可靠,导致性能大幅下降。为了克服这一限制,通常会部署红外(IR)相机,因为它们能够捕捉即使在完全黑暗中也能反映人体轮廓和运动模式的热辐射。这激发了可见光-红外人重识别(VI-ReID)的任务,该任务旨在匹配在可见光(RGB)和红外(IR)模态中观察到的同一个人。
VI-ReID的主要挑战在于严重的跨模态差异。可见光图像描绘的是反射光,富含色彩和高频外观细节,而红外图像编码的是发射的辐射,主要传达形状和粗略的材料信息。因此,同一身份在不同模态下的特征统计特性存在巨大差异。此外,类别内的变化(如姿势、视角和遮挡)进一步增加了跨光谱匹配的难度。现有方法大致分为两类:图像级方法和特征级方法。前者以基于GAN的方法为代表,例如Dai, Ji, Wang, Wu, & Huang (2018); Wang et al. (2020); Wei, Yang, Wang, & Gao (2022),旨在直接在模态之间转换图像以减少异质性差距。尽管这些方法在像素空间对齐方面有效,但往往计算成本高昂,并且存在生成会损害判别性身份特征的人工假象的风险。因此,研究重点大多转向了特征级方法,例如Ling et al. (2020); Wu et al. (2021a); Ye, Wang, Lan, & Yuen (2018),它们通过复杂的损失设计、多尺度特征融合和注意力机制在共享嵌入空间中学习模态不变的表示。最近的进展进一步将表示分解为模态共享和模态特定的组件,或结合外部语义先验来增强判别能力。
尽管取得了这些进展,但一个根本性的限制仍然存在:现有方法仍然局限于视觉模态,仅依赖于像素级或特征级监督。这种对视觉信号的过度依赖未能明确捕捉到高层次的语义一致性,例如人在RGB和IR光谱中的共享身份和属性。因此,它们难以在显著的外观变化下弥合语义层面的模态差异。受到类似CLIP的视觉-语言模型(VLM)的语义对齐能力的启发,一系列新的研究试图利用文本提示作为语义锚点。在VI-ReID中,这些开创性的努力通常使用静态的、粗粒度的模板(例如,“一个XXXXX人的照片”)。如图1(a)所示,现有方法通常通过文本作为中间模态来对齐红外和可见光模态,从而弥合模态差异。同时,通用文本提示缺乏灵活性,无法建模动态的属性组合或细粒度的上下文线索。此外,它们不能根据视觉内容自适应地关注最显著的语义方面,这严重限制了图像和提示之间的对齐精度。
为了解决这些限制,提出了一个视觉引导的多模态提示学习网络(VG-MPLNet)。与CSDNYu et al. (2025)不同,后者通过对红外(IR)和可见光(RGB)输入进行对称条件化来生成提示,我们的设计采用了非对称方案。由于RGB携带更丰富的显式语义(例如颜色、材料、纹理),而IR本质上缺乏这些线索,在提示学习期间平等对待这两种模态往往会将IR引起的不确定性注入提示中,从而稀释VI对齐锚点的语义。如图1(b)所示,我们的方法利用可见光图像单方面引导动态细粒度提示的生成,使槽权重专注于最具身份判别性的语义维度,形成稳定的文本锚点。然后将IR特征与这个锚点对齐,补偿IR侧缺失的语义。这一过程引导红外特征与由RGB引导的提示塑造的身份判别性语义子空间对齐,从而吸收了IR中不可用的线索(例如颜色/纹理)的判别效应,而无需IR显式推断这些线索。此外,该方法确保了双向的交替对比学习,直接对齐同一身份的可见光和红外特征。此外,交替更新策略产生了更稳定的梯度和更好的收敛性,并提供了相应的理论证明。
该工作的关键贡献可以总结如下:
  • •
    提出了一种可见光引导的多粒度提示学习(VG-MPL)框架,该框架利用可见光引导来自适应地细化文本提示,实现模态间的多粒度语义对齐。
  • •
    设计了一种细粒度提示(FGP),用于有效地从可见光图像中捕获多尺度和上下文感知的语义信息,增强了文本嵌入表示中的判别细节。
  • •
    设计了一个提示槽路由器(PSR)模块,该模块根据视觉上下文动态调整每个提示槽的重要性,并将文本表示分解为局部和全局组件,以实现层次化的跨模态对齐。
  • •
    引入了一种交替跨模态对齐(ACMA)策略,它在可见光到红外和红外到可见光之间交替优化,以确保稳定的双向特征学习。
  • 广泛的实验表明,VG-MPL取得了卓越的性能和泛化能力,为VI-ReID设立了新的最佳水平。

    部分摘录

    可见光-红外人重识别

    传统的个人重识别(ReID)流程依赖于可见光谱成像,因此在照明不足的情况下性能大幅下降。在实际监控中,夜间场景和低光照走廊使得基于颜色和纹理的线索变得不可靠。一种常见的解决方案是部署红外(IR)相机,因为它们可以捕捉即使在完全黑暗中也能反映人体轮廓和运动模式的热辐射。这一操作现实催生了可见光-红外(VI)

    提出的方法

    在本节中,介绍了所提出的可见光引导的多粒度提示学习框架,该框架将语义推理整合到跨模态特征对齐过程中。与仅依赖视觉监督的传统方法不同,该框架利用语言引导的文本提示为表示学习提供明确的语义锚点。为了实现灵活和稳健的语义对齐,以下概述了整个框架

    实验

    本节系统评估了所提出方法的有效性和可解释性。我们首先描述了实验设置(实现细节和指标),以确保公平性和可重复性。基于此设置,我们与代表性方法进行了比较,并报告了CMC、mAP和mINP结果。最后,我们进行了消融实验(模块贡献和η的选择),并提供了可视化分析,以展示VI-ReID中的判别能力和鲁棒性。

    结论

    本文提出了一种新颖的可见光引导的多粒度提示学习(VG-MPL)框架,用于可见光-红外人重识别,该框架通过语言引导的提示学习将语义推理整合到跨模态对齐中。通过引入细粒度提示(FGP)机制,构建了细粒度的提示,以桥接全局身份语义和局部属性线索,丰富了跨模态表示的语义多样性。

    CRediT作者署名声明

    我们签署人声明本手稿是原创的,之前未发表过,目前也没有在其他地方考虑发表。我们确认所有列出的作者都已阅读并批准了该手稿,并且没有其他符合作者资格但未列出的人。我们进一步确认手稿中列出的作者顺序已得到所有人的批准。我们理解通讯作者是唯一的

    利益冲突声明

    作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:陈颖报告称获得了国家自然科学基金会的财务支持。如果有其他作者,他们声明没有已知的可能会影响本文报告工作的财务利益或个人关系。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号