EmbedTPR:基于冻结基础模型的异构证据重建与查询自适应融合的开放词汇文本人员检索方法

《Algorithms》:EmbedTPR: Reliability-Aware Reconstruction and Query-Adaptive Fusion for Open-Vocabulary Text-Based Person Retrieval

【字体: 大 中 小 】 时间:2026年10月14日 来源:Algorithms 2.6

编辑推荐:

   摘要

  

摘要

开放词汇基于文本的人员检索必须匹配包含可能不存在于特定任务训练数据中的概念的自然语言描述,同时控制不可靠的生成证据和推理成本。本文围绕冻结的基础模型骨干,将异构证据重建和掩码分支融合构建为一种可训练的检索流程。EmbedTPR 包含两个相互连接的可学习模块。统一异构证据重建 (UHER) 将图库侧生成的语义与视觉证据对齐,并估计属性可靠性;对于纯文本查询,语义路径在不使用视觉令牌的情况下运行,并利用生成一致性来校准查询属性。查询自适应一致证据融合 (QACEF) 通过检索 - 一致性 - 校准目标,预测文本查询可用的三个分支上的查询特定权重。可选的图到图分支是通用公式的一部分,但本研究未对其进行评估或声明。仅 50.15 亿参数中的 1520 万是可训练的。EmbedTPR 在 CUHK-PEDES 上获得了 49.66% 的 Rank-1 和 64.45% 的 mAP,在 ICFG-PEDES 上获得了 46.20% 的 Rank-1 和 58.30% 的 mAP,在 RSTPReid 上获得了 54.30% 的 Rank-1 和 68.10% 的 mAP。其在 CUHK-PEDES 上的 Rank-1 低于 CLIP ViT-L/14,而 Rank-5、Rank-10 和 mAP 则更高。从 CUHK-PEDES 到 ICFG-PEDES 的跨数据集迁移达到了 18.20% 的 Rank-1。在隔离的 FineGrained-1282 查询/标签评估清单上,可学习融合比固定权重提高了 4.04 个点的 mAP。组件移除、证据扰动以及 1k–10 万图库测试刻画了评估的准确性、鲁棒性和计算范围。这些结果支持用于文本查询人员检索的可靠性校准查询自适应融合;更广泛的多模态查询和开放世界泛化仍有待验证。源代码、配置文件、提示词和评估脚本将在录用后公开发布。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号