ProPy:基于CLIP构建交互式且高效的提示金字塔,用于部分相关的视频检索

《Neural Networks》:ProPy: Building Interactive and Efficient Prompt Pyramids upon CLIP for Partially Relevant Video Retrieval

【字体: 大 中 小 】 时间:2026年05月13日 来源:Neural Networks 6.3

编辑推荐:

  易攀|张玉佳|迈克尔·坎普夫迈耶|赵晓光摘要部分相关视频检索(PRVR)是一项实用但具有挑战性的任务,它涉及根据仅与特定片段相关的查询来检索视频。虽然现有的研究工作遵循开发模型来处理单模特征的范式,但像CLIP这样的强大预训练视觉语言模型在该领域仍未被充分探索。为了填补这一空白,

  
易攀|张玉佳|迈克尔·坎普夫迈耶|赵晓光

摘要

部分相关视频检索(PRVR)是一项实用但具有挑战性的任务,它涉及根据仅与特定片段相关的查询来检索视频。虽然现有的研究工作遵循开发模型来处理单模特征的范式,但像CLIP这样的强大预训练视觉语言模型在该领域仍未被充分探索。为了填补这一空白,我们提出了ProPy,这是一个针对PRVR专门设计的、对CLIP架构进行了系统化调整的模型。ProPy从多粒度事件的语义相关性中获得了灵感,引入了三项关键创新:(1)一个提示金字塔框架,该框架以金字塔结构组织事件提示,从而在多个粒度层次上捕捉语义;(2)一种分层采样的两阶段事件采样策略,该策略在保持表示能力的同时减少了内存使用;(3)一种基于金字塔的祖先-后代交互机制,该机制实现了事件之间的动态语义交互。凭借这些设计,ProPy在三个公共数据集上取得了最佳性能,显著超越了之前的模型。代码可在以下链接获取:https://github.com/BUAAPY/ProPy。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号