《Pattern Recognition》:Temporal grounding of Video Large Language Model via holistic event perception and matching
编辑推荐:
•我们引入一个特殊的 token,用于聚合查询事件所有帧的信息,从而保留语义的连续性和完整性,以实现准确的匹配。•我们引入 Savitzky-Golay 平滑技术,以抑制 token 与帧之间相似度的噪声和突变,显著提升了预测精度。•我们利用多粒度帧特征来增强匹配
- •
我们引入一个特殊的 token,用于聚合查询事件所有帧的信息,从而保留语义的连续性和完整性,以实现准确的匹配。
- •
我们引入 Savitzky-Golay 平滑技术,以抑制 token 与帧之间相似度的噪声和突变,显著提升了预测精度。
- •
我们利用多粒度帧特征来增强匹配的可靠性,并补偿视觉压缩所导致的信息损失。
- •
大量实验表明,E.M.Ground 在时间定位任务中表现出色,在单事件和边界完整性任务上尤为突出。
引言
视频大语言模型(Vid-LLMs)[1]、[2]、[3]、[4] 在通用视频理解方面取得了重大进展,包括通用问答 [5]、[6]、[7]、[8]、[9] 和视频描述生成 [10]、[11]、[12]。然而,这些模型在时间视频定位(TVG)[6]、[13] 这一细粒度任务上仍面临挑战,该任务要求对查询事件进行精确的时间戳定位 [14]、[15]。TVG 对于帮助用户快速定位目标片段并进行深度分析至关重要,而无需手动搜索整个视频 [16]。
文献中已探索了多种具有代表性的 TVG 框架。传统方法将 TVG 建模为跨模态时间片段定位问题,包括基于候选片段的方法 [13]、基于时间图的方法 [17] 和基于检测的方法 [18]。随着 Vid-LLMs 的发展,近期研究尝试通过直接生成文本时间戳 [14]、[15]、[19]、[20] 或引入显式时间表示(如特殊时间 token 和轻量级时间解码器)[16]、[21]、[22]、[23]、[24] 来解决 TVG 问题。这些方法提升了时间感知能力,但由于 LLM 数值推理能力的局限性 [25]、密集时间表示的计算开销以及长视频建模的难度 [26]、[27],准确的时间戳预测仍然具有挑战性。
不同于直接生成文本时间戳或从显式时间表示中解码时间边界的方法,E.T.Chat [6] 提出了一种 token 与帧匹配策略。它通过将两个特殊边界 token 与帧级视觉特征进行匹配来预测时间边界(参见图 1(a))。具体而言,E.T.Chat 监督两个特殊 token 分别与起始和结束边界帧进行匹配。然而,先前的 TVG 研究表明,时间上下文和相邻片段的关联对于定位完整事件至关重要 [17]、[18]。相比之下,在这种以边界为中心的 token 匹配方式中,构成事件语义主体的中间帧并未被显式地建模为一个连贯的事件。在推理阶段,预测的边界由 token 与帧的相似度峰值进一步确定,而相邻帧之间的局部波动可能对此产生敏感影响。这一问题在长视频中更为突出,因为激进的视觉压缩可能会丢弃细粒度的时间证据 [23]、[28]。如图 1(b) 所示,并在图 3 和图 4 中进一步分析,E.T.Chat 在较长事件上的性能有所下降,并产生了更多与边界相关的定位错误。这一观察强调了开发一种能够感知查询事件整体且连贯语义的方法的必要性。
为此,我们设计了 E.M.Ground,一种新颖的时间定位 Vid-LLM,从整体且连贯的感知视角来匹配查询事件。E.M.Ground 包含三项匹配设计。第一,它引入一个统一的 token 来表示整体的查询事件,该 token 被训练以匹配真实事件范围内的所有帧。此设计保留了查询事件的语义连续性和完整性。第二,它引入 Savitzky-Golay 平滑技术 [29](一种在信号处理领域广泛使用的技术 [30]、[31]、[32]),以在推理阶段抑制相邻帧之间 token 与帧相似度的噪声和突变。第三,它聚合多粒度帧特征,以补偿激进视觉压缩所导致的信息损失。大量实验表明,E.M.Ground 有效缓解了先前匹配方法的局限性 [6],在各种 TVG 任务上取得了一致的性能提升,并在不同长度的视频上表现出稳健的结果(参见图 1(b))。
我们的贡献可以总结为以下三个方面:第一,我们揭示了以边界为中心的时间戳匹配策略 [6] 的一个根本局限性:独立地匹配起始帧和结束帧无法显式地建模完整事件的语义连续性和完整性。据此,我们引入了整体事件感知与匹配的原则。第二,我们在 E.M.Ground 中将该原则具体化,通过将统一的 token 与查询事件范围内的所有帧进行对齐,聚合多粒度视觉特征,并应用 Savitzky-Golay 平滑以抑制噪声响应波动。第三,大量实验表明,E.M.Ground 有效解决了以边界为中心的匹配方法的局限性,取得了强劲的整体性能,特别是在单事件定位和边界完整性任务上表现突出。
章节摘录
时间视频定位
时间视频定位(TVG)旨在定位视频中与自然语言查询相对应的时间片段 [13]。传统 TVG 方法可大致分为三类范式。(i) 基于候选片段的方法生成候选时间片段并根据其与查询的跨模态相关性进行排序 [33]。这些方法受益于显式的片段级比较,但其性能严重依赖于候选片段的质量和密集候选片段的生成。(ii)
方法
所提出的 E.M.Ground 如图 2 所示。本节将详细阐述以下三个主要设计:(i) 利用多粒度视觉特征增强表示能力,(ii) 引入整体且连贯的事件匹配以提升定位精度,以及 (iii) 采用 Savitzky-Golay 平滑以优化预测片段。
时间视频定位(TVG)
时间视频定位(TVG)需要确定查询事件在给定视频中的起始和结束时间戳 [13]。我们采用了两个 TVG 数据集:Charades-STA [13] 和 E.T.Bench [6] 的相关子任务(即,TVG、EPM、TAL 和 EVS)。E.T.Bench [6] 中的某些子任务包含多个目标片段,需要对 LLM 生成的响应进行后处理。为保证公平比较,我们严格遵循与 E.T.Chat [6] 相同的处理方式。在训练过程中,模型学习生成一个
结论
在本工作中,我们提出了 E.M.Ground,一种基于视频大语言模型(Vid-LLMs)的新颖时间视频定位(TVG)方法。通过将时间戳预测重新建模为统一 token 表示下的事件匹配任务,E.M.Ground 克服了传统时间戳匹配方法在捕捉查询事件语义连续性和完整性方面的局限性。为进一步增强时间定位能力,我们引入了多粒度视觉特征聚合并应用了
CRediT 作者贡献声明
聂嘉豪:写作—初稿撰写、软件、方法论。安文斌:写作—审阅与编辑、软件、资源。张公杰:形式化分析、概念化。徐一程:资源、形式化分析、概念化。Yap-Peng Tan:指导。Alex C. Kot:指导。Shijian Lu:指导、项目管理、经费获取。
利益冲突声明
作者声明不存在可能影响本文所报告工作的已知竞争财务利益或个人关系。
致谢
本研究由 南洋理工大学跨学科研究生项目 和 新加坡教育部 在 Tier-2 计划(项目编号:MOE-T2EP20123-0003)框架下资助。
聂嘉豪 | 安文斌 | 张公杰 | 徐一程 | Yap-Peng Tan | Alex C. Kot | Shijian Lu