TECL:用于弱监督 grounded 视频问答的时间等变对比学习
《Knowledge-Based Systems》:TECL: Time-Equivariant Contrastive Learning for weakly-supervised Grounded Video Question Answering
【字体:
大
中
小
】
时间:2026年07月31日
来源:Knowledge-Based Systems 8.0
编辑推荐:
摘要
基于证据的视频问答任务要求模型不仅能回答与视频相关的问题,还能识别出支撑答案的时间片段。在弱监督环境中,精确的时间边界并不可得,模型往往依赖虚假的时间相关性,从而导致有偏或不准确的答案生成。为解决这一问题,我们提出了TECL——一种时间等变对比学习框架,该框架促使答案预
摘要
基于证据的视频问答任务要求模型不仅能回答与视频相关的问题,还能识别出支撑答案的时间片段。在弱监督环境中,精确的时间边界并不可得,模型往往依赖虚假的时间相关性,从而导致有偏或不准确的答案生成。为解决这一问题,我们提出了TECL——一种时间等变对比学习框架,该框架促使答案预测在小幅循环时间滚动下保持一致,从而有效避免时间捷径学习。为进一步稳定分布式监督,我们引入了带宽度正则化的密集高斯定位头,该设计能够实现精确的时间定位,并抑制过于分散、不变异的分布。此外,TECL还加入了跨视图对比对齐作为辅助目标,以保持变换后的语义一致性。在NExT-GQA上的实验表明,TECL提升了模型在中等程度扰动下的问答性能和时间定位鲁棒性;而在STAR上的额外实验则进一步证明了其在另一视频推理基准测试中的有效性。
引言
视频问答任务已成为多模态理解领域的核心内容,它要求视觉语言模型对动态视频内容进行复杂的时空推理[1][2]。尽管在答案准确性方面已取得显著进展,现有模型仍往往依赖语言先验或视觉偏差,这会影响其可信度。为提升可解释性和可靠性,基于证据的视频问答任务进一步要求模型不仅能正确回答问题,还要精确定位支撑其推理的时间片段[3][4]。由于密集帧级标注的成本高昂,弱监督学习已成为主流方法[5]。然而,如NExT-GQA这类数据集在训练数据中缺乏精确的时间边界,迫使模型仅依靠问答分类损失作为监督依据。在没有直接时间引导的情况下,模型容易陷入捷径学习[6],往往过度拟合于虚假的时间相关性,而非真正捕捉动态视觉语义[7]。当视频的时间结构发生改变时,这些模型无法调整其预测结果,暴露出其对时间动态理解的局限性[8][9]。图1展示了数据集中证据的时间分布以及模型预测结果。真实数据的覆盖范围(图1b)涵盖了较宽的时间段,包含不同持续时间和位置的事件;而基线模型(图1c)的分布则较为狭窄,集中在时间轴的后半部分,表明其过度依赖静态位置偏差。这一现象促使我们确立了核心目标:引导时间定位遵循语义运动而非绝对时间戳。
为在无需手动标注的情况下应对这一挑战,我们从自监督表示学习中获得灵感。在计算机视觉领域,旋转和裁剪等变换常被用于学习稳健的特征[10];在自然语言处理中,轻微的词序调整虽会改变表面形式,但不会完全消除潜在语义。受此启发,我们为视频引入了小范围循环时间平移(时间滚动)作为一种可控扰动。尽管此类时间偏移可能在事件边界附近带来一定的语义扭曲,但在小幅度情况下仍能保留局部时间结构,同时改变事件的绝对时间位置。这使得时间滚动成为弱监督场景下合适的对比信号,因为它能促使模型减少对静态位置线索的依赖,更多依靠时间上一致的视觉证据。基于时间滚动,我们引入了一种基于时间等变原理的几何自监督信号。具体而言,当输入视频被循环平移δ时长后,预测的定位分布也应随之变化,同时高层语义表示在不同视角下保持一致[11]。由于这种假设仅在小幅时间偏移下才近似成立,TECL将时间滚动视为可控的对比信号,而非精确的语义保持变换。通过这种方式,模型被引导根据视频内容而非绝对时间位置来跟踪事件,从而减少时间捷径学习。
基于上述理念,我们提出了时间等变对比学习(TECL),这是一种用于弱监督基于证据的视频问答任务的自监督框架。TECL通过时间滚动构建两个互补的训练目标:(1)分布等变损失,用于使平移后视频的定位分布与原始视频的变换后分布保持一致;(2)时间不变损失,通过对比学习保持聚合视频特征的语义一致性。为使这种分布式对齐更加稳定且可微分,我们采用了密集高斯风格的定位机制,而非刚性的区间回归,并进一步对预测的跨度宽度进行正则化,以抑制过于分散、不变异的解。这样的设计为弱监督下的等变定位提供了更适宜的优化空间。
我们的主要贡献如下:
• 我们为弱监督基于证据的视频问答任务引入了时间等变监督机制。通过小范围循环时间滚动,TECL促使定位预测随时间变换而保持一致,从而缓解由静态位置偏差导致的捷径学习问题。
• 我们证明了分布式定位优化对时间等变学习具有积极作用,而宽度正则化则是稳定弱监督环境下定位结果的简单有效方法。
• 我们加入了辅助的跨视图对比对齐目标,以保持时间平移后视图之间的语义一致性,进一步提升训练过程中的表示鲁棒性。
• 在NExT-GQA上的大量实验表明,TECL在中等程度时间扰动下提升了模型的问答性能和鲁棒性;在STAR上的额外实验则进一步证明了其在另一种视频推理场景中的有效性。定性和定量分析还显示,与匹配的NG+基线相比,TECL能使模型与真实证据的对齐程度得到改善。
章节节选
弱监督基于证据的视频问答
视频问答任务已从单纯的答案预测发展为更可靠、更具可解释性的推理任务,模型不仅需要预测正确答案,还需识别出支撑该答案的视觉证据。这一趋势推动了基于证据的视频问答研究的发展,这类研究也被称为视频问题定位,其明确要求判断预测答案是否由相关时间证据而非虚假线索支撑[12][13]。
概述
弱监督基于证据的视频问答任务要求模型在训练过程中没有时间边界标注的情况下,不仅能正确回答问题,还能识别出支撑答案的时间证据[12]。如图2所示,我们的框架遵循标准的基于证据的视频问答流程:首先使用基于RoBERTa的文本编码器对问题进行编码[32],再利用预提取的CLIP视觉特征表示视频[33],最后模型同时处理原始视频与经过处理的视频特征。
BaselineVGT[34]采用图Transformer来捕捉视频中的时空对象信息,并通过双重结构机制对视频和文本特征进行对齐,用于视频问答任务。Temp[Swin]、Temp[CLIP]和Temp[BLIP][12]均采用相同的双流架构,不同之处在于其所使用的视觉编码器:分别是经过ImageNet预训练的Swin Transformer、CLIP-ViT和BLIP-ViT。对于这些并非专为定位任务设计的模型,我们采用了NExT-GQA的设置,并分别使用相应的编码器。
结论
本文针对基于证据的视频问答任务中普遍存在的虚假时间相关性问题,提出了一种时间等变对比学习(TECL)框架。与依赖静态回归的现有方法不同,TECL引入了自监督的时间滚动任务,促使模型学习时间等变的视觉表示,从而使预测分布与视频内容同步变化。结合密集高斯风格的定位头及宽度正则化机制,TECL进一步提升了模型的性能。
CRediT作者贡献声明
刘文哲:撰写——初稿、可视化、软件、方法论、形式分析、概念设计。朱振芳:撰写——审阅与编辑、验证、监督、资源协调、项目管理、资金获取。卢强:撰写——审阅与编辑、验证、项目管理。张胜泰:验证、研究分析。赵亮:撰写——审阅与编辑、验证。赵大为:验证、研究分析。蒋新宇:撰写——审阅与编辑、验证。
利益冲突声明
作者声明不存在任何可能影响本文工作的已知财务利益或个人关系。
致谢
本研究部分得到了国家自然科学基金委员会项目62506215的支持,部分得到了山东省自然科学基金项目ZR2025QC661的支持,部分得到了山东省社会科学规划研究项目25BYYJ01的支持,部分得到了中国教育部人文社会科学研究青年基金项目24YJC740057和25YJC740031的支持,还有部分得到了济南市“20所新建高校”项目的支持。
刘文哲|朱振芳|卢强|张胜泰|赵亮|赵大为|蒋新宇|朱梦琳|王燕
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号