多提问、多聚焦:用于双可控视频字幕生成的不确定性分配方法(Question-Prompt Uncertainty Allocation for Dual-Controllable Video Captioning)
《Pattern Recognition》:Ask and Focus More: Question-Prompt Uncertainty Allocation for Dual-Controllable Video Captioning
【字体:
大
中
小
】
时间:2026年01月16日
来源:Pattern Recognition 7.6
编辑推荐:
针对现有可控视频描述方法依赖预定义实体和静态融合策略的局限性,提出QPDC框架,通过问题提示机制动态引导模型关注关键内容,结合选择性融合模块和基于Dirichlet分布的多模态不确定性建模,实现多粒度可控融合,实验表明QPDC在MSVD和MSR-VTT数据集上生成描述更具多样性和用户偏好。
陈书勤|杨星瑞|陈毅|王凯|于晓涵|钟贤
摘要 视频字幕生成的目标是通过分层架构从视频内容中生成自然语言描述,这些架构能够捕捉关键的视觉元素。尽管实体、谓词和句法结构对于连贯的描述至关重要,但现有的可控方法通常由于依赖于预定义的实体列表和静态融合策略,难以动态地突出显示重要信息。此外,多模态特征(例如视觉动作和文本语义)对齐的不确定性进一步削弱了模型的鲁棒性。为了解决这些挑战,我们提出了QPDC,这是一个双可控的视频字幕框架,它引入了问题提示(Question-Prompt)机制来动态引导字幕的焦点。与传统基于实体的方法不同,QPDC采用统一的问句提示策略,在保持语义一致性的同时允许灵活地调整关注点。具体来说,问题提示(Q-Prompt)模块根据查询意图动态调整模型的关注点,突出显示重要内容,而无需预先定义的约束。选择性融合模块(Selective Fusion Module,SFM)将Q-Prompt的引导与局部动作特征和全局句子上下文分层集成,以支持多粒度控制。此外,还采用基于狄利克雷(Dirichlet)的策略来建模多模态权重分配的不确定性,从而在变化的数据条件下提高模型的适应性。在
MSVD 和
MSR-VTT 上的广泛实验表明,QPDC在可控视频字幕方法中表现出了竞争力的性能,并产生了更多多样化和用户更喜欢的描述。代码将在
https://github.com/XiaotaiCHEN/QPDC.git 处提供。
引言 视频字幕[1]旨在从视频中自动生成自然语言描述,已被广泛应用于帮助视障人士、增强人机交互以及支持视频检索。然而,在没有明确上下文约束的情况下,传统的视频字幕模型倾向于生成主要由主导视觉内容驱动的相对固定的描述。尽管大型语言模型最近取得了进展,但视频字幕仍然具有挑战性,因为视频通常包含复杂多样的信息,其中只有少量(例如两三个关键元素)对简洁且有信息的描述是相关的。
可控视频字幕(Controllable Video Captioning,CVC)通过引入明确的控制条件(例如问题或指令)来扩展这一范式,以生成满足用户特定意图的定制化和多样化的描述。近年来,CVC作为灵活和以用户为中心的视频理解方向,受到了越来越多的关注。CVC的一个核心挑战在于检测和整合聚焦的动作和语义。现有方法大致可以分为两类。第一类依赖于基于图的编码器来建模对象之间的空间和时间关系。例如,Chen等人[2]设计了一个时空图框架,其中包含循环区域注意力、跨帧信息传递和时间图解码器,以无需外部检测器即可捕捉高阶关系。然而,如[3]中所观察到的,这些方法通常生成通用描述,缺乏突出特定兴趣点或叙事模式的细粒度可控性。为了解决这个问题,已经探索了基于谓词的特征选择和门控融合机制,以在不同的控制信号下支持多样化的生成。
第二类方法侧重于在生成之前减少视频表示和语言字幕之间的语义差距。例如,GSEN[4]将全局视觉内容与字幕语义对齐,而IVRC[5]在字幕监督下对对象级、动作级和事件级特征进行多粒度编码。尽管这些方法研究了局部词对齐和全局句子对齐,但它们很少解决细粒度动作和粗粒度上下文语义之间的跨粒度对齐问题。因此,代表性的视频嵌入可能仍然会忽略详细的动作或更广泛的场景级线索。我们认为,问题提示提供了一种有效的方法来通过明确引导跨粒度对齐来弥合这一差距。值得注意的是,问题-答案对是视觉问答(Visual Question Answering,VQA)的核心,它整合了视觉理解和语言推理。虽然视频字幕和VQA共享共同的建模组件[6],但我们利用问题不是作为需要回答的查询,而是作为引导模型关注相关视觉信息的提示。
先前的研究表明,问题驱动的监督可以促进文本生成。然而,现有的视频字幕方法在视觉特征学习过程中往往缺乏足够的文本指导,问题与视觉实体之间的关系也尚未得到充分探索。例如,Hu等人[7]引入了一个问题提示编码器,从光学字符识别(OCR)区域选择相关视觉特征,并设计有针对性的问题来指导字幕生成。然而,对OCR特征的强烈依赖可能会导致捷径学习。相比之下,我们的方法不依赖于预先提取的OCR线索,而是专注于生成公平意识强的问题,以更一般地引导视觉注意力。如图1所示,先前方法生成的字幕可能无法识别出显著属性(例如“高个子男人”)或关键动作(例如在“游泳池”中的动作)。从这个角度来看,视频字幕可以被视为回答一个隐含的问题:“这个视频描述了什么?”因此,高质量的字幕应该能够响应关于视频的一系列相关查询,即使在没有明确视觉输入的情况下也是如此。
在这项工作中,我们提出了QPDC,这是一个基于编码器-解码器的双可控视频字幕框架,它利用BLIP驱动的问题、选择性融合模块(SFM)和全面的焦点建模。QPDC通过回答与视频相关的问题来生成字幕,从而减少遗漏和语义错误。具体来说,我们从视频和人类编写的字幕中生成视觉问题,并将它们整合到一个专门的问题提示(Q-Prompt)字幕模型中。为了在对齐不确定性下提高鲁棒性,我们引入了可分支调整的监督机制,允许不同分支(例如实体分支和动作分支)根据输入特征动态调整它们的贡献。编码器共同处理视频内容和问题,然后是对齐模块进行特征融合,而解码器根据整合的表示生成字幕。这种设计可以根据问题上下文动态强调特定动作或全局语义。此外,融合模块支持样本自适应的多模态集成,无需额外的计算开销,并通过可学习的狄利克雷分布进行证据级融合。
本文的主要贡献总结如下:
• 我们提出了QPDC,这是一个双可控的视频字幕框架,它通过统一的句子级建模范式整合了与问题兼容和可分支调整的监督。
• 我们设计了一个问题提示(Q-Prompt)机制和一个选择性融合模块(SFM)来提高可控性。Q-Prompt生成具有全局和局部语义的BLIP驱动问题,而SFM则自适应地选择适当的分支来支持定制化和多样化的字幕生成。
• 我们引入了一种基于证据建模的样本自适应多模态集成策略,实现了明确的不确定性表征,并在噪声或降级条件下提高了鲁棒性。
部分摘录 视频字幕 早期的视频字幕方法主要是基于模板的,通过检测视觉概念(如对象、关系和属性)并使用预定义的语法结构(例如主语-动词-宾语)来组成字幕。随着编码器-解码器框架的出现,MesNet[8]引入了记忆共享机制来加强循环连接,而MAN[9]通过可学习的视觉记忆向量增强了编码器,并在解码器中结合了外部语言线索。
提出的方法 如图2所示,给定一个视频,我们均匀采样K个关键帧,并分别使用预训练的Faster R-CNN[39]和InceptionResNetV2[40]提取对象区域和2D外观特征P。通过外观相似性和交并比(IoU)对对象进行聚类和池化,以获得初始对象特征D。此外,收集每个关键帧周围的相邻帧形成3D长方体,然后通过预训练的C3D[41]提取运动特征M。
实验设置 我们在两个广泛使用的视频字幕基准测试上评估了我们的方法。MSR-VTT [44]包含6,513个训练片段、497个验证片段和2,990个测试片段(每个片段15秒),每个片段有20个人工注释的字幕,涵盖20个类别。MSVD [45]包括1,970个YouTube视频,每个视频最多有40个英文字幕,分为1,200/100/670用于训练/验证/测试。按照标准做法,我们报告BLEU-4(B-4)、METEOR(M)、CIDEr(C)和ROUGE(R)指标。
对于每个视频,我们采样15个连续的片段,每个片段16秒。
结论 在本文中,我们提出了QPDC,这是一个双可控的视频字幕框架,它整合了问题提示(Q-Prompt)和选择性融合模块(SFM)来生成精确且语义聚焦的字幕。Q-Prompt利用基于BLIP的提示编码来引导注意力关注重要内容。在MSVD 和MSR-VTT 上的实验证明了QPDC的有效性,定性结果进一步证实了在可控输入下语义基础的改进。
我们注意到,目前的
CRediT作者贡献声明 陈书勤: 写作——审阅与编辑,原始草稿的撰写。杨星瑞: 验证。陈毅: 资源,方法论。王凯: 可视化。于晓涵: 监督,形式分析。钟贤: 监督。
利益冲突声明 作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
致谢 本工作部分得到了中国国家自然科学基金(项目编号62271361)、湖北省自然科学基金(项目编号2023AFB206)、湖北省重点研发计划(项目编号2024BAB039)以及湖北省基础教育信息技术服务协同创新中心(项目编号OFHUE202305)的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号