《Displays》：Retrieval Augmented video captioning with quality-aware re-ranking and cross-gating fusion
编辑推荐：
视频描述生成方法融合质量感知重排名和跨门融合模块，通过检索视频-文本对并优化排序与特征融合，构建多模态上下文示例指导生成，在MSR-VTT和MSVD上获最优性能。
程阳芳|建丽|谢一龙|江文辉|曾刚燕|李志轩|方宇明
江西财经大学计算机与人工智能学院，中国南昌，330000
摘要
视频字幕生成旨在为视频内容生成自然语言描述，但由于视觉和语言模态之间存在显著差异，这一任务仍然具有挑战性。大多数现有方法依赖于时空视觉特征，但往往无法完全捕捉标注视频字幕对中的所有视觉和句法信息，导致生成的描述不够自然，缺乏人性化。最近，检索增强生成（Retrieval-Augmented Generation）方法引入了外部知识来提高视频字幕生成的性能。然而，由于过度依赖视觉相似性，检索到的字幕往往包含噪声且不一致，这可能会反过来降低字幕的质量。此外，现有的检索增强方法主要依赖于仅文本的检索，忽视了视频模态的互补价值。为了解决这些问题，我们引入了两个核心模块：一个基于质量的重新排序模块，确保检索到的文本字幕具有高语言质量；以及一个跨门控融合模块，用于聚合和过滤检索到的视频特征。通过这两个模块，我们的方法可以处理检索到的视频特征，并将其与高质量的字幕结合，形成有效的多模态上下文示例。这些示例随后被格式化为结构化的提示，使模型在生成字幕时能够参考高质量的视频-文本示例，从而生成更准确、流畅且符合上下文的字幕。实验结果表明，我们的模型在MSR-VTT和MSVD数据集上达到了最先进的水平。
引言
视频字幕生成的目标是为视频内容生成准确且流畅的自然语言描述，这项技术对于视频理解、跨模态检索和辅助可访问性等应用至关重要。近年来，深度学习模型，特别是编码器-解码器架构，在这一领域取得了显著进展。现有方法主要将视觉特征作为输入，并专注于提取用于字幕生成的细粒度时空表示[1]、[2]、[3]、[4]。
尽管这些技术在定量指标上有所改进，但单一的编码器-解码器架构仍然难以全面捕捉训练数据中的所有视觉细节和句法结构。这一限制极大地限制了模型生成相关且描述性强的字幕的能力，尤其是在数据集中某些事件或句法模式出现频率较低的情况下[5]。
最近的研究[6]、[7]、[8]、[9]、[10]、[11]采用了大型语言模型（LLMs）和检索增强生成（RAG）技术，通过引入外部知识来改进视频字幕生成。通常，这些方法从大规模语料库中检索语义相关的字幕来指导解码过程。然而，直接将检索到的字幕应用于视频字幕生成是不可行的，因为存在两个主要限制。首先，视频字幕生成的核心任务是基于视频内容生成文本描述，这意味着检索增强必须使用视频本身作为查询。然而，主要依赖视觉相似性进行检索往往会导致噪声较多或语言质量较差的参考，从而影响生成字幕的流畅性和准确性。更重要的是，现有方法通常局限于仅文本的检索，而结合视频和文本对于指导字幕生成至关重要，因此未能充分利用多模态检索的优势。为了解决这些限制，我们设计了两个核心模块：一个基于质量的重新排序模块，确保检索到的文本字幕具有高语言质量；以及一个跨门控融合模块，用于聚合和过滤检索到的视频特征。通过这两个模块，我们的方法可以处理检索到的视频特征，并将其与高质量的字幕结合，形成有效的多模态上下文示例。这些示例随后被格式化为结构化的提示，使模型在生成字幕时能够参考高质量的视频-文本示例，从而生成更准确、流畅且符合上下文的字幕。实验结果表明，我们的模型在MSR-VTT和MSVD数据集上达到了最先进的水平。
传统视频字幕生成方法
早期关于视频字幕生成的研究主要遵循编码器-解码器架构范式。编码器的核心任务是从原始视频中提取有效的时空表示。许多工作致力于设计更强大的视觉骨干网络，例如基于3D卷积神经网络或视觉变换器（Vision Transformers）的网络[19]，以建模帧间和帧内关系[1]、[2]。除了骨干网络设计之外，还投入了大量努力
概述
如图1所示，我们的模型不仅保留了传统视频字幕模型的基本编码器-解码器架构，还创新性地结合了RAG技术，进一步增强了大型语言模型理解和描述视频内容的能力。
视频编码
我们的模型基于Video-LLaMA的视觉语言分支[12]构建，该分支包括一个预训练的图像编码器和一个预训练的Q-Former
实验设置
我们在两个广泛认可的基准数据集MSR-VTT[14]和MSVD[15]上进行了实验评估。MSR-VTT是一个大规模的视频字幕数据集，包含10,000个来自网络的视频片段和大约200,000个英文字幕，涵盖20个不同的类别，为模型评估提供了丰富多样的基础。MSVD数据集的规模相对较小，包含1970个来自YouTube的开放领域视频片段。为了评估我们的模型，我们使用了以下方法
结论
我们提出了一种新颖的检索增强视频字幕生成模型，通过引入两个关键模块——基于质量的重新排序和跨门控融合，有效利用了多模态检索知识：质量感知的重新排序模块和跨门控融合模块。该模型基于Video-LLaMA构建，其核心包括一个确保文本字幕质量的模块和一个用于构建多模态上下文示例的特征融合模块。在两个广泛使用的基准数据集上的广泛实验表明，我们的方法
资助
本研究得到了国家自然科学基金（资助编号：62562035；62132006；U24A20220）、江西省自然科学基金（资助编号：20252BAC200182；20242BAB23012）、江西省重点研发计划（资助编号：20252BCE310034）、江西省青年科学家和技术人员培养计划（资助编号：20252BEJ730121）以及江西省双千计划（资助编号：jxsq2023101092）的支持
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
