FrameGrapher：通过帧增强技术提升视觉-语言模型的视频理解能力

《Expert Systems with Applications》：FrameGrapher: Frame-Augmented Vision-Language Models For Effective Video Understanding

针对视频问答中传统方法依赖任务数据和计算成本高、MLLMs模态适配与推理成本大的问题，提出FrameGrapher框架。通过颜色和结构差异检测自动选择关键帧，构建帧间语义关系图，结合LLM进行上下文推理，实现零样本训练的跨域高效视频理解。实验表明其平均准确率较SOTA方法提升2.0%，代码开源。

　　

Xianzhi Ma|Jianhui Li|Changhua Pei|Yingchao Piao

中国江苏省苏州市南京大学空间地球科学研究所，215163

摘要

多模态大语言模型（MLLMs），如Video-LLaMA，在视频理解任务中表现出色。然而，其高昂的训练和推理成本阻碍了其广泛应用。为了解决这个问题，现有方法从视频中采样帧并将其作为视觉语言模型（VLMs）的提示，这对于基于问题的视频理解来说更具成本效益。然而，基于视频帧的VLMs在视频理解方面的准确性仍然不尽如人意。在本文中，我们提出了FrameGrapher（FG）方法，通过提取与问题相关的一系列关键帧来提升VLMs在视频理解方面的性能。我们不是采用均匀采样，而是从预先选定的关键帧中构建一个关键帧图，这些关键帧在颜色和结构上与相邻帧有所不同。通过迭代图学习方法对帧表示和关键帧关系进行优化，从而能够为每个查询快速选择高度个性化的关键帧序列，并将其作为上下文输入传递给VLM，从而提高其性能。广泛的实验表明，FrameGrapher在多个基准测试中超越了当前最先进的视频理解方法。代码和数据集可在以下链接获取：https://github.com/XianZhi-Ma/FrameGrapher。

引言

数字时代导致了视频数据量和多样性的激增，从而增加了对有效视频理解技术的需求（Huang, Xin, Qian, Dong, 2025; Liu, Liu, Zhang, Chen, Liu, He, 2025; Tao, Wang, Hao, Jian, Xiao, Zhimeng, Jingyuan, Zhou & Zhongfei, Woo, Noh, Kim, 2026; Xi, Shi, Sun, Zhang, Li, Wu, 2025）。当前的视频理解方法大致可以分为两类：传统的基于深度学习的方法，以及包含视频模态的多模态大语言模型（MLLMs）。基于传统深度学习的视频理解方法具有快速推理的优势，能够实现合理的视频理解性能（Luo, Pan, Cao, Wang, Le, Liu, 2025; Qaroush, Jubran, Olayyan, Qutait, 2025; Yang, Liu, Zhou, Guan, Qin, Song, Zhao, Wang, Gao, 2025; Zeng, Wang, Liao, Li, Xu, Man, Liu, Xu, 2024; Zhao, Yao, Hu, Xie, Zhang, Wang, Li, Zhou, Zhou, Wang, Yu, 2025）。这些方法严重依赖于特定任务的训练数据，这使得训练过程既耗时又在计算上成本高昂，而且产生的模型在跨领域迁移能力方面有限（Wang, Liu, & Zhao, 2024a）。

随着Flamingo（Alayrac等人，2022年）的发布，具有视频模态的MLLMs逐渐开始取代传统的视频理解框架，因为它们具有领域泛化和上下文适应能力。然而，尽管MLLMs在视频理解任务中表现出了良好的性能，但其训练和推理成本很高，这限制了它们在所有场景中的应用（Ma, Li, Pei, & Liu, Shu, Liao, Zhang, Zhuo, Xu, Zhang, Shi, Chan, Zhong, Yu, He, Fu, Li, Liu, Li, Jiang, 2025; Wu, Cai, Ji, Li, Huang, Luo, Fei, JIANG, Sun, Ji, 2024b）。

最近，提出了一种高效的替代方案（Han, Guo, Tang, He, Wu, & Wang, Kim, Choi, Lee, Rhee, 2024; Wu, Xu, Gao, Gan, Chen, Lai, Gang, Kang, & Dehghan），该方法仅利用预训练的视觉语言模型（VLMs）进行无需训练的视频理解和问题回答，无需任何微调。这种方法不仅克服了传统方法在泛化性能和数据依赖性方面的限制，还减轻了MLLMs的资源消耗和部署复杂性，使其成为当今最具潜力的视频理解解决方案之一。无需训练的视频LLMs只需要从视频中采样一定数量的帧，并对这些帧进行低成本处理，即可在各种视频理解任务中实现显著的零样本性能。

然而，如图1所示，当前的无需训练的视频理解方法仍然存在两个主要限制：

•

均匀下采样：它们对视频进行均匀下采样以获得一系列帧（例如，IG-VLM（Kim等人，2024年）均匀采样6帧）。这种方法无法捕捉所有关键事件，特别是在长而复杂的视频中，从而影响理解的深度和准确性，并导致模型在变化迅速的场景中表现不佳（Tang, Ding, Wu, Ren, Sebe, Rota, 2023; Xu, Gao, Gan, Chen, Lai, Gang, Kang, & Dehghan）。

•

融合不足：这种提取的帧忽略了问题、提示和视频帧之间的复杂交互，从而影响连贯性和理解能力，在处理长而复杂的视频中的问题时面临重大挑战（Ye等人，2023）。

为了解决这些限制，我们提出了FrameGrapher（FG），这是一种基于查询条件的视频理解方法，通过提取与给定问题相关的一系列关键帧来提升VLMs在视频问答（VideoQA）中的性能。首先，我们通过根据相邻帧之间的颜色和结构差异来选择关键帧，解决了均匀帧选择导致的缺失关键事件的问题，为图建模和VLM视频理解选择了明显不同的帧。其次，我们提出了一种帧图，这是一种将图结构融入基于大型语言模型（LLM）的模型的新视频理解框架。该方法表示了关键帧、帧和问题之间的语义联系，增强了模型解释复杂视频的能力。评估结果表明，FrameGrapher在四个基准测试中的平均准确率比当前最先进的预训练MLLMs高出2.0%。

本文的贡献总结如下：

•

FrameGrapher方法的引入表明，精心设计的帧检索和选择机制可以显著提升VLM在视频理解任务中的性能，为新的优化路径提供了借鉴。

•

通过创建创新的帧图，我们成功克服了现有帧采样方法的局限性，考虑了问题与帧之间的内在语义联系以及帧之间的关系。

•

我们进行了彻底的实验来评估性能并分析每个具体设计细节的贡献。

本文的结构如下：第1节介绍了本文的研究背景。第2节介绍了与本研究相关的具有视频模态的MLLMs和关键帧选择工作。第3节详细描述了所提出的模型。第4节分析了实验设置和结果。第5节总结了研究并指出了未来的研究方向。

相关工作

相关工作

具有视频模态的MLLMs：大多数包含视频模态的MLLMs采用可训练的模态适配器框架，该框架将各种特定模态的编码器连接到LLMs上，形成了MLLMs的主流架构。MovieChat（Song等人，2024a）利用长短期记忆和滑动窗口来降低长视频理解的计算和内存成本。Video-ChatGPT（Maaz, Rasheed, Khan, & Khan, 2024）在100K视频指令对上进行微调，并引入了第一个

方法论

FrameGrapher的结构和过程如图2所示。FrameGrapher的主要过程包括颜色-结构选择（CS-Pick）和图-查询帧合并（Graph-QFM），这些将在本节中详细描述。图2中的视觉文本编码器和VLM都使用了冻结的预训练权重，避免了任何训练，减少了计算开销和资源需求，降低了视频理解模型的部署复杂性。

实验设置

实施细节：所有实验都在单个NVIDIA 80G A100 GPU上进行。FrameGrapher中的视觉文本编码器使用CLIP-L/14，而使用的VLM是LLaVA-v1.6-7B（Liu, Li, Wu, & Lee, 2023）。选择CLIP-L/14作为视觉编码器的主要原因是LLaVA v1.6也使用了CLIP-L/14，确保了视觉和文本特征之间的强对齐，从而避免了因领域差异可能对性能产生的负面影响。FrameGrapher是一个无需训练的

结论

本研究提出了FrameGrapher，这是一个基于VLMs的端到端的零样本视频理解框架，无需任何训练。通过CS-Pick和Graph-QFM引入了基于问题的图结构，FrameGrapher捕获了关键帧之间的时间和语义关系，实现了有效的视频问答（VideoQA）推理。FrameGrapher在基于类似LLaVA框架的无需训练的方法中达到了最先进的性能

CRediT作者贡献声明

Xianzhi Ma：方法论、软件、数据整理、撰写——原始草稿、可视化。Jianhui Li：资源、撰写——审阅与编辑、可视化、监督、项目管理。Changhua Pei：撰写——审阅与编辑、可视化、监督。Yingchao Piao：撰写——审阅与编辑、可视化、监督。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。