Coffee-Mate：通过自蒸馏技术辅助关键帧选择，以提升视频问答系统的性能

《Pattern Recognition》：Coffee-Mate: Assisting keyframe selection via self-distillation for video question answering

视频问答中关键帧选择方法存在缺乏监督和时空信息不全的问题，本文提出Coffee-Mate方法通过自蒸馏策略，让教师模型处理完整帧指导学生模型选择关键帧，结合多级蒸馏损失和分段帧选择策略，显著提升视频理解能力，实验验证其有效性。

　　

Bowen Yuan | Sisi You

南京邮电大学，210003，中国

摘要

视频问答（VideoQA）旨在从给定的问题-视频对中推断出精确的答案。现有方法使用均匀采样的帧和连续帧中的关键帧选择，但均匀采样容易错过与问题相关的关键视觉线索。尽管关键帧选择方法可以筛选出与问题相关的帧，但它们（1）缺乏对关键帧的监督，依赖于固定的帧选择模块或帧与问题之间的注意力分数，这阻碍了模型接收反馈以改进关键帧选择；（2）忽视了保持全面时间覆盖的重要性，由于时间信息不完整，难以进行因果和时间推理。为此，我们提出了Coffee-Mate（CoMa），通过自我蒸馏来辅助视频问答中的关键帧选择。首先，我们引入了一种从多到少的自我蒸馏策略，其中学生模型使用选定的关键帧输入（较少），从教师模型（较多）中提取知识。教师模型更丰富和完整的时间上下文作为自我监督的指导，确保保留对连贯事件叙述至关重要的帧。其次，我们引入了多层次蒸馏损失，以鼓励学生模型从教师模型中继承与问题相关的理解。第三，我们提出了分段帧选择方法，以获得最相关的帧，该方法重新利用教师模型来选择与问题相关且具有全面时间相关性的帧。在6个基准数据集上的广泛实验表明，我们的方法优于现有方法。此外，即使不使用帧选择，从多到少的自我蒸馏方法也能取得显著改进，证明了其在提高视频理解方面的有效性。代码可在以下链接获取：https://github.com/yuanrr/Coffee-Mate。

引言

视频问答（VideoQA）旨在从给定的问题-视频对中推断出精确的答案。大型语言模型（LLMs）的最新进展[1]、[2]显著提高了多模态大型语言模型（MLLMs）[3]、[4]的性能。通过利用MLLM强大的多模态理解能力，开发出了视频-语言模型[5]、[6]、[7]、[8]、[9]，显著提升了视频理解和视频问答性能。

通常，大多数基于LLM的视频问答模型[3]、[6]、[9]将视频视为一系列随机或均匀采样的图像。虽然这些模型在短视频片段（例如3-15秒）上表现良好，但在较长视频（例如30-50秒）上却遇到困难，因为这些视频包含更丰富但也更复杂且可能冗余的信息[5]、[10]。核心挑战在于有效地过滤与问题相关的时间上下文和因果关系。为了解决这一挑战，现有方法侧重于无条件聚合和与问题相关的选择来过滤关键信息。无条件聚合[8]、[11]、[12]、[13]通过聚类[11]或合并操作[8]、[12]压缩视频内容并保留最大量的视频信息。然而，它们在过滤视觉内容时没有直接考虑问题，忽略了与问题相关的信息。与问题相关的选择[5]、[10]、[14]、[15]使用相关性[14]、[15]、注意力分数[10]或其他定位模块[5]、[15]来识别与问题最相关的关键帧。然而，这些方法存在固有的局限性：（1）缺乏对帧选择的指导。现有的关键帧选择方法仅将视频问答损失作为训练目标[10]、[14]，这缺乏对关键帧选择的监督，阻碍了模型接收必要的反馈以改进关键帧选择能力，导致关键帧识别不理想，降低了关键帧的有效性。（2）时间上下文理解不完整。虽然其他视频任务（例如视频识别[16]）中的帧选择方法探索了保留完整信息，但现有的视频问答关键帧选择方法往往忽视了保持全面时间覆盖的重要性，或者采用多帧分辨率作为解决方案。然而，对于需要因果和时间推理的复杂问题来说，完整的时间信息至关重要。如图1(a)所示，从原始帧中选择时间集中的帧会丢弃重要的上下文信息，妨碍了准确的推理。

现有关键帧选择方法的局限性促使我们提供更好的辅助，为关键帧选择提供指导并保留全面的时间上下文。然而，通过传统的监督学习实现这些目标面临重大挑战。首先，为关键问题相关帧获取明确的注释需要大量的人工努力且耗时。此外，这些注释可能无法很好地泛化到不同的场景和各种类型的问题。其次，仅使用关键帧选择容易导致连续的与问题相关的帧，难以捕捉对时间和因果推理至关重要的全面时间上下文。为了解决这些挑战，我们提出利用模型对视频自身的理解作为监督来源。当提供完整的时间序列时，基于LLM的视频问答模型可以形成视频内容的整体表示。如果这种内部理解能够有效蒸馏，就可以作为高质量的指导。基于这一见解，我们采用了包含教师模型和学生模型的自我蒸馏框架，两者具有相同的架构和权重，如图1(b)所示。教师模型处理全部视频帧以形成全面的时间表示，而学生模型仅接收选定的关键帧。通过使它们的输出对齐，鼓励学生保留对整体理解和问题相关推理至关重要的信息，从而规范关键帧选择过程。重要的是，通过在每一步继承学生的权重，教师模型可以与学生一起进化。尽管处理的是更丰富且可能冗余的完整帧输入，教师模型仍能从学生整合和精炼相关信息的能力中受益，产生更清晰、更集中的指导。

为此，我们提出了Coffee-Mate（CoMa），通过自我蒸馏来辅助视频问答中的关键帧选择。首先，我们引入了一种从多到少的自我蒸馏策略，作为“咖啡伴侣”以提供更好的关键帧选择指导。具体来说，教师模型具有完整的帧输入，并在每一步从学生模型初始化，指导仅观察少数选定帧的学生模型。通过输出对齐，鼓励学生在有限的帧输入下保留时间上关键和与问题相关的信息，而不断进化的教师模型提供越来越精细的指导，从而提升视频理解能力。其次，为了加强自我蒸馏的效果，我们引入了多层次蒸馏损失作为更强的约束。具体来说，我们设计了特征级的MSE损失以确保学生继承教师的理解，以及逻辑级视频-文本匹配损失以鼓励跨模态对齐和问题相关性。此外，用于逻辑级蒸馏学习的匹配头可以进一步用于与问题相关的关键帧选择。第三，我们提出了分段帧选择方法，以识别最相关的视频帧，而无需任何额外模块。具体来说，我们将原始帧分割成段落。在每个段落中，我们通过重新使用上述教师模型和匹配头来选择前k帧，这有助于保留既与问题相关又具有全面时间上下文的帧。

我们的贡献总结如下：

• •
  我们提出了从多到少的自我蒸馏方法，以及设计的多层次蒸馏损失，大大缓解了关键帧选择的局限性，提供了更好的自我监督指导。
• •
  我们提出了分段帧选择策略，通过模型重用确保选定的关键帧既与问题相关又具有全面的时间上下文。
• •
  在6个视频问答数据集上进行的实验表明，CoMa优于现有方法。此外，即使不使用帧选择，所提出的自我蒸馏方法仍取得了显著进步，突显了其在理解和精炼视频内容方面的有效性。

部分片段

大型视觉语言模型

近年来，大型语言模型（LLMs）[1]、[2]取得了快速进展。在此基础上，许多研究[3]、[4]致力于将它们与视觉编码器集成，利用其强大的理解和生成能力来处理视觉语言任务。例如InstructBLIP [4]使用查询变换器（Q-former）通过多个查询令牌提取视觉信息。同时，LLaVA和LLaVA-NeXT [17]使用简单的线性投影器来对齐图像

方法

为了克服现有关键帧选择方法的局限性并为视频问答提供更好的指导，我们提出了Coffee-Mate（CoMa），这是一种新颖的自我蒸馏和关键帧选择方法。在本节中，我们首先介绍了用于基于LLM的视频问答的CoMa。然后，我们详细阐述了CoMa的多到少自我蒸馏和分段帧选择。

实验设置

数据集和评估指标。为了证明我们提出方法的有效性，我们在6个数据集上将我们的方法与现有最先进（SOTA）方法进行了比较，这些数据集分为多选和开放式任务。多选问答：（1）NExT-QA [38]：包含5K个视频（平均44秒）和48K个问答对，涵盖因果、时间和描述性问题。（2）STAR [37]：包含22K个视频片段和60K个问答对，包含四个答案选项，重点关注互动问题，

局限性

尽管CoMa表现出强大的性能，但我们认识到几个局限性：（1）选择中的浅层推理。与最近使用LLMs进行深度推理的“用视频思考”研究[55]不同，CoMa依赖于轻量级的Q-former匹配头来提高效率。因此，选择过程基于语义相关性而非复杂的逻辑推导。（2）复杂的跨帧依赖性。虽然我们的从多到少蒸馏训练鼓励

结论

在本文中，我们介绍了Coffee-Mate（CoMa），这是一种通过自我蒸馏增强视频问答中关键帧选择的新方法。CoMa采用从多到少的自我蒸馏策略，其中接收较少选定帧的学生必须基于原始完整帧匹配教师的理解。通过输出对齐，它确保保留了对连贯事件叙述至关重要的关键帧。此外，CoMa结合了多层次蒸馏损失

CRediT作者贡献声明

Bowen Yuan：撰写 – 审查与编辑，撰写 – 原始草稿，可视化，验证，资源，方法论，调查，数据策划，概念化。Sisi You：监督，项目管理，资金获取，正式分析。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。