通过由粗到细的时空探索实现受人类启发的智能体视频理解

《Neurocomputing》：Human-inspired agentic video understanding via coarse-to-fine spatiotemporal exploration

　　

摘要

当前的视频理解模型遵循被动感知范式，依赖于固定的采样策略，这可能会引入大量的时间冗余和细粒度细节丢失。为了克服这一问题，我们从被动感知转向在一个紧凑且可复用的视频环境中进行主动证据获取。我们提出了 HIVE（受人类启发的视频探索者），这是一个由粗到细的时空策略驱动的训练无关智能体框架。HIVE 首先通过修剪视觉冗余片段并用语义字幕增强保留的片段来构建一个紧凑的时间环境，形成一个查询就绪的双模态记忆库。在这个抽象环境之上，基于 LLM 的智能体执行一个迭代的规划 - 行动 - 推理 - 反思循环，以适应性地确定“何时以及何处查看”。在用户查询和全局事件概要的指导下，智能体调用感知工具进行时间定位、字幕检索、主动空间裁剪和局部视频 VQA，使其能够在必要时选择信息丰富的时间时刻并检查与问题相关的空间区域。无需任务特定微调，HIVE 在 Video-MME 的长视频子集上实现了 60.8% 的准确率，在 EgoSchema 子集/完整基准上实现了 67.4%/65.2%，在 NExT-QA 上实现了 75.8%。这些结果表明，主动证据获取提供了一种有效的替代方案，用于均匀编码密集视频输入，在有限的计算预算下提高了长视频理解和细粒度视觉推理。

引言

视频理解仍然是计算机视觉中的一个基本挑战，不仅需要识别孤立事件和空间关系，还需要综合长程时间动态以有效解决开放式查询。虽然多模态大语言模型（MLLMs）在静态图像任务中展示了令人印象深刻的能力 [17], [28], [37], [45]，但将这一成功扩展到长视频 [12], [50], [61] 仍然是一个艰巨的障碍。最近，由 LLM 驱动的自主智能体已成为一种有前景的复杂问题解决范式，通过利用外部工具和迭代推理。然而，将这些智能体系统直接部署到动态视频环境中暴露出一个关键瓶颈。主要挑战源于复杂的时空依赖关系，模型必须过滤掉显著的时间冗余以隔离相关片段，同时专注于混乱背景中的微小空间细节。

为了应对这种复杂性，现有方法 [25], [27], [30] 主要采用“被动感知”策略，依赖于对视觉输入的刚性均匀采样。这种静态采样范式从根本上限制了模型自适应证据检索的能力。通过在整条序列上分配相等的计算带宽，此类方法未能优先处理与问题相关的时刻而非背景冗余，严重限制了复杂推理。这种被动公式化方式为长视频理解创造了两个主要挑战。首先，长视频本质上由冗余主导。强迫模型处理密集的静态视觉流不仅会产生巨大的计算开销，而且更关键的是，会用不相关的背景噪声淹没上下文窗口。这种注意力稀释会干扰推理过程，并使模型更难专注于与查询相关的证据。其次，为了处理这种视觉洪流，主流范式严重依赖昂贵的微调来开发专门的 Video-LLMs [5], [6], [64]。然而，在有限的视频数据上微调通用 MLLMs 通常会导致灾难性遗忘，这可能损害它们的一般推理能力。

为了克服这些限制，我们从人类认知过程中汲取灵感 [35], [51]。人类视觉行为将具身感知与认知推理相结合，表现为一种选择性的由粗到细的处理模式，即先进行粗粒度全局扫描，然后专注于检查任务相关细节 [4]。在这种模式中，全局扫描首先提供事件级上下文，随后将聚焦检查应用于与问题相关的时间片段和空间细节。例如，如图 1(a) 所示，为了识别密集交响乐视频中“穿黑衬衫的站立男子”的动作，观看者自然会浏览重复和静止的管弦乐队镜头以保持时间效率。随后，观看者以更高的分辨率检查目标主体出现的空间区域，通过减少杂乱背景和不相关视觉内容的干扰来实现空间精度。时间效率和空间精度之间的这种协同作用激励了对长视频理解在时间和空间上进行结构化分解。

基于这一设计原则，我们提出了 HIVE（受人类启发的视频探索者），这是一个无训练的智能体框架，其中 LLM 充当中央控制器。至关重要的是，与主要将自主性局限于时间片段检索的现有智能体视频系统 [12] 不同，HIVE 将主动探索扩展到时间和空间两个维度。为了支持这种自适应查询，HIVE 将紧凑的时间环境与感知工具库相结合，用于查询条件证据获取。时间环境充当双模态记忆库，将搜索空间限制在信息丰富、非冗余的片段上。同时，工具库允许智能体检索字幕、定位候选时刻、裁剪与问题相关的区域，并通过视频 VQA 验证局部证据。在这个蒸馏状态空间上操作，框架执行一个迭代的规划 - 行动 - 推理 - 反思循环，如图 1(b) 所示。具体来说，智能体制定调查策略，调用多尺度视觉工具以绕过时间噪声，并在结束搜索前批判性地反思证据充分性。在空间上，由于 prior work [21] 已证明区域放大在解决细粒度视觉细节方面的有效性，我们将这一原则集成到我们的智能体循环中作为主动裁剪策略。与静态方法不同，HIVE 智能体动态决定何时隔离与问题相关的区域以过滤掉背景噪声，显著提高了对细节敏感问题的性能。

我们在具有挑战性的基准上评估 HIVE，包括 Video-MME [14], EgoSchema [31] 和 NExT-QA [52]。结果表明，我们的智能体系统显著优于现有方法，特别是在需要复杂推理、精确时间定位和对细微视觉细节敏感的场景中。总之，我们的贡献如下：

• •
  我们提出了 HIVE，一个无训练的智能体框架，将长视频理解分解为与查询无关的时间抽象和主动空间探索。作为基础步骤，我们设计了一个冗余感知时间抽象模块，在推理前构建一个紧凑的双模态记忆库，显著减少冗余视觉上下文，同时保留全局时间覆盖。
• •
  我们引入了一种主动空间验证机制，以支持智能体循环内的查询驱动证据获取。HIVE 智能体不是被动消费下采样帧，而是动态地将时间定位与以物体为中心的空间裁剪和局部视频 VQA 相结合，以显式恢复细粒度视觉细节。
• •
  我们在 Video-MME, EgoSchema 和 NExT-QA 上进行了广泛的实验。结果表明，HIVE 在长上下文、自我中心和细粒度推理基准上取得了强劲的性能，提供了有利的效率 - 准确性权衡。

章节片段

用于视频理解的视觉 - 语言模型

视觉 - 语言模型（VLMs）的最新进展显著推进了联合时空推理 [25], [27], [30], [43]。虽然端到端模型（例如 Video-LLaVA [27] 和 VideoChat [25]）在短视频片段上展示了卓越的熟练度，但将这些单体架构扩展到小时级长视频引入了巨大的计算和结构挑战。直接处理密集帧序列会迅速耗尽 LLM 的上下文窗口并产生难以承受的 GPU

框架概述

我们设计 HIVE 将视频作为主动探索的动态环境进行操作。在这个架构中，LLM 充当协调探索过程的中央认知控制器。而不是被动编码每一帧或将自主性限制在时间片段检索上，由 LLM 驱动的智能体通过一个在紧凑时间环境中操作并调用感知工具进行局部化的迭代交互循环来主动获取视觉证据

实验设置

数据集。 我们在三个代表性基准上评估我们的框架，涵盖长上下文理解、自我中心推理和因果 - 时间推理。 Video-MME[14] 是一个综合基准，用于评估 MLLMs 在不同领域和持续时间范围内的视频理解能力。为了特别评估我们的智能体在极长上下文设置下的表现，我们专注于其 长视频 子集。该子集包含 300 个视频和 900 个多项选择题 QA 对，视频持续时间从

结论

在这项工作中，我们介绍了 HIVE，一个无训练的智能体框架，将视频理解从被动感知转变为主动证据获取。由 LLM 协调器驱动，HIVE 在一个紧凑的双模态记忆库上执行由粗到细的时空探索循环。在 Video-MME, EgoSchema 和 NExT-QA 上的实验证明了其有效性，特别是对于具有严重时间冗余和依赖细节查询的长视频。尽管其有效性，该

CRediT 作者贡献声明

谭小鹏: 写作 – 原稿，软件，方法论，概念化。 潘清哲: 写作 – 审阅 & 编辑，验证，数据管理。 张凯: 写作 – 审阅 & 编辑，可视化，数据管理。 谢雪梅: 指导，项目管理，资金获取，概念化。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系，这些可能会影响本文报告的工作。

谭小鹏 目前正在中国西安电子科技大学人工智能学院攻读博士学位。他的研究兴趣包括人机交互、活动理解和具身智能。

谭小鹏 | 潘清哲 | 张凯 | 谢雪梅

人工智能学院，西安电子科技大学，西安，710071，中国