编辑推荐：
多模态基础模型的快速发展已将视频理解从以感知为中心的识别转向对动态视觉内容的更通用语义解释、推理和决策。随着视频理解任务日益需要细粒度感知、长程时间建模、多模态定位和自适应推理，异质功能单元（包括专用模型、模块、智能体、记忆系统和外部工具）之间的协作已成为一种
多模态基础模型的快速发展已将视频理解从以感知为中心的识别转向对动态视觉内容的更通用语义解释、推理和决策。随着视频理解任务日益需要细粒度感知、长程时间建模、多模态定位和自适应推理，异质功能单元（包括专用模型、模块、智能体、记忆系统和外部工具）之间的协作已成为一种重要的系统级范式。然而，现有综述主要按架构、学习策略或任务类别来组织视频理解方法，对现代系统的协作结构考察不足。本综述对视频理解中的多模型协作进行了结构化叙述性回顾，研究人员将其表述为协作式视频理解（collaborative video understanding）。研究人员引入了一个统一的分析框架，通过功能单元、单元间通信机制和协作状态表示来表征协作系统，并根据协调动态将现有方法组织为静态协作和动态协作，其中动态协作进一步区分为基于控制器的协作和基于智能体的协作。研究人员还回顾了代表性基准、评估指标和实证分析，表明当前的评估协议主要捕捉任务级性能，但对协作组织、记忆使用、自适应执行和系统级协作能力的洞察有限。最后，研究人员讨论了关键挑战和未来方向，包括自适应任务分解、语义对齐的单元间通信、持久共享记忆、不确定性感知的错误遏制、基于证据的推理和以协作为中心的评估。通过从协作系统视角重新解读视频理解，本综述旨在为开发更具适应性、可靠性和可扩展性的视频理解系统提供结构化基础。
1. 引言
视频理解是计算机视觉的基础研究课题，广泛应用于监控、自动驾驶、工业监测、人机交互和视频语言推理。不同于静态图像理解，视频理解需要有效建模时间动态、长程依赖以及演进视频内容中的跨模态语义交互。方法经历了手工特征、卷积神经网络、Transformer架构到视频多模态基础模型等范式。然而，单体式多模态基础模型在统一参数化和固定推理路径中必须同时平衡感知、时间抽象、多模态接地和自适应推理，难以满足异构需求。多模型协作因而成为重要范式。本综述将协作式视频理解定义为通过显式信息交换、自适应路由、共享状态维护或决策聚合，协调两个或更多独立可调用且可替换的计算单元，并依据协调机制将已有方法组织为静态协作与动态协作。
2. 视频理解问题定义
2.1 问题定义
视频理解是指从视频流中提取时间接地表示以支持识别、定位、跨模态接地、描述和推理等计算任务。形式上，视频由有序视觉帧序列、可选音频模态以及可选语言信息组成。给定任务查询Q，视频理解可形式化为学习任务相关的映射，输出Y可以是识别标签、时间定位结果、文本描述、问题答案、结构预测、推理轨迹、工具使用计划或决策输出。依据输出形式和功能目标，任务分为四类：识别与定位任务、跨模态匹配与接地任务、生成性描述任务、推理与决策任务。识别与定位任务包括动作识别、事件分类、目标跟踪、时间动作定位等；跨模态匹配与接地任务包括视频文本检索、视频语言对齐、视频接地、音视频接地等；生成性描述任务包括视频字幕、稠密视频字幕、视频摘要和事件描述等；推理与决策任务包括视频问答、时间推理、因果推理、常识推理、具身视频推理和视频智能体决策等。
2.2 视频理解的基本特征
视频理解区别于静态视觉分析，具有三个本质属性。时间依赖性指视频语义通常分布于多个时间片段而非单个观察，需要建模时间连续性和长程时间交互。事件中心语义指视频的语义由随时间演进的事件和交互决定，需要识别参与实体、建模关系并表征事件演化。多层级与多模态推理指有效理解需要整合从视觉表观和运动模式到事件结构、语义关系和上下文知识的多个语义层级，同时视频内容常伴随语言和音频等补充模态，因此现代视频理解日益依赖多层级与多模态推理。
3. 协作式视频理解框架
3.1 协作组件
协作式视频理解方法可由三个核心组件统一刻画：协作功能单元、单元间通信机制和协作状态表示。协作功能单元是执行专用功能的基础组件，可实例化为基础模型、检索组件、记忆系统、推理模块、规划控制器、外部工具或自主智能体。单元间通信机制定义单元间交换任务相关消息的方式，消息可以是视觉特征、语义表示、检索证据、记忆内容、推理轨迹、规划指令或中间预测。协作状态表示用于保留和组织协作过程中积累的任务相关上下文，可能包含上下文表示、检索知识、记忆记录、中间结果、工具调用轨迹、路由决策、不确定性估计等。状态演化由状态更新函数决定，最终任务输出由任务特定输出函数基于当前状态生成。
3.2 协调机制
协调机制决定组件在执行时的组织方式。根据协调策略是否固定，现有系统分为静态协作与动态协作。动态协作进一步按主导机制分为基于控制器的协作和基于智能体的协作。
3.2.1 静态协作
静态协作的协调策略在推理前预先确定且执行期间保持不变。功能单元的分配、调用顺序、单元间通信拓扑和状态演化过程均在系统设计时指定。代表性实现包括级联处理流水线、模块化多阶段框架、预定义检索生成工作流以及专用模块间采用固定路由的多组件架构。其局限在于输入不变的协调策略，无法根据视频复杂度、语义歧义或中间不确定性动态调整计算资源、信息路由或推理深度，在长视频理解和开放式推理中尤为明显。
3.2.2 动态协作
动态协作允许协调策略根据输入视频、中间结果和执行上下文进行自适应调整。基于控制器的协作依赖显式控制器、路由器、调度器或策略持续评估当前执行状态，决定激活哪些功能单元、检索什么证据、如何路由信息以及是否增加计算。代表性系统如StreamChat、Thinking-QwenVL等。这种协作比静态协作提供更强灵活性和效率，但其决策空间和优化目标仍受训练或系统设计约束，本质上属于自适应执行框架。基于智能体的协作将功能单元升级为能够进行子目标形成、策略细化和执行控制的自主智能体。智能体动态决定何时及如何调用其他智能体、工具或记忆组件，通信内容扩展为计划、批评、置信度估计和工具选择等高层语义信号。代表性系统如DoraemonGPT。基于智能体的协作提供更强自主性、灵活性和泛化能力，支持长时程推理和多步证据聚合，但仍存在实际部署挑战。
4. 基准、指标与实证分析
4.1 代表性基准
识别与定位基准主要评估动作识别、时间动作定位和时空定位，标注包括类别标签、时间片段和空间区域，重点衡量视觉感知、运动建模和时间聚合能力。跨模态匹配与接地基准覆盖视频文本检索、时间接地、查询条件的片段检索和亮点检测等，标注包括配对实例、排序结果和时间跨度，但不同数据集在监督形式、查询表述、标注粒度和模态配置上存在较大异质性。生成性描述基准覆盖视频字幕、稠密字幕、事件描述和摘要，评估语义抽象和时间组织，但结果对参考质量敏感。推理与决策基准覆盖视频问答、因果推理、常识推断和决策任务，要求更强的证据整合、记忆利用和推理一致性，近年扩展到长视频和长上下文多模态理解，但任务格式差异带来公平比较挑战。
4.2 评估指标
任务结果指标仍占主导。识别任务常用Top-1和Top-5精度，定位任务使用不同时间IoU阈值下的mAP，跨模态检索采用Recall@K、平均秩和中位秩，时间接地使用IoU准则，生成任务采用BLEU、METEOR、CIDEr、SPICE等，稠密字幕使用SODAc。推理任务使用答案精度、接地答案精度等。近年来，评估开始关注输出质量、一致性、效率等系统级属性，包括token成本、帧数、推理时延和FLOPs等。但这些系统级指标标准化仍不足。
4.3 定量性能趋势与比较
在识别与定位方面，模型架构和大规模预训练带来显著增益，但强模型在多个成熟基准上差距较小，出现饱和趋势。协作方法未表现出一致优势，部分原因是目标不同且评估设置异构。跨模态匹配与接地方面，各数据集上均有明显进步，但提升幅度高度任务依赖。生成性描述方面，最强方法因数据集和指标而异，单一性能排名无法概括。推理与决策方面，报告结果对评估协议敏感，协作方法在Video-MME等长上下文基准上表现更强，但无法将改进归因于具体组件。跨基准比较受预训练数据、模型规模、推理配置和协作机制等因素混淆，结果应视为趋势而非排名。现有证据不能直接证明协作的普遍增益，需要匹配成本的单模型基线和单元级消融来量化协作贡献。
5. 挑战与未来方向
5.1 自适应任务分解与功能单元编排
现有系统常手动指定功能角色和执行流程，如将视觉、文本和场景图推理分配给不同智能体，或由主智能体协调接地与感知智能体。预定义分解对多样化查询的适应性有限。未来应探索分层规划器、学习路由器、不确定性感知调用机制以及可动态调整系统拓扑的自重构策略。
5.2 高效且语义对齐的单元间通信
功能单元间交换的消息在模态、时间分辨率、空间粒度和语义抽象上差异显著。未对齐的消息可能对应不一致的时间或语义上下文。未来需要统一多模态通信协议，使每条消息编码语义内容及其时间支撑、空间支撑、来源标识和置信度。自适应带宽通信可先交换低分辨率摘要，在不确定性高时选择性请求更高分辨率证据。
5.3 持久且时间一致的共享记忆
共享状态允许功能单元跨多次交互保留上下文，但长视频中决定保留、组织、更新和丢弃哪些信息仍具挑战。过度压缩可能丢失短暂但关键的证据，保留所有帧则增加成本。未来应采用层次化、多模态、多时间尺度记忆，结合细粒度视觉记忆、情景记忆和语义记忆。
5.4 不确定性感知协作与错误遏制
协作增加了错误传播路径，且功能单元可能建立在相似基础模型上导致错误相关，因此单元间一致并不保证正确。未来需要不一致检测、置信度校准、证据级验证和选择性重观察，在冲突时识别争议证据并获取额外观察，而非仅依靠语言先验。
5.5 基于证据且可验证的协作推理
协作系统可能利用语言先验或字幕获得正确回答但未接地到视觉证据，或检索到的证据相关但中间推理不一致。未来应将检索、检查、推理和验证交织，将每个中间声明关联到支撑的帧、片段、音频或字幕。
5.6 以协作为中心的评估与可扩展部署
现有基准主要评估外部任务输出，不直接评估功能单元互补性、消息贡献、共享状态是否保留关键证据、协作是否在可比计算预算下带来增益。未来需开发以协作为中心的评估，涵盖任务性能、证据接地、单元贡献、通信效率、不确定性校准、鲁棒性和系统成本，并建立匹配成本的强基线、单元消融和失效鲁棒性分析。当前缺乏标准化协作评估协议，是重要研究空白。
6. 结论
本综述从协作系统视角重新审视视频理解，提出统一分析框架，将现有方法分为静态协作和动态协作，并指出评估协议主要捕获任务级结果，不足以衡量协作质量、记忆使用、自适应执行、证据接地和系统鲁棒性。未来研究需要在个体模型能力之外，关注异质功能单元的选择、协调、更新、验证和评估原则，推动自适应、可靠、可解释且可扩展的协作式视频理解系统。
