MKG-attention：面向忠实视频问答的预算感知多模态图检索

《Neurocomputing》：MKG-attention: Budget-aware multimodal graph retrieval for faithful video question answering

　　

摘要：视频问答（VideoQA）在支持证据存在噪声、时间分散或不完整时仍然脆弱。单次检索 - 阅读流水线可能会错过短暂但决定性的时刻，无法连接跨场景的证据，或者将长字幕流视为无差别的上下文，从而削弱接地性并增加不受支持的声称。我们提出了 MKG-Attention，这是一种针对以字幕为中心的 VideoQA 的预算感知神经证据控制框架，结合了时间定位、实例级多模态图谱检索、证据审计和受控生成。给定视频、字幕/对话和问题，MKG-Attention 定位与问题相关的字幕片段和时间窗口，构建实例级多模态知识图谱，并检索紧凑的问答条件证据子图。为了提高在不完美的检索下的鲁棒性，证据感知子图审计与修复（ESAR）估计子图质量，并在需要时应用有界的过滤、重排序和目标局部修复。对于答案生成，双流证据接口将上下文信息与图谱证据分开，选择一组稀疏的显著证据单元，并仅将选定的证据注入冻结的解码器，提供可解释的证据对齐。校准的不确定性门进一步结合预测不确定性与证据质量信号，仅对高风险答案触发声称级验证和目标修订。该框架将离线三元组提取与在线证据控推理分开，检索、图谱扩展、证据选择和验证都保持在固定预算下。在以字幕为中心的 VideoQA 基准上的实验表明，MKG-Attention 提高了答案准确性、时间接地性、证据忠实度和鲁棒性，同时保持有界的在线推理成本。

引言
视频问答（VideoQA）需要基于时间依赖证据的接地推理，包括字幕、视觉事件和跨场景的实体 - 关系链接。最近的视频大模态模型（VideoLLMs），如 Video-LLaMA、Video-ChatGPT、Video-LLaVA 和 VideoChat2，已改善了开放式视频理解。然而，当相关证据局限于短时间间隔、与字幕弱对齐或分布在多个时刻时，它们仍然脆弱 [1], [2], [3], [4]。最近长视频研究表明，性能不仅取决于模型规模或上下文长度，还取决于时间选择、证据压缩、视频特定建模和高效计算 [5], [6], [7]。例如，LLoVi 聚合短期字幕以进行长程 VideoQA，而 TimeChat 引入了时间敏感建模以进行长视频理解和时间定位 [8], [9]。大规模评估如 LongVideoBench 和 Video-MME 也表明，当前的 MLLMs 仍在长上下文推理、多模态证据使用和 temporally distributed information 方面挣扎 [10], [11]。因此，忠实回答取决于选择正确的时间定位证据，而不是简单地提供更多上下文 [12]。

混合检索和基于图谱的方法部分解决了这些局限性。检索增强生成（RAG）通过基于外部或实例级证据条件生成来提高事实接地性 [12], [13]，而视频图谱和情境图谱表示实体 - 关系结构以进行组合推理 [14], [15]。然而，大多数现有方法只改进了证据流水线的其中一个阶段，如检索、图谱构建、神经证据注入或事后验证。很少提供统一机制来控制证据如何在固定推理预算下被定位、结构化、过滤、注入解码器并验证。

如图 1 所示，仍然存在三个挑战。首先，相关证据往往在时间上稀疏，因此对完整字幕流或均匀采样帧的单次检索可能会错过决定性线索 [9], [16]。其次，长非结构化上下文和大图谱邻域可能会稀释注意力并增加不受支持的声称，反映了检索和长上下文提示之间已知的权衡 [10], [17], [18], [19]。第三，多跳图谱扩展和重复验证增加了延迟，使得选择性且预算感知的计算对于长视频推理变得重要 [6], [11], [20]。因此，接地 VideoQA 需要比更强的检索或更大的上下文窗口更多的东西。模型必须保留时间溯源，在解码前抑制噪声图谱证据，控制有多少证据到达生成器，并仅验证不确定或支持微弱的答案。当这些阶段分别优化时，检索错误可能会传播到生成中，图谱证据可能会变得噪声或冗余，验证可能缺失或统一应用而不考虑证据质量。

为了解决这些局限性，我们提出了 MKG-Attention，这是一种用于以字幕为中心 VideoQA 的轻量级神经证据控制框架，具有多模态图谱检索。MKG-Attention 定位与问题相关的字幕片段和视频窗口，构建具有溯源的实例级多模态知识图谱（MMKG），并检索紧凑的证据子图。检索到的证据在必要时进行审计和修复，传递给双流生成模块，该模块仅将选定的图谱证据注入解码器，并且仅在校准的风险门识别出草案答案为高风险时进行验证。

MKG-Attention 的主要区别在于它将证据处理视为端到端的证据生命周期。与平坦字幕 RAG 不同，它将定位的多模态观察转换为具有溯源的图谱单元。与图谱作为文本提示不同，它审计并稀疏注入图谱证据，而不是向解码器暴露所有检索到的三元组。与仅验证的方法不同，它结合了生成前证据修复与风险门控声称级验证。在此框架内，SGTL 和 EGCR 将已建立的时间检索和图谱构建机制作为支持组件进行适配。主要的方法贡献是 ESAR，它执行诊断驱动且预算保持的子图修复；MKG-Gen，它引入了稀疏双流证据选择和注入；以及校准的不确定性门，它结合预测不确定性与证据质量信号以选择性地调用验证。CVTR 在此选择策略下适配基于证据的声称验证和目标修订。

我们在以字幕为中心的 VideoQA 基准上评估 MKG-Attention，包括 TVQA + 和 KnowIT 风格设置，使用答案准确性、时间定位、证据子图质量、忠实度、校准、鲁棒性和推理成本指标。主要贡献包括：
•我们提出了一种用于以字幕为中心 VideoQA 的预算感知神经证据控制框架，该框架定位时间证据，构建具有溯源的实例级 MMKG，检索紧凑的问答条件子图，并在明确的图谱、证据选择和验证预算下将离线证据提取与在线推理分开。我们从准确性、时间接地性、证据质量、忠实度、校准、鲁棒性、消融和推理成本方面全面评估该框架。
•我们介绍了 ESAR，一种诊断驱动的生成前审计 - 修复机制，使用相关性、溯源、一致性和覆盖范围评估检索到的子图，并应用有界修正以减少噪声或不完整证据的传播。
•我们设计了 MKG-Gen，一种双流证据接口，执行稀疏 Top- 图谱证据选择并仅将选定的证据注入解码器。我们进一步开发了证据质量感知的校准不确定性门，仅对高风险答案调用声称级验证和目标修订，提供选择性的忠实度 - 延迟权衡。

论文的其余部分组织如下。第 2 节回顾相关工作。第 3 节介绍 MKG-Attention。第 4 节报告实验。第 5 节总结论文。

章节片段
相关工作
VideoQA 需要视频理解、时间接地、结构化推理和 RAG。我们专注于接地 VideoQA，其中模型必须检索相关证据并控制字幕片段、视觉线索和图谱事实如何在固定推理预算下影响解码。

方法论：MKG-attention
MKG-Attention 是一种用于时间稀疏和噪声证据下 VideoQA 的轻量级神经证据控制框架。而不是将解码器暴露在长字幕流或未过滤的图谱邻域中，它在固定预算下定位、结构化、修复、选择和验证证据。

如图 2 所示，该框架包含四个证据处理组件。SGTL 定位与问题相关的字幕片段和视频窗口。EGCR 提取跨模态事实，构建一个

实验评估
我们从以下方面评估 MKG-Attention 在以字幕为中心的 VideoQA 上的表现：(i) 答案正确性，(ii) 固定预算下的证据质量，(iii) 接地性和忠实度，以及 (iv) 选择性验证的忠实度 - 成本权衡。除非另有说明，所有预算匹配变体使用相同的流水线：SGTL EGCR ESAR MKG-Gen 条件 CVTR。这在评估所提出的证据控制模块时控制了检索、图谱和验证预算。

结论与未来工作
本文介绍了 MKG-Attention，这是一种用于时间稀疏和噪声证据下以字幕为中心 VideoQA 的预算感知神经证据控制框架。它在冻结骨干设计内结合了字幕引导定位、实例级 MMKG 构建和检索、证据感知子图修复和双流证据控生成。校准的不确定性门仅对高风险答案调用声称级验证和目标修订，平衡忠实度和

代码可用性
实现可用於：https://github.com/Asadkhan789/MKG-Attention.

CRediT 作者贡献声明
Asad Khan: 软件、方法论、概念化。Zafar Ali: 写作 - 初稿、验证、方法论、概念化。Guilin Qi: 验证、监督、形式分析。Kaibalya Prasad Bhuyan: 软件、调查。Pavlos Kefalas: 写作 - 初稿、监督、形式分析。

竞争利益声明
作者声明他们没有任何已知的竞争财务利益或个人关系，这些可能会影响在此论文中报告的工作。

Asad Khan 是中国南京东南大学计算机科学与工程学院的博士研究生。他的研究专注于多模态人工智能、视频问答、检索增强生成、知识图谱、自然语言处理和基于证据的智能系统。他最近的工作包括设计和实现用于多模态问答和智能决策支持的神经证据控制框架

Asad Khan|Zafar Ali|Guilin Qi|Kaibalya Prasad Bhuyan|Pavlos Kefalas
中国南京东南大学计算机科学与工程学院