推进第一人称视角视频对话：一种基于上下文推理的方法与新基准数据集

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Advancing Egocentric Video Dialogue: A Contextual Reasoning Approach with New Benchmark Dataset

　　自我视角视频推理能力对于推动第一人称可穿戴设备的开发至关重要。然而，大多数现有的自我视角视频理解任务仅限于单实例文本输入，忽视了模型在整个视频时长内对上下文进行推理的能力。为弥合这一差距，我们提出了一项名为自我视角视频对话（Egocentric Video Dialogue）的新任务，该任务要求模型结合视频内容和对话历史来回答问题。为支持该任务，我们设计了一个新的数据集EgoDialogue，该数据集基于视频问答数据集构建了连续对话。自我视角视频和对话历史带来了两个挑战，分别要求模型理解视觉数据中的核心交互和文本中的对话历史。为应对这些问题，我们引入了EgoReason框架，该框架包含交互探索模块和对话推理模块。前者模块首先将不同帧中对应相同空间位置的补丁进行重新组织，然后根据帧顺序对这些块进行排序，从而对时空动态进行建模，帮助探索交互关系。后者模块通过将每轮对话的问答逐步集成到融合层中来改善对话理解能力。在实验中，与多个视频问答模型和视觉语言模型相比，我们的方法表现出优越的性能，在预测准确率和多种机器翻译指标上取得了最先进（state-of-the-art）的结果。AI生成摘要（实验性）：本摘要由自动化工具生成，未经文章作者撰写或审核。提供此摘要是为了支持发现、帮助读者评估相关性，并协助相邻研究领域的读者理解该工作。它旨在补充作者提供的摘要，后者仍是论文的摘要。全文仍为权威的版本记录。点击此处了解更多信息。点击此处对此摘要的准确性、清晰度和实用性进行评论，这将有助于改进和生成未来版本。要查看此AI生成的通俗语言摘要，您必须拥有高级访问权限。