基于自注意力全卷积网络的文本查询引导视频摘要

《ACM Transactions on Asian and Low-Resource Language Information Processing》：Text Query-Guided Video Summarization with Self-Attentive Fully Convolutional Network

　　

摘要AI 摘要

要查看此 AI 生成的摘要，您必须拥有高级访问权限。

了解更多登录

摘要

摘要

文本查询在视频摘要中的重要性日益增长，因为它们能够生成符合个人用户需求定制的摘要。无论是传统视频摘要方法还是领域特定的视频摘要方法，其摘要过程都未考虑用户偏好。鉴于视频摘要的主观特性，在生成视频摘要时融入用户偏好至关重要。本研究提出了一种自注意力全卷积网络（SAFCN），该方法接收用户输入的文本查询并生成与该查询相关的视频摘要。所提出的网络包含一个利用预训练三维卷积神经网络（CNN）的视频表征单元、局部自注意力单元和查询相关的全局自注意力单元，这些单元根据输入的文本查询计算视频镜头的重要性评分。该模型在自注意力机制中引入了二维位置编码，并使用 Lion 优化器以及摘要长度正则化。在 Query-Focused Video Summarization（QFVS）和 QVHighlights 基准数据集上进行了大量实验。该方法在 QFVS 数据集上实现了 F1 评分提升 5%，并在 QVHighlights 数据集上展现出具有竞争力的性能。定性分析和定量结果均表明，所提出的方法优于当前最先进的技术。

AI 摘要

AI 生成的摘要（实验性）

本摘要由自动化工具生成，未由文章作者撰写或审核。提供此摘要是为了支持发现、帮助读者评估相关性，并协助相邻研究领域的读者理解该工作。它旨在补充作者提供的摘要，后者仍然是论文的主要摘要。全文仍为权威记录版本。 点击此处了解更多。

点击 此处 对此摘要的准确性、清晰度和实用性进行评论。这样做将有助于改进和未来的重新生成版本。

要查看此 AI 生成的通俗摘要，您必须拥有高级访问权限。