MCHD：一种用于关键时刻检索和高亮检测的多粒度协同分层解码方法

《Information Fusion》：MCHD: A Multi-granularity Collaborative Hierarchical Decoding Method for Moment Retrieval and Highlight Detection

　　当前视频特征不足以进行视频理解。传统 Transformer 解码器的解码能力不足。使用特征平均进行跨模态对齐会导致语义稀释。## 引言随着计算机视觉与自然语言处理技术的深度融合，时刻检索（MR）和高光检测（HD）已成为视频理解领域的重要研究方向。MR 旨在检索与特定语言描述最相关的时刻并预测准确的边界。HD 是一个相关但不同的任务，它评估每个视频片段的显著性，并预测各片段与给定文本描述的相关程度。考虑到这两个任务的相似性，[7] 首次提出将它们作为联合任务（MR/HD）进行研究。这项开创性工作引入了大规模基准数据集 QVHighlights 和一个名为 Moment-DETR 的基线模型，该模型基于 DETR 架构构建。其核心创新在于构建了共享的跨模态特征表示和一个统一的检测框架，该框架可同时执行时刻定位和高光分数预测。沿着这一方向，大量后续工作扩展并推进了这种基于 DETR 的架构范式。这些研究引入了各种技术改进，如增强的多模态对齐机制、优化的文本查询设计和跨任务协同学习策略。这些进展不仅推动了 MR/HD 任务本身的最先进水平，还为视频内容结构化、智能编辑和交互式检索系统等的实际应用奠定了坚实基础。然而，现有方法仍存在若干局限性：(1) **细粒度特征捕捉不足：** 当前方法主要依赖 VGG、C3D、I3D、CLIP 和 SlowFast 等预训练模型来提取全局视频特征，导致特征粒度单一，难以捕捉帧内对象特征或局部运动变化等细粒度细节。如图 1(a) 所示，视频内容本质上具有多粒度语义：对象级提供实体细节，视频级传达整体片段语义，标题级捕捉动作和场景信息。这些粒度之间的协作增强了语义理解和定位。图 1(b) 进一步展示了这种协作匹配：来自对象级的视觉单元与来自标题级的语义单元对齐，突出了主要主体。视频提供上下文信息，而标题中的动作和场景线索则作为精确定位的语义桥梁。(2) **解码能力弱：** 在 DETR 中，原始查询向量在顺序更新过程中的信息流受到限制，导致特征解码不足。在处理语义复杂的视频时，这一问题更加严重。为了解决现有方法在 MR/HD 中的局限性，本文引入了多粒度视频特征，集成了对象级、标题级和视频级特征，实现了从局部细节到视频全局上下文的协作语义建模。在此基础上，我们进一步提出了一种多粒度协作分层解码（MCHD）方法用于 MR/HD。MCHD 利用这些多粒度特征实现语义协作。具体来说，关键文本引导对齐损失（KTAL）增强了视频帧与关键文本语义之间的对齐。三粒度融合模块（TGFM）通过对称交叉注意力实现不同粒度之间的平衡融合。全景信息增强模块（PIEM）增强了局部和全局语义表示。核心组件是分层解码器（HiD），通过多轮渐进式查询更新机制显著增强了传统 DETR 解码器的解码能力。为验证方法的有效性，我们在三个代表性的公开数据集上进行了广泛的实验：QVHighlights、Charades-STA 和 TVSum。结果表明，MCHD 取得了有竞争力的性能。本文的主要贡献总结如下：- 首次将涵盖对象级、标题级和视频级特征的多粒度视频特征引入 MR/HD，有效提升了细粒度视频语义建模。- 设计了 MCHD，一个专为 MR/HD 设计的联合任务模型，利用多粒度视频特征。通过细粒度对齐、对称融合、全局-局部增强和深层解码，实现了时刻的精确定位和高光的准确预测。- 在三个基准上的实验证明，我们的 MCHD 取得了有竞争力的结果。## 章节片段### 时刻检索与高光检测视频理解领域已从分类和检索等基础任务发展为涵盖时序定位和时空分析的多粒度系统，并正迅速朝着利用大语言模型（LLMs）进行更深层次推理和构建通用视频基础模型的方向发展。视频时刻检索（MR）旨在根据自然语言查询在视频中查找相关时刻。该任务通常涉及两类方法：### 多粒度视频特征与文本特征提取器本小节详细介绍了多粒度视频特征的提取，分为三个部分：对象级、标题级和视频级特征。在处理整个视频时，采用与之前相同的方法，每 2 秒提取一帧，并将所有帧组合起来构建整体视频信息。对象级特征旨在补充视频特征中的对象信息。我们采用预训练的 YOLOv8 模型检测视频中的对象。### 实验我们在 QVHighlights、Charades-STA 和 TVSum 上评估了所提出的 MCHD 的性能，并进行了相关的可视化和消融实验。### 效率比较与分析表 11 中展示的效率分析强调了 MCHD 的平衡设计。MCHD 包含 2357 万参数，其多粒度架构比紧凑的 TR-DETR（包含 831 万参数）具有更强的表达能力。此外，与同等规模的 UVCOM 相比，MCHD 更高效地利用了其参数，后者在推理时 FLOPs 方面表现出更高的计算成本（1.54 GFLOPs 对比 0.81 GFLOPs）。MCHD 的推理时间为### 误差分析与显著性检验**误差分析：** 受相关工作的启发，我们对 MCHD 和 TR-DETR 的预测结果进行了误差分析。全面的误差分析表明，在视频理解任务中，MCHD 相比基线 TR-DETR 具有全面且可靠的性能优势。从误差分析的角度来看，如表 12 所示，MCHD 在时刻检索的所有定位指标上均实现了更低的误差：其预测的起始时间、结束时间和持续时间都表现出减少。### 局限性尽管 MCHD 在 MR/HD 上取得了有竞争力的性能，但它与现有方法一样，仍面临若干局限性。首先，模型的能力受当前训练数据的规模和特征的限制。例如，QVHighlights 数据集中视频的平均长度约为 150 秒，这使得模型难以学习和推广到更长、更复杂的视频场景。其次，当视频本身语义模糊时，### 结论本文对 MR/HD 做出了两项主要贡献。我们引入了包括对象级、标题级和视频级的多粒度视频特征，用于全面的语义建模。我们提出了 MCHD 框架来利用这些特征，其中包括：用于细粒度对齐的 KTAL、用于平衡融合的 TGFM、用于全局-局部增强的 PIEM，以及通过缓解信息获取不足来克服传统 DETR 解码器有限解码能力的 HiD。### 未引用的浮动内容图 2。### CRediT 作者贡献声明**梁培原：** 撰写原稿、可视化、验证、软件、项目管理。**杨秋香：** 指导、资源、项目管理。**王博盈：** 审阅与编辑、资金获取。**冯宇欣：** 审阅与编辑。**韩维明：** 可视化。**张富伟：** 审阅与编辑、指导、方法论、资金获取、概念化。**赵红：** 资金获取。**李飞：** 资金获取。### 利益冲突声明作者声明他们没有已知的相互竞争的财务利益或个人关系，这些利益或关系可能影响本文所报告的工作。梁培原 | 杨秋香 | 王博盈 | 冯宇欣 | 韩维明 | 张富伟 | 赵红 | 李飞