VideoAligner：基于文本的特征分解技术，实现精确的视频与文本对齐

《Pattern Recognition》：VideoAligner: Text-driven feature decomposition for precise video-text alignment

　　

詹洲峰|毛顺安|王耀伟|张世良

• •
  本文通过引入VideoAligner来解决查询与视频之间的不匹配问题。该工具将视频表示分解为全局、对象和事件三个层次，并在文本引导下对它们进行对齐，从而提高检索的精确度和鲁棒性。图2和图5中的定性结果展示了该工具能够过滤掉与查询无关的噪声，专注于精确的视觉线索。
• •
  本文提出了两个关键模块：一个是基于词性分析的词元生成器（PTG），用于从查询中提取对象和事件相关的词元；另一个是语言引导的渐进式视觉融合（LPVM）模块，用于整合帧内和时空视觉线索。这两个模块共同实现了在全局、对象和事件三个层次上的多粒度相似性计算。
• •
  在MSRVTT、MSVD和DiDeMo数据集上的广泛实验表明，该方法能够持续提升检索性能并显著提高效率。通过采用从粗略到精细的检索流程（包括全局筛选和对象/事件重新排序），在保持高准确性的同时进一步降低了推理成本，并展现了强大的跨领域泛化能力。