ASTRM：用于音视频问答的自适应时空推理技术

《Pattern Recognition》：ASTRM: Adaptive spatio-temporal reasoning for audio-visual question answering

　　

• •
  我们提出了ASTRM，这是一种用于多模态AVQA推理的自适应时空模型。
• •
  CSTR模块能够自适应地定位与问题相关的音视频片段及视觉对象。
• •
  FGIR通过嵌入多尺度细节来优化视觉特征以及跨模态对齐效果。
• •
  ASTRM在MUSIC-AVQA、MUSIC-AVQA-R和AVQA基准测试中取得了当前最佳准确率。

引言

音视频场景理解技术发展迅速，相关研究涵盖了事件定位[1]、声源定位[2]、[3]、视频解析[4]、[5]、分割[6]、[7]以及分离[8]、[9]等领域。虽然这些以感知为导向的方法为音视频对应关系建立了基础，但要实现AVQA中的更高级别推理，就需要基于查询的对多模态信号进行自适应解读。Zhang等人[10]利用语音基础模型的知识蒸馏来提升下游推理能力，而近期还有研究试图通过为语言模型注入世界知识来提高推理质量[11]。在模式识别领域，人们重新审视了基于问题的推理方法，以此减少虚假关联和语言先验的影响[12]、[13]，同时也在探索循环一致性推理，以获得更强的跨模态推断能力[14]。这些研究结果表明，在复杂且无约束的场景中，消除数据集偏差并实现精细的实体对齐对于AVQA来说至关重要[15]。

为推动AVQA研究的发展，Li等人[16]提出了带有时空对齐模型的MUSIC-AVQA基准测试。Jiang和Yin[17]设计了基于CLIP的单流网络，并加入了目标感知的时空模块，而Zhao等人[18]则提出了基于对比学习的自适应融合网络AVAF-Net。尽管有了这些进展，音视频问答领域仍存在一些亟待解决的挑战。

挑战1：多模态数据下的时空推理复杂性。在AVQA任务中，多源音视频场景包含多个物体和事件在不同时间帧内的动态交互，这就需要一种能够整合视觉与听觉信息、并在大量干扰性背景数据中识别出关键线索的有效时空推理方法。如图1所示，要回答“在大提琴之后是哪种乐器发声？”这一问题，模型需要先确定最先发声的乐器及其关键帧和音频片段，同时还要定位大提琴以及后续乐器的位置。然而，大量的音视频内容带来了大量无关的背景信息。现有的方法往往采用统一采样或全局聚合的方式，对所有帧和音频片段一视同仁，导致问题相关的线索被冗余信息稀释，从而影响推理效果。

挑战2：跨模态的精细匹配与理解不足。实现不同模态之间的深度语义对齐仍是AVQA领域的核心难题。不同模态所表达的语义粒度各不相同，视觉特征描述空间结构，音频特征反映频谱变化，而语言符号则代表抽象概念。此外，音频流与视频流之间的对应关系往往是多对多的，而且由于物理传播延迟，不同事件之间还会出现时间差。例如，当小提琴和中提琴这类外观相似的乐器同时出现时，要将特定的声音与其对应的视觉来源正确关联起来，就需要在物体层面实现时间对齐的跨模态匹配，而这正是现有融合方法难以做到的。因此，需要一种强大的跨模态融合机制，通过识别不同模态之间的细微对应关系来弥补这种语义差距。

为应对这些挑战，我们提出了一种自适应时空推理模型（ASTRM），该模型旨在在复杂场景中，有选择地针对与问题相关的音视频线索进行推理。针对第一个挑战，我们设计了上下文时空推理（CSTR）模块，它能以自适应且精准的方式识别出对问题至关重要的帧、视觉对象以及音频片段。CSTR会根据问题语义在时间维度上筛选关键帧，同时提取相关的音频内容，还对选定的帧进行空间定位。针对第二个挑战，我们设计了细粒度信息推理（FGIR）模块，该模块首先对选定的关键帧和视觉对象进行细粒度特征嵌入，从而提升帧级的语义表达能力，然后在问题引导下将优化后的视觉特征与关键音频特征进行跨模态融合，以此刻画不同模态之间的动态关系，最终生成语义丰富的多模态联合表示。在答案预测阶段，我们会构建一个可学习的共享答案查询嵌入，用来表示目标答案空间的隐含先验，将其与多模态表示一起输入到Transformer解码器中，再通过线性变换得到答案的概率分布。

主要贡献：

• •
  我们提出了上下文时空推理（CSTR）模块，这是一种以问题为导向的机制，能够从长视频中精准地筛选出与问题相关的音视频片段和视觉对象。CSTR能够按时间顺序收集关键帧和音频片段，并对选定的帧进行空间定位，有效解决了复杂音视频场景中冗余背景信息掩盖关键内容的难题。
• •
  我们提出了细粒度信息推理（FGIR）模块，该模块通过选择性嵌入关键的视觉和听觉特征来提升帧级表示能力，同时还能刻画音视频元素之间的动态交互关系及其与问题语义的对应关系，从而解决了跨模态精细融合的难题。
• •
  我们在Music-AVQA、Music-AVQA-R和AVQA这三大基准测试上对ASTRM进行了全面评估，其准确率分别达到了77.04%、72.27%和91.3%。实验结果表明，我们的模型能够实现基于问题的关键音视频信息推理，还能提升跨模态的精细处理能力，展现出在AVQA任务中的巨大潜力。

章节节选

音视频表示学习

受人类多感官感知方式的启发，音视频场景理解已成为多模态人工智能领域的核心研究方向。视觉和听觉通过互补和协同的作用共同帮助系统构建对环境的认知，这也促使人们开发出能够模拟这种跨模态整合能力的系统。

近期的研究重点是通过时空一致性、语义对齐或因果建模等方式将音频信号和视觉信号融合在一起，从而推动事件定位[1]、[19]、声源定位等任务的发展。

方法

为了解决长且复杂的音视频序列中的时空推理问题，以及跨模态精细对齐不足的问题，我们提出了自适应时空推理模型（ASTRM）。在该模型的引导下，ASTRM采用双模块架构，能够在充满冗余信息和复杂关联的多模态信号中，精准定位并与任务相关的关键线索。

具体而言，上下文时空推理（CSTR）模块首先会动态地进行筛选

实验

我们首先介绍了所用数据集、评估指标以及实验设置，随后说明了训练配置和基线对比方法。后续章节将呈现定量实验结果、消融实验分析、超参数研究以及失败案例分析。在所有数据集中，分类准确率都被作为主要的评估指标。

结论

本文提出了用于音视频问答的自适应时空推理模型（ASTRM），该模型针对复杂多模态推理中的两个关键问题进行了改进，即音视频序列中的时空冗余问题以及跨模态的精细对齐不足问题。该框架由两个相互协作的模块组成。上下文时空推理（CSTR）模块能够根据问题需求进行自适应筛选，从而保留有用的视觉区域和帧

CRediT作者贡献说明

温明祥：撰写——初稿、验证、软件实现、方法设计、形式化分析、数据整理、概念构思。王一欣：撰写——审阅与编辑、验证工作。赵旭健：撰写——审阅与编辑、项目监督、资源协调、项目管理。金佩权：撰写——审阅与编辑、方法设计、形式化分析。陈洪友：研究调研、数据整理工作。李波：研究调研、形式化分析工作。龙寅：撰写——审阅与编辑、数据整理工作。任振文：资源协调工作

关于手稿准备过程中生成式AI及AI辅助技术的声明

在准备本论文的过程中，作者使用了Qwen工具来协助语言编辑、撰写推荐信以及格式化投稿材料。在使用该工具/服务之后，作者对内容进行了必要的审阅和修改，并对最终发表文章的内容承担全部责任。

利益冲突声明

作者声明自己不存在任何可能影响本文研究成果的已知财务利益关系或个人关系。

致谢

本研究得到了四川省科技计划（项目编号：2026NSFSC0453、2025ZNSFSC0005、2024YFFK0120）、中国中央政府引导地方项目（项目编号：2025ZYDF105）、中国国家自然科学基金（项目编号：62072419）以及西南科技大学研究生创新基金项目（项目编号：26ycx2031）的支持。

温明祥|王一欣|赵旭健|金佩权|陈洪友|李波|龙寅|任振文|李兴峰|杨春明|张辉