MCo2L：一种用于音视频问答中多模态对比持续学习的统一框架

《Neurocomputing》：MCo2L: A unified framework for multimodal contrastive continual learning in audio-visual question answering

　　摘要
在多模态环境中进行持续学习仍然是一个关键但尚未充分探索的挑战，尤其是在需要结合音频、视觉和语言输入进行 Joint 推理的任务（如 Audio-Visual Question Answering，简称 AVQA）中。尽管之前的研究已经提出了名为 AVQACL 的初始基准测试，但现有方法仍然存在灾难性遗忘、跨模态对齐不足以及示例重放不够的问题。在本文中，我们提出了 MCo2L，这是一个用于 AVQA 中的多模态对比持续学习的新型框架。MCo2L 集成了三个关键组件：（1）多模态对比嵌入（MCE）模块，该模块通过三模态 InfoNCE 目标来促进语义一致性，应用对比学习的既定互信息下界解释来鼓励跨模态对齐；（2）语义到感知的重放（S2P）机制，该机制通过问题级别的语义聚类和音视频感知调优来选择多样化和具有代表性的示例；（3）混合知识蒸馏（HKD）策略，该策略对齐中间模态特征和输出逻辑值以保留先前的知识。在两个 AVQACL 基准测试上的广泛实验表明，MCo2L 在持续 AVQA 环境中实现了最先进的性能，能够在渐进式音视频问答任务中提供强大的保持能力和迁移能力。

引言
Audio-Visual Question Answering（AVQA）位于计算机视觉、自然语言处理和音频理解的交汇处。它扩展了一般的视觉问答范式，最近的研究探索了因果推理、神经符号推理、逻辑引导的推理以及少量样本的多模态解释，以提高 VQA 系统的可解释性和推理能力 [60]、[61]、[62]、[63]。AVQA 还要求基于结合了视觉动态、声学事件和语言语义的多模态视频内容来回答自然语言问题 [27]、[65]、[66]。随着多媒体平台和交互式智能系统的迅速发展，AVQA 已成为基于内容的视频检索、教育辅导系统、多媒体推荐、智能监控和具身 AI 助手等应用中不可或缺的组成部分 [6]、[25]、[26]、[32]。
在这些现实世界的场景中，AVQA 系统必须在其不断变化的环境中运行，新的对象类别、声学模式和问题类型会随着时间的推移而出现。这要求模型不仅要学习新任务，还要保留先前获得的知识，使得持续学习（CL）成为必要条件而非可选功能。然而，由于固有的模态异质性、异步的时间结构以及跨模态推理依赖性，持续 AVQA 比其单模态甚至双模态对应任务要具有更大的挑战性。如图 1 所示，简单地在新数据上微调 AVQA 模型通常会导致严重的灾难性遗忘、模态特定特征空间的不对齐以及跨任务的语义基础退化 [35]、[58]、[69]。
最近，Wu 等人提出了 AVQACL [58]，这是首个专门为 AVQA 中的持续学习设计的基准测试。他们的研究指出了持续多模态推理中的三个基本挑战：（1）语义漂移，由于参数的累积变化，重复的问题模板被错误解释；（2）时空遗忘，随着任务的进展，时间顺序和视空间关系会退化；（3）注意力分散，模型逐渐无法关注关键的跨模态线索。尽管 AVQACL 提出了基于任务的融合和蒸馏策略来缓解这些问题，但仍然存在两个关键限制。首先，它缺乏明确的对比对齐机制来维持跨任务之间音频、视觉和文本表示的稳定关系。其次，其记忆重放机制没有结合示例级别的语义或感知选择，从而降低了其在跨任务中保持多样化和代表性多模态知识的能力。
这些限制突显了多模态持续学习中的更广泛差距：现有框架要么专注于模态特定的稳定性（例如，特征蒸馏、架构冻结），要么仅依赖基于重放的复习，但很少在统一的框架下整合原则性的表示对齐、记忆选择和知识保留。此外，大多数先前的方法独立处理音频、视觉和文本模态，忽略了 AVQA 推理本质上依赖于三模态交互的事实。如果不跨任务保留这些交互，模型就无法在语言查询和音视频证据之间保持一致的基础。
为了解决这些挑战，我们提出了 MCo2L，这是一个用于 AVQA 中多模态对比持续学习的统一框架。我们的框架整合了三个互补组件，以解决 AVQACL 中的耦合失败模式：跨模态表示漂移、记忆代表性不足和历史知识退化。具体来说，MCo2L 使用：（1）多模态对比嵌入（MCE）模块，通过三模态 InfoNCE 目标来强制跨模态的语义对齐，将对比学习的既定互信息下界解释应用于音视频-问题设置；（2）语义到感知的重放（S2P）机制，通过问题级别的语义聚类和音视频感知调优来选择记忆样本；（3）混合知识蒸馏（HKD）策略，共同保留中间模态特定表示和输出级别分布。与之前的 AVQACL 导向设计（如 AVQACL [58]）相比，MCo2L 提供了一个统一的持续 AVQA 框架，将表示对齐、示例选择和知识保留集成在一个统一的训练目标中。通过在 Split-AVQA 和 Split-MUSIC-AVQA 上的基准测试，MCo2L 在持续 AVQA 环境中展示了显著的保持能力和框架鲁棒性提高，缩小了持续学习模型与联合训练的上限之间的性能差距。对比对齐、原则性示例重放和混合蒸馏的结合使该框架即使在长任务序列下也能维持稳定的跨模态推理。我们的贡献总结如下：
•我们介绍了 MCo2L，这是一个 AVQACL 框架，它结合了三模态对比对齐、语义-感知重放和混合蒸馏，以解决顺序任务学习中的跨模态漂移、记忆代表性和知识退化问题。
•我们提出了 MCE，它将已建立的 InfoNCE 解释应用于音视频-问题对齐，为跨任务保持全局跨模态语义一致性提供了信息论依据。
•我们设计了 S2P，这是一种语义到感知的示例选择策略，首先保留问题级别的语义多样性，然后使用音视频感知代表性来细化记忆样本。我们进一步分析了其冻结特征提取器和近似聚类策略的鲁棒性和计算成本。
•我们开发了 HKD 以保留模态级别表示和输出级别行为，并提供了组件交互分析，表明 MCo2L 并不仅仅是对比学习、重放和蒸馏的简单堆叠。
•在 Split-AVQA 和 Split-MUSIC-AVQA 上的广泛实验表明，MCo2L 在持续 AVQA 环境中实现了最先进的成果，在平均准确率和遗忘控制方面显著优于之前的 AVQA 导向和持续学习基线。

章节片段
视觉问答和解释性推理
Visual Question Answering（VQA）旨在基于视觉内容回答自然语言问题，并已成为评估多模态感知和推理的重要任务。除了答案预测之外，最近的研究越来越关注解释性 VQA，模型不仅需要提供准确的答案，还需要提供可解释的推理过程。Xue 等人 [61] 提出了一种用于解释性 VQA 的变分因果推理网络，引入了因果建模到问题构建中。
我们考虑了 Audio-Visual Question Answering（AVQACL）的持续学习任务，其中模型逐步学习基于多模态视频输入回答自然语言问题。在每个任务中，训练数据集表示为：
其中 是音频片段， 是视觉帧序列， 是相应的问题， 是从任务特定答案集中抽取的真实答案。模型遇到一系列任务：
并且必须学习

方法论
我们提出的 MCo2L 如图 2 所示。该模型架构基于 AVQACL [58] 中引入的编码器融合设计，结合了三种模态：音频、视觉和问题作为输入。我们的贡献包括三个核心组件：多模态对比嵌入（MCE）、语义到感知的重放（S2P）和混合知识蒸馏（HKD）。

数据集和指标
我们在两个从 AVQACL [58] 改进的基准测试上评估我们的方法：Split-AVQA 和 Split-MUSIC-AVQA。Split-AVQA 包含 39,314 个视频和 41,008 对问答对，涵盖了 120 个声音类别和四种问题类型（其中，哪些，发生，来自）。Split-MUSIC-AVQA 包含 7,324 个音乐表演片段和 20,774 对问答对，涵盖了五种以推理为中心的问题类型（计数、位置、比较、时间、存在）。遵循 AVQACL [58]，我们采用了两个评估指标：平均

结论
我们提出了 MCo2L，这是一个用于 Audio-Visual Question Answering（AVQA）中的多模态对比持续学习的统一框架。MCo2L 通过整合三个互补组件解决了 AVQACL 中的关键挑战：（1）多模态对比嵌入（MCE）通过 InfoNCE 目标对齐三模态表示；（2）混合知识蒸馏（HKD）跨任务保留语义和决策级别的知识；（3）语义到感知的重放（S2P）用于示例选择。

局限性和未来方向
尽管 MCo2L 一致地提高了持续 AVQA 的性能，但仍有几个方面需要未来的研究。首先，MCo2L 主要保留了全局的音视频-问题语义对齐。虽然音频和视觉编码器仍然提取时间表示，并且融合模块汇总了用于答案预测的时间线索，但当前 MCE 目标是在样本级别的模态嵌入上操作的，并没有明确地对事件序列施加顺序敏感的约束。

红印作者贡献声明
Kaixuan Wu：撰写 – 原始草稿、可视化、验证、软件、方法论。
Xinde Li：撰写 – 审稿与编辑、项目管理、资金获取。
Xinglin Li：可视化、验证、资源、形式分析。
Kezhu Zuo：调查、数据管理。
Fir Dunkin：撰写 – 审稿与编辑、概念化。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢
资助：这项工作得到了中国国家自然科学基金（Grant 62233003）和 U25A20477 的共同支持。
Kaixuan Wu 于 2015 年在中国重庆获得了重庆大学的机电工程学士学位。之后，他在一家汽车公司工作了两年，然后于 2021 年在中国天津的天津工业大学获得了机械工程硕士学位。他目前正在中国南京的东南大学攻读控制科学与工程博士学位。他的研究兴趣包括计算机视觉、多模态持续学习等。

Kaixuan Wu|Xinde Li|Xinglin Li|Kezhu Zuo|Fir Dunkin
中国南京东南大学自动化学院测量与控制重点实验室，邮编 210018