利用基于CLIP的全局上下文调节技术实现有效的音视频事件定位，以降低事件过度自信的问题

《Pattern Recognition》：Effective Audio-Visual Event Localization using CLIP-based Global Context Regulation for Mitigating Event Overconfidence

事件定位中的模态不一致性导致模型过度自信，本文提出基于CLIP的全球上下文调节方法通过计算多模态相似性后处理来抑制错误预测，并构建I-AVE数据集验证其有效性，实验表明该方法优于现有方法。

　　

Sang-Rak Lee|A-Seong Moon|Bong-Soo Sohn|Jaesung Lee

韩国首尔东桥区鹤石路84号中央大学人工智能系，邮编06974

摘要

音视频事件定位是指利用听觉和视觉模态的联合建模来识别视频中可见和可听到的事件。当音频和视觉上下文不一致时，会遇到挑战，因为这两种信息之间存在冲突（例如，屏幕上的视觉显示婴儿在哭泣，而屏幕外的女性在说话）。在这种情况下，两种模态都显示出较高的重要性值，导致模型将背景误分类为事件。为了解决这个问题，我们提出了一种基于CLIP的全局上下文调节方法，该方法利用了预训练的AudioCLIP编码器。这种方法通过后处理有效调节了与事件相关的得分，即使在训练数据有限且存在不一致性的情况下也能表现出良好的性能。我们引入了一个针对不一致情况的基准数据集，以便进行可靠的评估。实验结果表明，我们的模型优于现有方法，在事件定位方面达到了最先进的水平。这些发现强调了在多模态不一致性下调节事件过度自信的重要性，有助于在现实世界应用中实现更准确的事件定位。我们的代码和数据集可在此处获取：https://github.com/PangRAK/GCRN

引言

音视频事件定位（AVEL）是指识别在特定时间持续期内发生的音频和视频事件。在实际应用中，AVEL系统接收同步的音频和视频流，并通过联合考虑这两种模态来确定事件发生的时间和类型。AVEL已应用于多个领域，包括视频监控、多媒体内容分析和医疗保健[1]、[2]。其主要优势在于通过联合建模听觉和视觉模态来提高事件检测的准确性，从而比单独使用任一模态获得更准确和稳健的定位结果[2]。在现实世界的视频中，这种多模态方法特别有益，因为一种模态可能受到干扰、部分缺失或视觉上不明确，此时另一种模态可以提供补充证据。

图1展示了使用两种模态进行事件定位的过程。在事件预测阶段，只有当片段同时可听和可见时，才会被识别为事件。这一阶段的重点是判断片段应被视为与事件相关还是背景，这对于减少可能传播到后续阶段的误报至关重要。在事件定位阶段，将事件类别分配给已识别的片段。这种两阶段的方法反映了准确的事件发生预测是可靠事件分类的前提，尤其是在视频包含背景音频、摄像机运动或多个并发活动的情况下。因此，事件预测的错误可能导致连锁故障，错误的事件片段被传递进行分类，最终预测的可靠性降低。

关于AVEL的研究主要集中在捕捉音频和视觉模态之间的关系[3]、[4]、[5]、[6]、[7]上。传统方法大致分为两类：跨模态注意力和表示学习。跨模态注意力通过动态加权特定模态的证据来增强模型捕捉互补特征的能力，并提高上下文理解。此外，基于注意力的机制通常试图将显著的音频线索与视觉信息丰富的区域或帧对齐，从而实现更精确的时间定位。表示学习通过捕捉共享特征和特定模态的特征来提高模型的泛化能力。特别是，学习鲁棒的表示可以减少对数据集偏差的敏感性，并在声学环境、摄像机视角或事件频率在不同视频之间变化时提高模型的迁移能力。尽管有这些进展，但由于背景噪声、遮挡、视觉证据薄弱以及多个声源的存在，AVEL在无约束环境中仍然具有挑战性。

AVEL的一个挑战是处理包含不一致信息的输入——即两种模态中发生的事件属于不同类别但都清晰可见的情况。这种不一致性与一种模态中简单缺少事件的情况不同；相反，它指的是每种模态都指示了一个合理但语义不同的事件。例如，屏幕上的视觉显示婴儿在哭泣，而屏幕外的音频包含女性的声音，因此两种模态传达了不同的信息。这种不匹配在真实视频中很常见，可能是由于屏幕外的声音、旁白、背景对话或编辑效果造成的，并且可能持续存在于多个连续的片段中。在这种情况下，两种模态都会获得较高的重要性值，导致模型错误地预测“事件”，而正确的标签应该是“背景”。我们将这种情况称为事件过度自信。这个问题尤其严重，因为即使正确的决策应该是将片段视为非事件，模型也可能变得过于自信，从而产生误报并降低下游分类的可靠性。

在本文中，我们提出了一种基于CLIP的全局上下文调节（GCR）方法来缓解现有研究中存在的事件过度自信问题。我们的方法针对由不一致的上下文信号引起的过度自信行为，旨在无需额外监督或专门训练数据即可调节与事件相关的得分。我们的方法开发过程中考虑了几个设计要点。首先，我们旨在保留输入数据的同时防止异常高的事件相关得分。我们没有修改原始的音频或视觉输入，而是专注于控制模型产生的置信度动态，使得语义不一致的片段不会获得不合理的事件得分。为此，我们应用了一种后处理方法，该方法直接使用从初始音频和视觉特征计算的时间余弦相似度来调节与事件相关的得分。直觉上，语义对齐的片段应该表现出更高的跨模态相似度，而语义不一致的片段即使各自看起来都很显著，也应该显示出较低的相似度。其次，由于缺乏包含不一致信息的视频数据，我们采用了一种不依赖于学习的方法，通过计算从预训练的AudioCLIP编码器[8]提取的音频和视觉特征之间的余弦相似度。通过利用预训练的编码器，我们避免了依赖额外的训练来处理不一致性，并且可以将调节步骤作为模块化组件集成到现有的AVEL流程中。

我们还提供了带有AudioCLIP提取特征的AVE数据集，并引入了不一致AVE（I-AVE）基准数据集，这是一个包含不一致片段及其类型和时间边界的新的标注数据集。该基准数据集旨在系统地评估在冲突上下文信息下的鲁棒性，并支持对标准AVEL评估协议未能捕捉到的失败案例进行细粒度分析。对这两个数据集的评估表明，我们的方法达到了最先进的性能。进一步分析事件相关预测和分类的结果指出了未来研究的方向，包括改进对多个同时发生的事件的处理以及更可靠地拒绝包含强烈但矛盾的特定模态线索的片段。

总结来说，本研究的主要贡献如下：（1）我们提出了一种GCR方法，有效解决了两种模态之间的上下文信息不一致时事件过度自信的问题。（2）我们构建并发布了带有详细标注的I-AVE基准数据集，用于处理音频和视觉模态提供冲突上下文信息的场景，从而实现稳健的评估。（3）我们在AVE和I-AVE数据集上取得了最先进的性能，并通过分别评估与事件相关的预测和事件分类进一步分析了性能下降的原因。

相关工作

相关工作

近年来，AVEL在多媒体和视频AI研究领域受到了广泛关注。已经提出了多种方法来通过有效结合和同步音频和视频数据来提高事件检测的准确性[9]。本节全面回顾了现有的AVEL文献，重点介绍了关键方法及其对该领域的贡献。

声音事件定位和检测（SELD）以及时间动作定位（TAL）构成了

提出的方法

我们提出了一种GCR方法，通过利用预训练的AudioCLIP[8]编码器来缓解事件过度自信的问题。

实验结果

在本节中，我们展示了我们提出的基于CLIP的GCR方法的结果，并将其效果与最先进的AVEL模型进行了比较。实验旨在评估集成GCR的影响，特别是考察它是否改善了事件定位，并有效调节了由不一致的音视频上下文引起的膨胀的重要性值。

讨论

本研究的结果强调了所提出的基于CLIP的GCR方法在处理不一致信息时有效解决错误预测问题的有效性。本节讨论了定性分析以及模型的优点和局限性，并概述了更稳健处理不一致性的潜在改进措施。通过分析定性示例和失败模式，我们旨在明确GCR在何时最有益，以及何时需要额外的机制

结论

在本研究中，我们解决了传统模型在面对不一致的音视频信息时做出错误预测的挑战。具体来说，当不一致性明显存在时，模型经常将片段错误地分类为“事件”而不是“背景”。为了解决这个问题，我们提出了一种简单而有效的基于CLIP的GCR方法，该方法对经过微调的AudioCLIP特征进行后处理，根据音视频相关性调整置信度得分。我们的方法即使在

作者贡献声明

Sang-Rak Lee：撰写——原始草稿、项目管理、方法论、概念化。A-Seong Moon：撰写——审阅与编辑、验证、调查。Bong-Soo Sohn：验证。Jaesung Lee：监督。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：

本研究得到了韩国政府（MSIT）资助的信息与通信技术规划与评估研究所（IITP）的资助[RS-2021-II211341，中央大学人工智能研究生院项目]和[2021-0-00766，支持自动神经网络开发的集成开发框架]

致谢

本研究得到了韩国政府（MSIT）资助的信息与通信技术规划与评估研究所（IITP）的资助[RS-2021-II211341，中央大学人工智能研究生院项目]和[2021-0-00766，支持自动神经网络生成和部署的集成开发框架]