综述：HCATRE-AVAD：用于弱监督音视频异常检测的层次化交叉对齐与时间关系编码方法

《Image and Vision Computing》：HCATRE-AVAD: Hierarchical cross-alignment and temporal relational encoding for weakly supervised audio-visual anomaly detection

　　

Nuku Atta Kordzo Abiew|高立坚|Godbless Mensah|董文龙|毛启荣

中国江苏省镇江市江苏大学计算机科学与通信工程学院，邮编212013

摘要

在弱监督条件下，由于缺乏帧级标签、音视频流不同步以及复杂的时间依赖关系，检测未剪辑监控视频中的异常行为十分困难。许多现有方法在融合不同模态信息时未纠正对齐问题，从而导致预测结果粗糙或模糊。我们提出了HCATRE-AVAD模型，该模型结合层次化交叉对齐与时间关系编码，用于弱监督下的音视频异常检测。交叉对齐模块通过多尺度注意力交互来同步音视频特征，实现从粗到细的语义融合。时间关系编码器则结合全局共现的并行推理与时间进展的序列推理，提升对细微且分散异常的定位能力。对比对齐损失进一步强化了跨流一致性，而基于top-k的多实例学习策略则仅利用视频级标签就能生成帧级异常得分。在基准数据集上的实验表明，该模型在XD-Violence数据集上的帧级平均精度达到95.75%，优于以往的弱监督方法，在UCF-Crime和ShanghaiTech数据集上也表现出色。定性分析结果显示，该模型能够清晰展现音频线索何时以及如何强化视觉证据。这项工作为弱监督条件下的音视频异常检测提供了高效且可解释的解决方案，具有很强的实际应用前景。

引言

视频异常检测旨在识别未剪辑监控视频中的异常事件，如事故、暴力行为或可疑动作。尽管这对公共安全至关重要，但大多数现有方法依赖于强监督，需要昂贵的帧级或像素级标注[1]、[2]、[3]。这促使人们开始关注弱监督方法，这类方法在训练过程中仅使用视频级标签。

随着监控摄像头在公共和私人场所的广泛部署，人们能够同时获取视频流和音频流[4]、[5]、[6]、[7]。然而在实际应用中，由于感知延迟、编码缺陷或环境干扰，这些信号往往存在不同步现象[8]、[9]。在缺乏精细标签的弱监督环境下，音视频流之间的时间不对齐极大地增加了异常检测的难度。如何在无需明确时间对齐的情况下利用不同流中的互补信息，仍是一个尚未解决的难题。

在现实场景中，异常事件往往会在不同模态之间共同出现[10]。例如，恐慌引发的喊叫常常伴随着暴力冲突，而爆炸的声学特征也会伴随特定的视觉运动[11]、[12]。尽管如此，许多弱监督模型要么完全忽略音频线索，要么采用后期融合策略，无法实现跨模态对应关系，从而导致预测结果模糊或定位错误，尤其是对于那些较为微妙或分布在不同时间点的异常情况[13]。此外，现有方法往往缺乏可解释性，难以明确每种模态是如何为最终决策做出贡献的。

为解决这些问题，我们提出了一种基于层次化交叉对齐整合器和时间关系编码的模型，用于弱监督下的音视频异常检测。层次化交叉对齐整合器模块能够明确地在多个时间尺度上同步不同步的音视频特征，确保从细节到整体的一致性整合。在经过对齐的特征基础上，时间关系编码器引入了两种推理路径：一种用于捕捉全局共现模式，另一种用于建模时间发展过程，从而提升对细微且持续时间较长的异常的定位能力。

与传统MIL池化或标准自注意力机制不同，时间关系编码器能够分别处理并发和时间顺序上的时间依赖关系。这种分离方式避免了将短期共现的线索与长期发展的模式混为一谈，从而能够更精准地定位逐渐升级的异常情况，比如暴力行为的加剧。

整个模型通过top-$k$多实例学习目标进行训练，并通过对比对齐损失进行正则化，从而在缺乏帧级标签的情况下保证各流之间的语义一致性。

本研究的主要贡献如下：

• 1.
  首次提出基于层次化交叉对齐整合器的弱监督音视频异常检测模型，用于解决时间不对齐问题。
• 2.
  引入具有并行与序列两种推理路径的时间关系编码器
• 3.
  设计出一种对比对齐损失函数，既能保证跨模态一致性，又能提升模型的可解释性。
• 4.
  在XD-Violence数据集上取得最新最佳性能，在UCF-Crime和ShanghaiTech数据集上也表现优异，同时通过大量实验分析和可视化结果验证了模型的有效性。

大量的实验和定性分析表明，所提出的模型不仅提升了异常检测的准确性，还能实现精细且可解释的异常定位，为构建可扩展的实时音视频监控系统奠定了重要基础。

本文的结构如下：第2节回顾相关研究，阐明本工作的定位；第3节介绍所提出的HCATRE-AVAD模型及其核心组成部分；第4节描述实验设置、数据集和评估指标，并给出定量与定性分析结果；最后第5节总结全文，并指出未来在多模态视频异常检测领域的研究方向。

章节节选

视频异常检测概述

视频异常检测旨在识别未剪辑视频流中的异常或可疑活动，这类活动通常表现为与正常行为模式存在时间上的偏差[14]。早期的方法依赖于手工设计的特征，如光流、物体轨迹、稀疏编码或基于外观的线索，再结合统计或聚类技术[15]、[16]、[17]、[18]。虽然这些方法在受限环境中取得了不错的效果，但

方法论

为了解决在弱监督条件下检测并定位未剪辑监控视频中多个可能重叠的异常事件的难题，我们提出了一种基于两项创新技术的模型：HCAI和TRE。与那些简单地将特征拼接或采用后期融合的传统方法不同，HCAI能够明确地在多个时间尺度上同步不同步的音视频流。而与标准自注意力机制不同，TRE则采用了双路径处理方式

音视频异常检测的基准数据集

我们在三个基准数据集上对HCATRE-AVAD进行了测试：XD-Violence、UCF-Crime和ShanghaiTech。这些数据集在时长、可用模态（音视频或仅视频）、标注粒度（视频级或帧级）等方面存在差异，因此能够提供全面的评估视角。表2总结了这些数据集的关键特点。

XD-Violence数据集[44]是一个大规模的多模态基准数据集，专为弱监督异常检测而设计。它包含了4754段未剪辑的监控视频，总时长为

结论

本研究提出了一种全新的弱监督音视频异常检测模型——HCATRE-AVAD。该模型通过整合层次化跨模态对齐、时间关系推理以及对比对齐技术，解决了弱监督环境下的诸多难题，能够在仅依靠视频级标签的情况下充分利用同步的音视频线索。其核心组件层次化交叉对齐整合器能够通过多时间尺度的交叉注意力机制实现从精细到整体的对齐

CRediT作者贡献说明

Nuku Atta Kordzo Abiew：撰写——初稿、验证、软件开发、方法设计、概念构思。高立坚：撰写——审阅与编辑、验证、监督指导。Godbless Mensah：撰写——审阅与编辑、验证、软件开发、问题研究。董文龙：撰写——审阅与编辑、验证。毛启荣：撰写——审阅与编辑、验证、监督指导、资金筹集。

资金支持列表

• 1.
  国家自然科学基金一般项目，项目编号：62176106，负责人：Nuku Atta Kordzo Abiew
• 2.
  江苏省重点研发计划，项目编号：BE2020036，负责人：Nuku Atta Kordzo Abiew
• 3.
  国家自然科学基金重点项目，项目编号：U1836220，负责人：Nuku Atta Kordzo Abiew
• 4.
  江苏大学农业工程学院项目，资助/奖励编号：NGXB20240101，负责人：Nuku Atta Kordzo Abiew
• 5.
  特殊科学研究项目

利益冲突声明

作者声明在本文研究内容方面不存在任何利益冲突。