一个用于弱监督学习的短视频异常检测基准测试，采用基于时间引导的多特征融合方法

《Pattern Recognition》：A short video anomaly detection benchmark with temporal-guided multi-feature fusion for weak supervision

视频异常检测领域提出SVAD数据集和TFF-Net模型，数据集包含七类青少年危险行为异常，支持闭集和开集任务，提升AUC 8%。

　　

杨雅欣|韩超|万军

中国广西壮族自治区南宁市，530004，广西大学

摘要

为了便于将视频级别的注释作为异常标签获取，在视频异常检测（WS-VAD）领域，弱监督检测已成为一个热门任务。在本文中，我们从主流视频网站收集了丰富的在线短视频，并将其纳入“短视频用于视频异常检测”（SVAD）数据集，从而丰富了现有的VAD数据集。该数据集涵盖了从单个人体异常到群体异常的七种异常类型，并包含了丰富的场景信息。此外，SVAD数据集能够执行封闭集和开放集任务。我们还提出了一种基于时间引导的特征融合网络（TFF-Net）。TFF-Net由基于卷积的特征融合模块和时间模块组成，前者在局部和全局层面细化特征提取，后者构建视频的时间依赖关系。TFF-Net取得了最佳性能，与其他最先进方法相比，AUC提高了8%。我们的SVAD数据集可在以下链接获取：https://github.com/EEML-HC/SVAD-Dataset/。

引言

视频异常检测是计算机视觉领域的一个热门课题。由于视频级别的注释作为异常标签非常简单，弱监督视频异常检测（WS-VAD）已成为一个流行的任务。为了训练和测试异常检测模型，出现了许多关于视频异常检测的数据集。然而，现有的异常检测数据集存在三个弱点。

• •
  首先，对于短视频中的复杂场景，异常模式不够全面。大多数视频异常检测数据集关注道路场景，主要检测汽车和行人的异常，还有一些专门用于检测暴力行为的异常。因此，迫切需要更多贴近现实生活的异常类型。
• •
  其次，所有这些弱监督数据集最初都是分为封闭集的，无法测试模型检测未知异常类型的能力。
• •
  第三，弱监督数据集提供的注释仅是粗粒度的。

为了弥补这些不足，我们从主流视频网站收集了丰富的在线短视频，形成了“短视频用于视频异常检测”（SVAD）数据集。该数据集以青少年为主题，涵盖了不适合青少年的七种异常类型，如虐待动物、斗殴和流浪汉事故等。其异常类型从单个人体异常到群体异常都有，且包含丰富的场景信息。此外，为了适应现实世界中在线短视频质量不均的问题，我们保留了视频的原始质量和大小。因此，由于其视频质量和场景的多样性，SVAD数据集对大多数视频异常检测基线模型提出了严峻挑战。

SVAD数据集可以用于执行封闭集和开放集任务（见图1），这有助于在不同情况下评估模型性能，并促进开放集领域的发展。

我们在表1中对比了现有的数据集。如表所示，我们的SVAD数据集包含了大量的异常事件和场景。值得注意的是，UBnormal的测试帧包含了其官方的测试集和验证集。在本文中，我们评估了几种最先进的视频异常检测模型的性能。评估结果表明，所提出的SVAD数据集能够有效促进这些方法的进步。

此外，我们提出了一种基于时间引导的特征融合网络（TFF-Net），它包括一个基于卷积的特征融合模块（CLFE）、一个内容引导的注意力模块（CGA）和一个时间模式注意力机制（TPA）。TFF-Net模型实现了一个严格且逻辑连贯的流程，实现了各组件之间的深度集成和协同优化。在CLFE模块检测出最显著区域后，CGA模块捕获这些区域内的更细微的空间依赖关系。最后，TPA模块构建时间相关性作为补充信息。

总结来说，我们的贡献如下：

• •
  我们引入了一个新的异常检测数据集SVAD，该数据集使用了视频级别的注释。SVAD数据集在弱监督视频异常检测领域定义了四种新的异常类型。我们在数据集上提供了封闭集和开放集分割，提取了六种视频特征。
• •
  我们提出了一种基于时间引导的特征融合网络（TFF-Net），它结合了多尺度特征融合模块和时间一致性捕获模块。在时间域，模型能够捕捉连续视频帧之间的时间相关性，并建立时间依赖关系，这对于识别长期异常事件特别有效。在空间域，模型能够快速提取全局特征，识别显著区域并捕获空间依赖关系，从而提高了对细微异常的检测能力。
• •
  我们在几个最先进的基线上测试了我们的SVAD数据集，并将其性能与现有的VAD数据集进行了比较。我们在几个最先进的基准测试上训练了我们的TFF-Net，在我们的SVAD数据集上取得了85.23%的AUC，与其他方法相比，AUC提高了8%。

本文的结构如下：第2节介绍了几种常见的视频异常检测数据集。第3节总体介绍了我们的SVAD数据集。第4节介绍了我们的TFF-Net。第5节展示了在选定基线上的评估指标和测试结果。第6节总结了本文的优点和缺点。

章节片段

视频异常检测数据集

根据注释方法，现有的视频异常检测数据集可以分为两类：像素级注释数据集和帧级注释数据集

像素级注释数据集具有细粒度的注释，不仅标注了异常事件的起始帧和结束帧，还标注了每个异常帧中的像素区域。这种注释方法可以表示详细的异常信息，但耗时且工作量大。在视频异常检测中

数据收集和注释

大多数主流视频异常检测数据集关注道路事件和暴力相关场景。然而，随着背景和事件多样的短视频成为流行的娱乐方式，视频异常检测任务变得越来越具有挑战性。这一趋势凸显了需要更多全面的异常类型来训练更适应现实世界检测的模型的迫切需求。

为此，我们从YouTube等主流视频网站收集了383个短视频

基于时间引导的特征融合网络

我们提出的模型TFF-Net由三个部分组成：基于卷积的特征融合模块（CLFE）、内容引导的注意力模块（CGA）和时间模式注意力机制（TPA）。CLFE模块执行详细的局部显著特征提取，CGA模块提取并融合空间依赖关系。TPA机制构建全局长期时间关系。图4展示了TFF-Net的框架。

评估指标

我们选择帧级AUC（ROC曲线下面积）作为评估模型预测性能的指标。ROC曲线以假阳性率为横轴，真阳性率为纵轴，AUC是ROC曲线下的面积。理想情况下，阳性预测的比例远高于假阳性预测的比例。因此，ROC曲线下的面积越大，AUC分数越高，模型的性能越好

结论

本研究构建了首个适用于开放社交短视频环境的视频异常检测基准数据集。与现有的固定监控视角视频或合成生成的视频不同，我们的数据集在社交属性方面实现了创新，具有灵活多样的视角和真实材料，并包含了四种新的异常类别。所有样本均来自短视频平台，完全符合规范。此外，该数据集支持开放集分割

CRediT作者贡献声明

杨雅欣：撰写——原始草稿。韩超：资金获取。万军：撰写——审稿与编辑。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。