基于门控上下文聚合的前向一致性学习方法用于视频异常检测

《Knowledge-Based Systems》：Forward consistency learning with gated context aggregation for video anomaly detection

　　刘家豪|赵明珠|黄雪文|陈一飞|杜双丽|胡静|史成|吕志勇
陕西省网络计算与安全技术重点实验室，西安工业大学计算机科学与工程学院，西安，710048，中国

**摘要**
作为公共安全的关键要素，视频异常检测（VAD）旨在实时监控系统中测量各种事件的异常模式。然而，大多数现有的VAD方法依赖于大规模模型来追求极高的准确性，这限制了它们在资源有限的边缘设备上的可行性。此外，主流的基于预测的VAD仅使用单帧的未来预测误差来检测异常，忽略了来自更长时间跨度的前向信息的更丰富约束。在本文中，我们介绍了一种轻量级的VAD模型FoGA，该模型通过门控上下文聚合（Gated Context Aggregation）实现前向一致性学习，参数量约为200万，并针对潜在的边缘设备进行了优化。具体而言，我们提出了一种基于Unet的方法，该方法对连续帧进行特征提取，以生成即时和未来的预测结果。然后，我们将门控上下文聚合模块引入跳过连接中，以在同一空间尺度上动态融合编码器和解码器的特征。最后，该模型结合了一种新颖的前向一致性损失函数进行联合优化，并采用了混合异常测量策略，将即时帧和未来帧的误差结合起来，以实现更准确的检测。广泛的实验表明，所提出的方法有效优于现有的最先进方法，运行速度可达到155 FPS。因此，我们的FoGA在性能和效率指标之间实现了出色的平衡。

**引言**
视频监控系统已在公共安全领域得到广泛应用，导致记录的视频数据量呈爆炸性增长[1]。然而，大多数监控设备仅存储视频流，缺乏检测异常事件并及时发出智能警报的能力。因此，开发兼具高准确性和快速响应的视频异常检测（VAD）技术需要对复杂场景有深入的理解[2]，这引起了研究者越来越多的关注，并且仍然是计算机视觉领域一个极具挑战性的任务。

异常通常被定义为偏离正常模式或预期行为的事件[3] [4]，其特征是不确定性和不规则性，例如抛掷物体、奔跑或违反交通规则。由于这些特性，在现实场景中，异常事件的发生频率远低于正常事件[5] [6]，这给有效的异常检测带来了重大挑战。因此，在这种高度不平衡的数据分布下进行无监督异常检测已成为主要的研究焦点[7]。

近期，无监督方法主要分为基于重建的方法和基于预测的方法。基于重建的方法[3] [10] [11] [12] [13] [14] 首先重建输入视频帧序列，然后根据重建帧与原始帧之间的误差进行异常检测。与此同时，基于预测的方法[8] [15] [16] [17] [18] [19] 使用输入帧序列预测下一帧，并通过计算预测帧与真实帧之间的误差来检测异常。这两类方法的核心在于从视频序列中提取空间或时间特征，并根据误差来衡量事件的偏差程度，异常事件通常会产生更大的误差。

与基于预测的方法相比，基于重建的方法会重建每个输入帧，并主要建模外观模式，从而不可避免地忽略了运动信息。因此，基于预测的VAD方法因其在捕捉时间动态和运动线索方面的更强能力而受到广泛探索[20]。预测基线[8] 使用U-Net [21] 和生成对抗网络（GAN）[22] 构建帧预测模型以生成下一帧即时帧。因此，大多数现有方法[16] [17] [23] [24] [25] 仅预测下一帧。在推理过程中，某些异常最初表现出与正常情况相似的运动模式，这使得准确区分它们变得困难，可能导致高误检率。另一方面，如图1(ii)所示，一些工作通过同时进行正向和反向预测[9] [26] 来实现双向预测，但它们仍然仅限于单帧预测。尽管上述方法开发了多种模块以提高准确性，但只有少数方法能够满足基于边缘系统的实时检测要求[18]。考虑到边缘设备的限制，开发参数更少、内存使用更低、准确性更高且性能实时化的轻量级VAD模型仍然是一个有前景的方向。

**总结**
图1(iii) 展示了所提出的FoGA。与依赖单帧预测或复杂双向预测的传统VAD范式不同，FoGA通过时间和结构约束的协同设计，在资源受限的边缘设备上实现了高性能的异常检测。具体来说，我们超越了简单的帧预测，采用了一种前向一致性学习方案，不仅生成即时帧，还学习预测更长时间范围内的未来帧。核心创新在于利用累积误差效应：虽然异常在一步预测中可能看起来正常，但在更长的时间范围内，其运动轨迹会从学习到的正常流形中非线性偏移，从而显著放大检测信号，而无需额外的计算成本。为了在紧凑的200万参数模型中实现这一点，我们设计了门控上下文聚合模块（GCAM）。与标准的多尺度融合不同，GCAM通过轻量级的门控机制适应性地过滤冗余信息，确保模型专注于对基于边缘的监控至关重要的判别性运动线索。此外，我们使用一种新颖的前向一致性损失函数对网络进行优化，强制不同时间尺度上的结构稳定性，有效解决复杂场景中的语义歧义。我们的主要贡献如下：
- **新颖的前向一致性预测**：我们提出了一种轻量级VAD，可以同时预测即时帧和更长时间范围内的未来帧，填补了高精度大型模型与实时嵌入式要求之间的差距。
- **面向效率的门控注意力机制**：我们设计了GCAM，以适应性地重新加权多尺度特征，每个模块仅额外增加0.08百万参数，实现了更优的特征利用。
- **混合偏差测量**：我们提出了一种额外的前向一致性损失函数来提高预测质量，并利用混合误差来测量异常的偏差。
- 在四个基准测试上的实验表明，我们的方法在检测性能和效率之间实现了最佳平衡。此外，通过在实际边缘设备上的部署，我们还证明了其独特价值，实现了实时检测性能。

**实验片段**
无监督VAD旨在仅从正常样本中学习正常模式，并在推理过程中测量偏差来检测异常。基于重建的方法[3] 假设异常无法被很好地重建。它们将输入帧压缩为低维特征，然后进行重建，通过重建误差来识别异常，正常事件的误差较小，异常事件的误差较大[10] [27] [28] [29]。尽管基于GAN的方法提高了正常重建的质量。

**方法论**
所提出的FoGA的整体流程如图2所示，包括一个轻量级的U-Net主干网络和一个嵌入到跳过连接中的门控上下文聚合模块（GCAM）。FoGA以t个连续帧I1:t作为输入，预测多个未来的帧I?t+1和I?t+σ。通过在训练期间实施前向一致性约束，模型学习了更具判别性的表示。在推理过程中，FoGA整合了不同时间范围内混合误差。

**数据集**
为了评估所提出方法的有效性，本文在四个具有挑战性的数据集上进行了大量实验和消融研究，即UCSD Ped1 & Ped2、CUHK Avenue和Shanghaitech：
- **UCSD Ped1**：Ped1 [49] 数据集包含70个视频片段，其中34个为训练视频，36个为测试视频，共有40个异常事件，如骑自行车的人、过马路的人以及其他一些异常事件。
- **UCSD Ped2**：Ped2 [49] 数据集包含……

**局限性**
在本节中，我们进一步讨论了所提出方法的失败情况和局限性。尽管FoGA通过关注长时间动态并利用即插即用的轻量级GCAM，在四个复杂性不同的基准测试中实现了卓越的性能-效率平衡，但在极其复杂的监控环境中仍然面临挑战。具体来说，FoGA在准确检测方面存在困难。

**结论**
在本文中，我们提出了FoGA，这是一种高效且轻量级的基于预测的VAD方法。虽然大多数现有方法以高计算开销为代价优先考虑极高准确性，但FoGA通过在资源有限的边缘设备上实现高性能异常检测来填补了这一关键缺口。它通过学习即时帧和未来帧的预测来加强时间建模。为了在最小开销下改善特征利用，我们引入了GCAM，以适应性地融合特征。

**作者贡献声明**
刘家豪：撰写 - 审稿与编辑、原始草稿撰写、方法论、概念化。
赵明珠：撰写 - 审稿与编辑、监督、项目管理、资金获取、数据管理。
黄雪文：撰写 - 审稿与编辑、验证、方法论、数据管理。
陈一飞：撰写 - 审稿与编辑、验证、软件开发、数据管理。
杜双丽：撰写 - 审稿与编辑、验证、监督。
胡静：撰写 - 审稿与编辑、软件开发、利益冲突声明。
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报道的工作。

**致谢**
本研究得到了中国陕西省自然科学基金（2024JC-ZDXM-35）、国家自然科学基金（编号62571425）和西安工业大学博士论文创新基金（BC202621）的支持。