Lumi-GANomaly：一种面向低光照视频异常检测的三元注意力条件生成对抗网络框架及基准数据集

《Journal of Visual Communication and Image Representation》：Lumi-GANomaly: A tri-attention conditional GAN framework and benchmark dataset for low-light video anomaly detection

　　

摘要

光照不足给视频异常检测带来了重大挑战，因为可见度和对比度的降低会降低异常的区分度。大多数视频异常检测方法都是在良好光照条件下进行测试的，这对于低光照监控是无效的。为了克服这些局限性，我们引入了一种条件生成对抗网络框架，在基于UNet的生成器中集成了频谱注意力、卷积块注意力模块和混合CNN-Transformer模块，以实现有效的低光照视频异常检测。为了高效区分正常和异常模式，双分支融合判别器通过多分辨率特征学习分析互补的局部纹理和全局结构信息。此外，我们引入了IITP数据集用于低光照视频异常检测。在四个基准数据集和IITP低光照数据集上的实验分别取得了95.7%、98.9%、93.8%、90.8%和74.8%的AUC分数。我们的方法能够获得具有竞争力的性能并具有高效的推理速度，适用于交通流量、校园安全和公共空间监控等现实世界的低光照监控。代码和数据集：https://github.com/pra48-cyber/Lumi-GANomaly

引言

在视频异常检测（VAD）中，异常是指其空间、时间或行为特征显著偏离正常模式学习分布的事件或活动[1]，[2]。视频监控中的异常包括异常的车辆活动或奇怪的人类行为。检测此类事件能够在监控环境中及时响应安全、安全和运营事故[3]，[4]。因此，早期和精确的异常检测有助于现实世界应用中的高效决策并防止灾难性后果。由于监控摄像头的快速发展，VAD变得日益重要[5]。自动化解决方案提供了可扩展、不会疲劳的监控以及对异常事件的及时警报，而手动监控无效且容易出错。尽管异常检测非常重要，但它非常困难。虽然异常是罕见、多样且受上下文强烈影响的，但正常行为是丰富的并遵循规律模式。在一个环境中被认为是典型的行为在另一个环境中可能不是。其次，噪声可能会引入，而视频质量差和困难的光照条件，如低光照或强烈的背光，可能会阻碍精确的异常识别[6]，[7]。在现实世界的监控系统中经常遇到光照条件差的情况，特别是在夜间运行和照明有限的环境中。校园、居民区、停车设施、交通终端和道路等地点通常能见度降低，使可靠的监控变得更加困难。由于许多异常或对安全敏感的事件可能在这些条件下发生，因此在低光照环境中保持有效的异常检测性能具有重要的实际意义。因此，由于视觉信息的退化，视频异常检测在低光照环境中变得更具挑战性且更关键。照明不足通常会导致图像对比度降低，掩盖场景的关键细节，并引入噪声，导致异常事件难以与正常活动区分开来。此外，物体边界和运动的可见性减弱会对可靠的时间信息和运动信息提取产生负面影响。因此，传统的基于重建和预测的VAD方法可能难以正确建模正常场景行为，这可能导致误报或漏检。这些局限性凸显了需要生成能够改进低光照图像同时保持可靠异常识别所需信息的异常检测框架。低光照视觉的最新研究表明，照明不足会严重降低视觉信息的质量，导致下游任务难以正确解释场景内容。因此，大量的研究工作致力于低光照增强方法，旨在恢复图像质量而不损害结构完整性或色彩保真度[8]，[9]。此外，训练高效模型的一个重要障碍是缺乏标注的异常数据。为了克服这些挑战， researchers 通常遵循两种主要策略：(i)基于重建的方法和(ii)基于预测的方法。在基于重建的方法中，模型被训练以准确重现输入数据，测试期间的大幅重建误差表明异常[10]。在基于预测的方法中，模型根据过去的序列预测未来帧，其中显著的预测误差揭示了异常事件[11]。尽管基于重建的方法取得了令人瞩目的结果，但其中许多方法主要依赖帧重建质量，这可能无法充分捕获与异常事件相关的复杂时间依赖性。基于预测的方法通过跨帧建模时间演化部分解决了这一局限性。最近的综述研究表明，VAD已从传统的基于重建和预测的方法发展到能够处理复杂现实场景的更高级框架[12]，[13]。大规模模型、高级学习范式和面向部署的架构的整合增加了VAD在公共安全、智能监控和智慧城市环境等领域的应用范围（见图1）。

早期研究依赖于手工特征，如时空兴趣点、光流[14]和轨迹[15]、HOG[16]，结合高斯混合模型（GMM）[17]、隐藏马尔可夫模型（HMM）[18]或聚类等统计模型来建模正常行为。尽管这些方法可解释且简单，但它们对复杂场景、噪声和光照变化敏感，难以捕获关于人类行为的高级语义信息并跨环境泛化。深度学习的发展改变了VAD，通过实现更有效的表示学习。卷积神经网络（CNN）使自动提取有意义的空间特征成为可能，尽管它们在建模时间动态方面受到限制[19]。生成对抗网络（GAN）通过对抗训练已被用于生成合成异常并增强重建，从而缓解了标记异常数据的稀缺性[20]。最近，Transformer在VAD中显示出强大的潜力，因为它们能够建模复杂序列并捕获长程时间依赖性。Aslam等人[21]引入了TransGANomaly，这是一个将视频视觉Transformer（ViViT）与GAN结合用于异常检测的新框架。该模型作为视频帧预测器运行，并仅使用正常视频序列进行对抗训练。Yuan等人[22]提出了TransAnomaly，这是一个基于预测的VAD框架，将U-Net架构与ViViT结合以建模时空依赖性。然而，这些方法计算成本高，这可能阻碍其在实时或资源受限的监控系统中的部署。Jiang等人[23]引入了TransGAN，这是一个生成对抗框架，使用生成器和内存高效的多尺度判别器，并进一步通过基于网格的自注意力机制加强。Transformer在VAD中对传统CNN架构具有明显优势，通过自注意力捕获长程时空依赖性，而CNN主要关注局部特征。最近的研究还证明了结合互补特征表示用于复杂视频理解任务的有效性，其中混合建模策略能够实现改进的上下文理解和更稳健的特征学习[24]。由于Transformer具有全局上下文理解能力，对于模拟复杂运动模式和序列动态非常有用。当集成到GAN中时，Transformer改善了判别器区分正常和异常模式的能力以及生成器生成时间一致帧的能力，这最终导致了更可靠和广泛适用的异常检测。

尽管基于GAN和Transformer的视频异常检测的最新进展取得了显著改进，但在光照不良的情况下性能仍然具有挑战性，因为视觉和结构线索的退化。大多数现有方法是使用良好照明的监控数据集开发和评估的，当重要的视觉和运动线索被恶劣光照遮挡时通常会经历性能下降。这些挑战凸显了需要异常检测方法能够在低光照环境中保持可靠性能，同时有效保持准确事件分析所需的视觉和上下文线索。为了填补这一空白，在本文中，我们提出了IITP低光照异常检测数据集，专门为低光照VAD精心策划。我们提出了Lumi-GANomaly，这是一个用于不良光照下异常检测的统一框架，将低光照增强、三重注意力引导的生成器和多尺度异常判别器整合在修改的cGAN架构中。该框架整合了一个用于低光照增强的稳健预处理流水线，该流水线在加权融合方案中集成了Otsu阈值分割、自适应伽马校正和CLAHE。增强的视频帧随后由生成器中的三重注意力机制分析，该机制能够实现丰富的上下文、频谱和空间特征提取。此外，具有两个分支的融合判别器分别处理高分辨率和低分辨率组件以捕获精细纹理细节和全局结构一致性。

本工作的关键贡献总结如下：
1. 我们引入了IITP低光照异常检测数据集，其中包括在照明不良区域拍摄的实际控制室监控场景。据我们所知，这是专门为低光照VAD创建的最早的数据集之一，有助于填补该领域的重要研究空白。
2. 为了提高检测准确性和视觉质量，我们提出了一种专为VAD创建并修改的两阶段框架，集成了改进的低光照增强预处理模块、注意力引导的生成器和双分支判别器。
3. 为了提高低光照监控视频中的可见度、对比度和光照均匀性，我们提出了一种强大的预处理流水线，该流水线将自适应伽马校正、Otsu阈值分割和CLAHE与加权融合相结合。
4. 为了高效描述空间、频谱和上下文关系并生成更丰富和更具判别力的特征表示，生成器集成了频谱注意力、卷积块注意力模块（CBAM）和混合CNN-Transformer模块（HCTM）。
5. 采用双分支判别器架构以捕获不同空间尺度的互补信息。高分辨率路径负责建模精细纹理细节和边缘信息，而低分辨率路径专注于保持全局结构特性和场景级语义上下文。
6. 在四个流行的基准数据集以及我们最近发布的低光照异常检测数据集上进行了广泛的实验，以确保所建议方法的有效性。为了保证全面评估，性能与多种最先进的（SOTA）技术进行了对比。

本文的其余部分结构如下。第2节回顾了相关的VAD技术及其数据集。第3节讨论了我们的IITP异常数据集。第4节突出了修改的cGAN框架，该框架使用双分支判别器和三重注意力UNet作为生成器。第5节介绍了实验设计、性能评估和比较结果。第6节总结了该工作，并讨论了未来研究的潜在领域。

章节摘要

相关工作

多年来，视频异常检测已从基于手工特征和统计建模的传统方法发展到能够从视频数据中直接学习复杂空间和时间表示的高级深度学习框架。现有方法通常可以分为三大类：传统方法、基于重建的技术和基于预测的技术。本节回顾了各类中的关键发展以及

我们的数据集

在这项工作中，我们引入了一个在印度理工学院巴特纳（IIT Patna）校园收集的低光照VAD数据集。构建这个数据集的想法源于一个简单的观察：大多数现有的视频异常基准都关注日光或照明良好的场景，而现实监控录像通常光照不良。为了弥补这一差距，我们设置了一个固定的监控摄像头俯瞰人行过道——一个人们通常只是站在那里、擦肩而过或偶尔停留的区域。为了

概述

Lumi-GANomaly使用条件生成对抗网络（cGAN）框架开发，其中生成器和判别器通过对抗学习同时优化。通过整合条件信息，cGAN学习生成与对应输入帧一致的输出。在提出的框架中，生成器专注于从增强输入中重建正常视频帧，而判别器评估真实性及

数据集

我们在自己的IITP异常数据集以及三个知名的公开基准上训练和测试了Lumi-GANomaly：UCSD行人[17]、CUHK Avenue[58]和ShanghaiTech[57]。UCSD数据集分为两个子集Ped1和Ped2，主要区别在于场景外观和出现物体的大小。Ped1大约有14000帧，排列成34个训练视频和36个测试视频，包括约40种异常事件，如骑自行车、滑冰、小型车辆

结论与未来展望

本工作解决了低光照条件下的视频异常检测挑战，在这种条件下，可见度差和退化的视觉信息通常会降低现有方法的有效性。为了克服这些局限性，开发了一个修改的基于cGAN的框架，该框架结合了低光照增强、注意力引导的特征学习和混合局部-全局上下文建模，以实现稳健的异常检测。在生成器中，我们使用了UNet并对其进行修改，加入了频谱

SpectralCRediT作者贡献声明

Maheshkumar H.

Kolekar：撰写 – 审阅与编辑、验证、监督、方法论、调查、形式分析、概念化。Prasad Kailas Mhaske：可视化、验证、方法论、调查、数据整理、概念化。Samprit Bose：撰写 – 审阅与编辑、撰写 – 初稿、可视化、验证、方法论、调查、形式分析、数据整理、概念化。利益冲突声明：作者声明，他们没有已知的可能影响本文所报告工作的竞争性经济利益或个人关系。Maheshkumar H. Kolekar|Prasad Kailas Mhaske|Samprit Bose