SETJiP：用于视频异常检测的空间与时序叠加拼图技术 沈立恒（Liheng Shen）， 松川哲（Tetsu Matsukawa）， 铃木荣信（Einoshin Suzuki）

《Sensors》：SETJiP: Spatial and Extra Temporal Jigsaw Puzzles for Video Anomaly Detection Liheng Shen, Tetsu Matsukawa and Einoshin Suzuki

　　

摘要

视频异常检测（VAD）通常被构建为一种单类分类任务。以物体为中心的区域内的大多数像素都存在全局运动和随时间变化的运动，例如行走，这种变化通常是规律的；而局部运动（例如挥手）则可能具有不确定性。解耦的时空拼图（DSTJiP）是一种自监督方法，它通过预测空间和时间上被打乱的数据块的原始顺序来学习具有区分性的表示。然而，DSTJiP采用统一的采样和相同的权重分配方式，导致对全局运动样本的时间监督不够充分。因此，在全局运动样本比例不同的训练数据集下，分配给这些样本的时间监督可能不足，从而影响VAD的性能。不过，过度强化这种监督也会降低性能。为了解决这些问题，我们提出了空间和时间上的额外拼图（SETJiP），并设计了两种仅使用RGB颜色的训练方案，分别为全局运动样本提供更强和更保守的时间监督。一种方案通过增加额外的时空拼图来强化这些样本的时间监督；另一种方案则通过增加这些样本在时空拼图中的权重来更为保守地实现时间监督的增强。在四个VAD基准测试上的实验表明，这两种方案都优于DSTJiP，并且与最先进的方法保持高度竞争力。