基于MLP引导聚类记忆增强与多分支时空建模的视频异常检测方法及其在监控场景中的应用

《Electronics》：Multi-Scale U-Shaped Adaptive Clustering Learning Framework for Unsupervised Video Anomaly Detection Shaoming Qiu, Lei He, Hanhan Dang, Chong Wang, Han Yu and Yuqi Chen

针对视频异常检测中特征冗余与异常多样性导致重建模糊、泛化不足的难题，研究者提出融合I3D全局时序学习、IDCN可变形空间建模及MLP-ACA（多层感知机引导自适应聚类记忆模块）的自编码架构，有效抑制shortcut learning，提升正常模式表征力与异常判别性能，为智能监控提供高鲁棒性解决方案。

　　

视频监控下的“隐形威胁”与智能算法的破局之战

在现代城市安防体系中，海量监控视频实时涌现，如何让机器自动识别画面中的异常行为——从人群骚乱到突发事故，成为智能感知的核心挑战。传统无监督方法仅用正常数据训练模型，虽能捕捉常规模式，却常陷入两难困境：一方面，视频数据的时空冗余性导致特征表达臃肿，模型难以聚焦关键动态；另一方面，异常的多样性与不可预见性（如突然奔跑、暴力行为）使重建误差判别法易失效——正常波动被误判为异常，真实威胁反被漏检。更棘手的是，为缓解深层网络退化而引入的跳跃连接（skip connections）虽提升梯度流动，却可能引发“捷径学习”（shortcut learning）：模型过度依赖低级纹理细节，忽视高层语义，削弱泛化能力。

为打破困局，研究团队在《Electronics》发表工作，设计了一种融合多分支时空建模与记忆增强机制的新型自编码框架。该研究旨在通过强化正常模式表征、抑制异常重构，实现异常与正常的清晰分离，为复杂场景下的安防决策提供精准支撑。

关键技术路线概览

研究采用3D编码器提取视频块时空特征，并行嵌入I3D（Inflated 3D ConvNet）分支捕获长程时序依赖，结合IDCN（Improved Deformable Convolution Network）分支通过可学习偏移量增强目标外观与运动的空间建模。随后通过MLP-ACA（Multilayer Perceptron-Adaptive Clustering Assignment）模块将随机初始化的聚类中心映射至实际分布，利用软聚类分配函数计算特征与簇心的加权距离，生成记忆增强的重建特征。解码阶段聚合跳跃连接的中层特征（梯度传播受抑以防shortcut），最终由2D解码器输出预测帧。损失函数兼顾重建误差与聚类一致性约束。

系统架构与核心创新解析

3.1 整体网络结构设计

编码端以3D卷积堆叠为核心，双分支协同捕捉时空维度信息：I3D分支膨胀2D卷积核为3D，扩大时序感受野，提取跨帧全局动态；IDCN分支引入可变形卷积（Deformable Convolution），通过偏移量学习适应目标形变与运动轨迹，提升局部空间敏感性。非线性激活选用ReLU6（ReLU上限为6），平衡表达能力与数值稳定性；深层添加Dropout层，防止神经元大量死亡。

编码特征经时间下采样适配MLP-ACA输入，其输出与编码器中层特征（跳跃连接提供细节信息，但梯度截断避免参数过度拟合低阶纹理）拼接后，由2D解码器重建视频帧。这种“时空预编码+记忆聚类+细节融合”的设计，既保留运动结构完整性，又通过记忆约束压缩异常重构空间。

3.2 MLP-ACA：记忆增强的聚类指派机制

传统聚类对初始中心分布敏感，随机初始化易致收敛缓慢、模式覆盖不全。MLP-ACA的创新在于用轻量级MLP（两层全连接：隐藏层维度扩至2C×C，ReLU6+Dropout；输出层还原至C维）将均匀采样的初始簇心p_cl映射为实际簇心p?_cl，使其先验对齐正常数据流形，加速收敛。

对于IDCN末层输出的特征张量，取空间位置(h,w)处的特征纤维x_idcn^h,w，其与第k个簇心p?_cl^(k)的软分配权重由指数化负距离归一化计算：

dist(x_idcn^h,w,p?_cl)=∑_k=1^K[e^{-α‖x_idcnh,w-p?_cl(k)‖₂}/∑_j=1^Ke^{-α‖x_idcnh,w-p?_cl(j)‖₂}]?‖x_idcn^h,w-p?_cl^(k)‖₂²

其中α=0.1控制聚类边界锐度，L2范数衡量欧氏距离。重建特征x?_idcn^h,w则通过加权求和簇心得到：分子为单簇指数权重，分母为全局归一化项，确保输出贴近正常模式原型。

实验验证与性能突破

研究在主流视频异常检测数据集（如UCSD Pedestrian、ShanghaiTech）上验证框架有效性。定量结果显示，相比基线模型，该方法在AUC（Area Under Curve）指标上显著提升，尤其在动态复杂场景（如人群密集、光照突变）中，异常检测召回率提高约15%，误报率下降20%。定性分析可见，正常步行、静止等模式重建误差低于阈值，而奔跑、抛掷物体等异常区域呈现高误差热力图，定位精准。

消融实验证实各组件贡献：移除I3D分支后，长时运动关联弱化，连续异常漏检增多；禁用IDCN分支则局部形变建模能力下降，小尺度异常（如掏包）识别率降低；关闭MLP-ACA后，重建模糊度上升，正常-异常区分度下降12%；若恢复跳跃连接梯度，训练震荡加剧，验证了梯度截断对shortcut learning的抑制作用。

结论与未来展望

本研究提出的多分支时空自编码器，通过I3D与IDCN互补建模全局时序与局部空间动态，结合MLP-ACA记忆模块强化正常模式原型学习，成功实现了视频异常检测的精度与鲁棒性跃升。其意义不仅在于解决了特征冗余与异常多样性的平衡难题，更通过可解释的记忆机制，为无监督视频理解提供了“原型学习+重构偏差”的新范式。未来方向包括扩展至多模态输入（如红外视频）、优化聚类中心更新策略以适应动态场景演化，以及探索边缘设备部署的轻量化版本，推动智能监控从“看得见”向“看得懂”迈进。