基于自注意力（Self-Attention）机制的视频监控系统中持械（Weapon-Carrying）行为识别方法

《Image and Vision Computing》：Identifying weapon-carrying actions in video surveillance systems through self-attention

　　

摘要：视频监控系统通过辅助早期检测潜在危险物体或行为（如人员携带手枪或其他武器），可在保障公共安全方面发挥关键作用。近期基于多头自注意力（Multi-Head Self-Attention）模块的机器学习架构已证明能够处理时序数据。本研究提出AWARE——一种基于自注意力（Self-Attention）的武器行为识别（Weapon Activity Recognition）架构，应用于视频监控系统。该方法的核心思想是采用Transformer编码器模块从输入视频序列中提取相关特征，并将其分类为武器相关行为或非危险行为。输入数据由2D人体姿态关键点（2D Human Pose Keypoints）与目标检测模型生成的潜在武器位置信息融合而成。研究人员在一个新构建的枪械相关行为动作识别数据集上对所提方法进行评估，实验结果表明该方法在此场景下优于其他同类方法。

论文解读：《Identifying weapon-carrying actions in video surveillance systems through self-attention》发表于《Image and Vision Computing》

一、研究背景与动机

闭路电视（CCTV）监控广泛应用于机场、车站及商场等公共场所，但通常依赖人工值守，易受疲劳等因素影响而漏检威胁。单纯依靠通用目标检测模型（如YOLO系列、Faster R-CNN）进行武器检测面临诸多挑战：监控画面分辨率低、武器目标微小、频繁被遮挡，导致误检（False Positive, FP）与漏检（False Negative, FN）率高。虽然引入人体姿态估计（Human Pose Estimation）可辅助单帧武器检测，但现有方法多忽略视频的时间上下文信息。人类持武行为（如拔枪、瞄准）具有明显的时间演化特征，仅靠单帧空间信息难以准确判别。此外，缺乏针对武器相关行为识别的公开视频数据集也制约了该方向的研究。为此，研究人员提出了结合人体姿态与武器提案特征、利用Transformer编码器建模时序依赖关系的AWARE方法，并构建了Weapon Action数据集。

二、关键技术方法

研究人员采用OpenPifPaf（shufflenetv2k16骨干网）预训练模型提取每帧人体17个2D姿态关键点（2D Pose Keypoints）；采用YOLOv8在自建Weapon Detection数据集（含手枪、冲锋枪及其他手持物共22896张图）上训练得到武器检测（Weapon Detection）模型，输出最高置信度手枪边界框（Bounding Box）。将每帧关键点坐标与武器框四角点分别相对于颈部关键点进行尺度归一化，并附带检测置信度（Confidence Score），无武器检测时武器特征置零向量，拼接构成每帧特征向量。视频序列经滑动窗口截取为固定长度T（T=7或T=25，重叠T-1帧）的样本输入由4层Encoder组成的Transformer Encoder（多头自注意力（Multi-Head Self-Attention）+FFN+LayerNorm+残差连接+Dropout 0.3），编码器输出经两层全连接网络（FCN，维度256→2）做二分类（C₀：武器相关行为；C₁：非危险行为）。训练采用AdamW优化器、交叉熵损失，滑动窗口增广数据，按留一地点（Leave-One-Location-Out）划分4次交叉验证。新建Weapon Action数据集含172段室内视频（约40000帧，4地点，持枪行为vs日常行为），公开发布。

三、实验结果

4.1 Datasets

Weapon Detection数据集融合多个公开数据源及自采图像共22896张，标注handgun/machine gun/other handheld objects三类。Weapon Action数据集包含4名受试者于4个室内场景录制的172段序列（平均232帧/段，平均8.47s），分持枪相关动作（瞄准、射击等）与非危险动作（行走、看手机等），按地点做交叉验证测试集。

4.2 Experimental setup

说明数据划分（逐地点留一法）、滑动窗口采样策略（T=7/25，重叠T-1）、各组件配置（OpenPifPaf预训练冻结、YOLOv8微调、Transformer 4层Encoder d_model=256、FCN两层）、训练超参（AdamW lr=0.1阶梯衰减、weight decay 5e-4、batch 512、50 epoch、NVIDIA RTX 6000）。

4.3 Results

对比基线包括MULTICAST（Faster R-CNN+EfficientDet+LSTM轨迹预测）、Domingo et al.（Inception V3+ YOLOv5+OpenPose+LSTM三流）、AcT（仅2D Pose+Transformer Encoder）、YOLOv8x（帧级武器检测）。评估指标为Accuracy、Precision、Recall、F1-score及AUC（Accuracy-Threshold曲线）。

AWARE (T7)取得最高全局准确率0.90±0.08，AUC=0.838；AWARE (T25)为0.86±0.10，AUC=0.795，均显著优于所有基线（p<0.001配对t检验与McNemar检验）。AWARE较仅用姿态的AcT提升了时空与武器语义信息，较仅用YOLOv8弥补了时序建模缺陷，较LSTM系方法得益于Transformer更好的长程依赖捕捉。较短窗口T7因更聚焦持武短时判别性动作且减少噪声累积，略优于T25。

计算性能方面，AWARE (T7)达16±1.4 FPS、延迟61.1±5.3 ms，参数约71.67 M，FLOPs约267.4 G，在未经TensorRT等优化下可满足GPU端监控场景需求。

四、讨论与结论总结

讨论指出，融合人体姿态与武器检测提案并经Transformer自注意力建模时序及人—武器空间关系，是该任务的有效范式；相比单纯姿态Transformer（AcT）或单帧目标检测（YOLOv8），联合表征带来互补增益。当前局限含单人假设（取最高置信度单人姿态）、室内场景为主、未显式建模人与武器对应关系。未来可引入图神经网络（GNN）显式建模肢体—武器边、跨模态注意力（Cross-Modal Attention）融合、扩展至多人均及室外场景、扩充Weapon Action数据集多样性，并关注隐私与伦理审核。

结论：研究人员提出AWARE架构，将2D人体姿态关键点与武器检测边界框提议（Weapon Bounding Box Proposals）归一化拼接后输入Transformer Encoder进行时序建模以识别监控视频中武器相关行为，并构建了首个公开Weapon Action数据集。实验表明AWARE (T7)与AWARE (T25)分别达到90%与86%的平均准确率，优于现有基于LSTM或纯姿态/纯检测的方法。当前未优化实现可达约16~18 FPS，适用于GPU监控环境，为后续研究提供了基准方法与数据集。