基于骨架关键点与混合时序建模的交警手势识别方法——一种基于BiLSTM-Transformer架构的方法

《Electronics》：A Traffic Police Gesture Recognition Method Based on BiLSTM-Transformer Architecture

　　

为解决交警手势识别中实时性不足及时序特征建模不充分的问题，研究人员提出了一种基于骨架关键点与混合时序建模的方法。首先，采用YOLOv11m-Pose检测视频序列中的人体骨架关键点，提取可靠的二维骨架特征。其次，设计了一种融合双向长短期记忆网络(Bidirectional Long Short-Term Memory, BiLSTM)与Transformer的时序建模网络：BiLSTM对相邻帧间的局部时序连续性与动作过渡特征进行建模，捕捉短时动态变化；Transformer通过自注意力(Self-Attention)机制建模全局时序依赖关系并对关键时间步加权，提取长距离判别信息。实验结果表明，所提方法的准确率(Accuracy)与F1分数(F1-Score)均达98.91%；准确率较单独BiLSTM与Transformer模型分别提升2.43%与7.67%，优于多数基于循环神经网络(Recurrent Neural Network, RNN)及特征融合的方法。同时，模型对单条手势序列的平均推理时间仅为1.3299 s。因此，该方法在识别精度与实时性间取得了良好平衡，具有重要实用价值。

论文解读：基于BiLSTM-Transformer架构的交警手势识别方法研究

研究背景与意义

交通辅警手势识别技术是解决道路拥堵与交通管理的关键，尤其在自动驾驶系统中，准确理解交警指挥手势是实现车辆与交通管制人员协同交互的重要环节。然而，手势含义受环境、背景及服装影响，且交警手势具有明显的时序动态特性——单纯依靠单帧图像或简单时序建模（如单一RNN/LSTM）难以充分捕获连续变化与时序依赖关系。基于RGB图像的方法易受光照、背景干扰，而基于骨架关键点(Skeleton Keypoints)的方法可将高维像素信息映射为结构化时序数据，降低维度并保留运动语义。现有单一时序模型（仅BiLSTM或仅Transformer）无法兼顾局部运动细微变化与长期时序依赖，且缺乏对区分时序关键帧的加权机制。为此，研究人员开展此项研究，提出融合轻量级姿态估计与混合时序建模（BiLSTM-Transformer）的交警指挥手势识别方法，并在《Electronics》期刊发表。

主要关键技术方法

研究人员采用公开交警手势数据集（含停止、直行、左转待转、左转弯、右转弯、变道、减速、靠边停车及准备动作共9类，20段1024×768分辨率视频），使用YOLOv11m-Pose提取每帧17个COCO标准人体骨架关键点(Keypoint)，对低置信度缺失点采用基于可见性掩码(Visibility Mask)的线性时序插值补全，将单帧17个关键点坐标(x,y)与置信度拼接后连同掩码向量构成输入特征，并转换为以参考中心关节为原点的相对坐标以消除全局位移影响。通过滑动窗口(窗口长度T=40帧)构建时序样本，标签取窗口末帧类别(Sequence-to-One)。时序建模网络先经线性嵌入层(Embedding Layer, d_model=128)与层归一化(Layer Normalization)，接入单层BiLSTM(隐藏态维度Hidden Size=64)提取局部双向时序特征，再送入4层Transformer Encoder(8头多头自注意力Multi-Head Self-Attention)建模全局时序依赖，后经基于可学习参数的时间注意力池化(Attention Pooling)得到全局上下文向量，最终由全连接+ReLU+Dropout+Softmax分类头输出类别概率。训练采用AdamW优化器、学习率1e^-3、Batch Size=64、Epoch=350。

研究结果

4.1 评估指标(Evaluation Indicators)

研究人员采用准确率(Accuracy=(TP+TN)/(TP+TN+FP+FN))与F1-Score(2×Precision×Recall/(Precision+Recall))作为主评价指标，辅以参数量(Params)与推理时间(Inference Time)。

4.2 骨架关键点检测模型选择(Selection of Skeletal Keypoint Detection Models)

在相同BiLSTM+Transformer时序网络下对比9种关键点检测模型。结果显示YOLOv11m-Pose取得最优性能，Accuracy与F1-Score均为98.91%，较OpenPose(+1.53%/+1.56%)、AlphaPose(+4.92%/+5.05%)、MediaPipe(+6.44%/+6.51%)、HRNet(+3.72%/+3.70%)均有提升；在YOLO系列中亦优于YOLOv11n/l/x及YOLOv8n。表明YOLOv11m-Pose在复杂动态手势场景下关键点定位精度与稳定性最佳，为下游时序识别提供高质量输入。

4.3 参数评估(Parameter Evaluation)

以单独LSTM测试时序步长(Time Step, T∈[10,50])与隐藏态数(Hidden States, H∈[4,128])的影响。结果表明：T在10～35步随长度增加性能上升，35～40步趋于稳定；H在4～64增加时性能持续提升，H=128时略降或持平。综合判定最佳参数为时间步长T=40、BiLSTM隐藏态维度H=64，在此设置下模型达最佳平衡点（识别精度、稳定性与计算效率）。

4.4 消融实验(Ablation Experiment)

对比单独BiLSTM、单独Transformer及BiLSTM-Transformer融合模型（不含YOLOv11m-Pose推理耗时）。单独BiLSTM：Accuracy=F1-Score=96.48%，参数量较少；单独Transformer：Accuracy=91.24%、F1-Score=91.25%；融合模型：参数量86.41K，Accuracy=F1-Score=98.91%，较单独BiLSTM分别提升+2.43%(Acc)、+2.42%(F1)。说明BiLSTM擅长局部短时过渡特征，Transformer补充全局长程依赖，二者互补显著提升时序表征能力。固定T=40约束了Transformer自注意力O(T²·D)复杂度，使融合模型兼具精度与可接受推理效率。

4.5 对比实验(Comparative Experiments)

与图卷积网络(Graph Convolutional Network, GCN)类(STIE-GCN、MD-GCN)、传统循环网络(LSTM、GRU、RCNN≈95%)、纯目标检测(YOLOv8-nano=78.70%)、多特征融合法(VGGNet-SSD+PKEN+LSTM≈96.3%～96.9%、PKEN+LSTM=91.18%)对比。所提BiLSTM+Transformer方法Accuracy=98.91%居首，优于多数RNN基及特征融合法，显著优于RGB直接检测方法；平均推理时间约0.1025 s（仅识别网络）/整序列1.3299 s（含预处理），在精度与实时性间取得较好均衡。

讨论与结论翻译

讨论指出：YOLOv11m-Pose关键点提取抑制了背景与光照干扰；BiLSTM(局部连续+动作过渡)与Transformer(全局依赖自注意力)协同增强了时序特征判别性；严重遮挡或多人重叠致关键点错误会传播影响识别，未来拟引入多目标建模与多模态融合提升泛化性。

研究结论如下：

(1) 提出基于骨架关键点与混合时序建模的交警手势识别方法，采用YOLOv11m-Pose提取人体关键点，融合BiLSTM(捕获短时段动作过渡)与Transformer Encoder(通过Self-Attention建模长程时序依赖)，在交警手势数据集上Accuracy与F1-Score均达98.91%，单手势序列平均推理时间1.3299 s。

(2) 消融实验表明单一时序模型中BiLSTM较Transformer准确率高出约5.24%；BiLSTM与Transformer融合后，相较单一BiLSTM基线Accuracy提升2.43%、F1-Score提升2.42%。

(3) 对比实验显示BiLSTM+Transformer混合时空模型优于基于GCN方法、传统循环网络及基于RGB图像的目标检测方法；骨架表示有效缓解光照与复杂背景影响，时空特征融合显著提升细粒度手势识别准确率。