《Egyptian Informatics Journal》：Gymnastics movement recognition technology using computer combined batch normalization and feature fusion techniques
编辑推荐：
体操动作的精确识别对于优化运动员训练、保证公平竞赛评价以及促进体操运动的科学发展具有重要意义。然而，传统动作识别方法受限于算法结构的单一性，难以有效捕捉体操动作的高复杂性和时空动态特征，导致识别精度不足且泛化能力有限。针对这一问题，研究人员提出了一种结合卷积神
体操动作的精确识别对于优化运动员训练、保证公平竞赛评价以及促进体操运动的科学发展具有重要意义。然而，传统动作识别方法受限于算法结构的单一性，难以有效捕捉体操动作的高复杂性和时空动态特征，导致识别精度不足且泛化能力有限。针对这一问题，研究人员提出了一种结合卷积神经网络（CNN）和长短期记忆网络（LSTM）的体操动作识别模型。引入批归一化技术以优化网络训练稳定性，并利用特征融合技术整合多级时空特征以增强模型的表达能力和鲁棒性。实验结果表明，优化后的模型在Sports-1 M和KTH数据集上表现良好，识别准确率分别达到96.4%和94.1%，平均识别时间仅为3.7 ms和3.4 ms。此外，该模型在召回率（0.95和0.98）和F1值（0.93和0.94）方面均优于对比方法。案例分析进一步验证了该模型对六种体操动作（包括行走、跑步、跳跃、平衡、旋转和翻筋斗）的识别能力，准确率超过85%。该模型在不同动作速度（慢动作平均精度均值（mAP）91.4，快动作mAP 88.7）和光照环境下均保持稳定性能。该研究不仅为体操动作识别提供了高效可靠的技术方案，而且为复杂运动场景下的实时分析奠定了理论基础，具有重要的学术价值和应用潜力。
### 论文解读：基于批归一化与特征融合技术的体操动作识别研究
#### 研究背景与问题
体操运动以其高复杂性、多样性和快速变化的特点著称，精确的动作识别对于优化运动员训练、保障竞赛公平评价以及推动体操科学化发展至关重要。然而，传统动作识别方法（如基于规则或简单机器学习的方法）受限于算法结构的单一性，难以有效捕捉体操动作的高复杂性和时空动态特性，导致识别精度不足、泛化能力有限。现有深度学习模型（如纯卷积神经网络（CNN））虽能提取空间特征，但缺乏对时间序列建模的能力；而基于姿态估计的方法（如OpenPose）依赖关节检测精度，计算成本高且对复杂场景适应性差。此外，现有方法在跨场景应用（如光照变化、动作速度差异）中性能不稳定，且缺乏针对竞技体操场景的专用模型。因此，开发一种能够同时处理时空特征、具备高精度和实时性的体操动作识别技术成为迫切需求。该研究发表在《Egyptian Informatics Journal》，由Shengnan Ran和Jiaojiao Hu（乐山师范学院）完成，旨在通过技术创新弥补现有方法的不足。
#### 关键技术方法
研究人员采用以下关键技术方法：
（1）**卷积神经网络（CNN）与长短期记忆网络（LSTM）混合架构**：CNN用于提取空间特征，LSTM用于捕捉时间动态，构成时空网络主干。
（2）**批归一化（Batch Normalization, BN）**：对CNN各层输入进行归一化变换，缓解内部协变量偏移，加速训练并提升网络稳定性。
（3）**特征融合技术**：结合残差结构（Residual Structure）和拼接层（Concatenation Layer），融合浅层与深层卷积特征，增强模型表达能力；同时引入局部响应归一化（Local Response Normalization, LRN）模拟侧抑制机制，减少过拟合。
（4）**数据预处理与优化**：使用Sports-1 M和KTH公开数据集，并将视频处理为RGB图像序列和光流图像序列，以4:6权重融合；采用随机梯度下降（SGD）算法优化，并引入Dropout正则化。注意：实验还使用了来自某体操队过去一年的训练视频构建自建数据集，包含六种体操动作。
#### 研究结果
**3.1 基于体操动作识别模型的性能分析**
在Sports-1 M和KTH数据集上，将所提模型（命名为I-CNN-LSTM）与传统CNN模型和OpenPose模型进行对比。实验结果表明：
- **识别准确率**：I-CNN-LSTM在Sports-1 M上达96.4%，在KTH上达94.1%，显著高于传统CNN（85.3%和84.2%）和OpenPose（89.6%和88.7%）。
- **识别时间**：平均识别时间分别为3.7 ms（Sports-1 M）和3.4 ms（KTH），比传统CNN（7.2 ms和7.9 ms）和OpenPose（6.4 ms和5.8 ms）分别快1.9倍和2.1倍，满足实时性要求。
- **召回率与F1值**：在Sports-1 M上，所提模型召回率为0.95、F1值为0.93；在KTH上召回率为0.98、F1值为0.94，均优于对比方法（CNN召回率0.77/0.75，F1值0.76/0.77；OpenPose召回率0.87/0.86，F1值0.86/0.87）。
**3.2 基于体操动作识别模型的实例分析**
使用自建体操数据集（包含行走、跑步、跳跃、平衡、旋转、翻筋斗六种动作，编码1-6）进行混淆矩阵分析：
- 传统CNN模型识别准确率仅50%-60%，存在大量误判。
- OpenPose模型准确率略高，但仍有少数误判，且易将“平衡”误判为“行走”。
- 所提模型无误判发生，每种动作识别准确率均超过85%。
进一步测试不同动作速度下的平均精度均值（mAP）：慢动作mAP为91.4，快动作mAP为88.7，均优于CNN（81.3/78.4）、OpenPose（86.7/82.9）、CNN-Transformer（88.1/84.2）和粒子群优化（PSO）-LSTM（85.8/83.4）等对比模型。
鲁棒性测试表明，所提模型在单人/多人、良好光照/昏暗光照环境下均能稳定识别体操动作，性能波动低于3.1%，远优于对比方法（>8%）。
#### 讨论与结论
**讨论部分**：所提模型通过批归一化优化训练效率，特征融合策略合理分配计算资源，实现了高精度与实时性的平衡。在六种基本动作中，对慢动作识别尤为突出，体现了LSTM网络在时间特征提取中的有效性。与现有分层方法（Alavigharahbagh等）和OpenPose-SVM组合（Lee等）相比，该模型通过端到端学习自动优化时空特征，避免了手动设计特征的局限，在快速动作和复杂光照下表现出更强的鲁棒性。技术优势在于：克服了CNN时空建模不足、姿态估计方法计算成本高、分层方法实时性差等问题。
**结论部分**：研究提出了一种融合批归一化与特征融合技术的体操动作识别模型，通过CNN-LSTM混合架构实现了复杂体操动作的高效识别。实验结果表明，该模型在多个关键指标上显著优于传统方法：在Sports-1 M和KTH数据集上的识别准确率分别达到96.4%和94.1%，比基准方法高6.8-11.1个百分点；平均识别时间控制在3.7 ms内，满足实时性要求；六种基本体操动作的识别准确率均超过85%，慢动作和快动作的mAP分别为91.4和88.7，展现了出色的时序建模能力。主要创新点：利用批归一化优化网络训练，解决内部协变量偏移；设计多级特征融合策略，提升对动作细微差异的捕捉能力；通过时空网络的双重优化机制，在保持高精度的同时实现实时处理。尽管模型在标准测试环境中表现良好，但在极端光照条件下仍有改进空间。后续研究可进一步优化网络架构，探索更强特征表示方法以增强复杂场景下的鲁棒性。总体而言，该研究为体操动作识别提供了高效可靠的解决方案，对推动智能运动训练技术发展具有重要意义。
