TDI-TFFNet：融合时变图像与双流特征融合网络，用于体操动作识别

《Pattern Recognition》：TDI-TFFNet: Infusing Time Dependent Images and Two-Stream Feature Fusion Network for Gymnastic Activity Recognition

体操动作识别中提出基于时间相关图像（TDI）和两流特征融合网络（TFFNet）的方法，通过方向图像与位置图像互补提取多角度时序特征，实验准确率达99.17%。

　　在现代智能体育训练和辅助评估领域，体操动作识别具有重要的研究价值和应用前景。体操动作通常涉及复杂的身体运动和空间位移，因此对动作识别的准确性和实时性提出了更高的要求。然而，传统的识别方法在提取时间特征和提升识别精度方面存在一定的局限性，主要体现在对运动序列的建模能力不足，以及在面对不同动作时的泛化能力较弱。为了解决这些问题，本文提出了一种基于时间依赖图像（Time Dependent Images, TDI）和双流特征融合网络（Two-Stream Feature Fusion Network, TFFNet）的体操动作识别框架，旨在提升识别效果并增强系统的实用性。

首先，本文设计了一套体操动作识别系统，该系统通过在手臂上安装传感器，采集时间序列数据，并通过WiFi模块将数据传输至计算机进行处理。该硬件系统的构建使得运动数据的获取更加便捷，同时减少了对环境因素的依赖，如光照条件和遮挡问题。这种基于可穿戴设备的数据采集方式，为体操动作识别提供了稳定、高效的数据来源，有助于实现对运动过程的实时监控与分析。

其次，本文提出了一种新的时间依赖图像表示方法，该方法通过方向图像（Direction Image, DI）和位置图像（Position Image, PI）来描述动作序列中的相对方向和位置信息。这种方法不仅能够增强原始时间序列数据的特征表达能力，还能够从多角度、多层次上反映运动行为的结构特征。相比现有的图像表示方法，如Gramian Angular Field（GAF）、Recurrence Plot（RP）和Markov Transition Field（MTF）等，本文的方法在提取时间依赖信息方面更加全面，能够更有效地捕捉运动过程中的关键结构特征。

为了进一步提升识别效果，本文设计了双流特征融合网络（TFFNet），该网络包括一个主干特征提取网络、一个专门设计的门控融合网络（Gated Fusion Network, GFN）以及一个混合损失函数。主干特征提取网络用于从时间依赖图像中提取丰富的特征信息，而GFN模块则通过引入拉普拉斯卷积技术，对图像中的关键结构特征进行更精确的提取和融合。这种双流融合策略能够有效整合来自不同视角的特征信息，从而提高模型的分类能力。此外，混合损失函数的设计也使得模型在训练过程中能够兼顾准确性和稳定性，减少过拟合现象的发生。

在实验部分，本文采用了Leave-One-Subject-Out（LOSO）方法进行模型评估。该方法确保模型在训练时使用所有受试者的数据，仅保留一个受试者用于测试，这一过程在所有受试者都作为测试集的情况下重复进行。通过这种方式，可以更全面地评估模型的泛化能力。在训练过程中，本文使用了Adam优化器，设置学习率为0.0001，训练轮数为100次，批次大小为32，并引入了正则化系数λ为0.01的损失函数。正则化系数λ的值是通过初步实验确定的，以平衡模型的训练效果和泛化能力。

实验结果表明，本文提出的体操动作识别方法在识别准确率上达到了99.17%，相较于其他方法具有显著优势。这一结果不仅验证了所提出方法的有效性，也表明其在实际应用中的潜力。通过将时间依赖图像与双流特征融合网络相结合，本文的方法能够更准确地捕捉运动过程中的时空特征，从而提升动作识别的精度和可靠性。

在深度学习方法中，通常的做法是直接输入原始时间序列数据进行特征提取。常见的模型包括门控循环单元（GRU）、长短期记忆网络（LSTM）、卷积神经网络（CNN）和Transformer模型。其中，CNN能够通过局部卷积操作提取时空特征，而LSTM和GRU则更专注于学习时间序列中的动态信息。Transformer模型则在提取时间依赖关系方面表现出色，但其复杂性也较高，容易导致模型设计和训练的难度增加。因此，为了在不增加模型复杂度的前提下提升识别效果，本文提出了一种新的方法，即将时间序列数据转换为时间依赖图像，并结合双流特征融合网络进行特征提取和融合。

在时间依赖图像表示方面，本文认为时间序列中的时间依赖信息可以从两个角度进行提取：相对位置依赖和相对方向依赖。为此，本文通过时间依赖图像（TDI）的两个视角，即方向图像（DI）和位置图像（PI），对这两种依赖关系进行了显式表达。在实现过程中，本文使用了余弦相似度矩阵和欧几里得距离矩阵对时间序列数据进行编码，以生成更加丰富的图像表示。这种方法不仅能够保留时间序列中的关键信息，还能够增强图像的表达能力，从而提升后续特征提取和分类的准确性。

在硬件系统方面，本文设计的体操动作识别系统包括运动检测模块、数据采集模块和数据传输模块。其中，运动检测模块采用了MPU6500六轴惯性传感器，该传感器集成了三轴加速度计，适合用于可穿戴设备。数据采集模块则负责对传感器信号进行采集和预处理，以确保数据的准确性和完整性。数据传输模块通过WiFi模块将采集到的数据传输至计算机，以便进行进一步的处理和分析。该系统的整体设计使得运动数据的采集更加高效，同时保证了数据的实时性和稳定性。

此外，本文还探讨了如何优化深度学习模型以提高体操动作识别的效果。在模型优化过程中，本文通过引入门控融合网络（GFN）和混合损失函数，对特征提取和分类过程进行了改进。GFN模块通过拉普拉斯卷积技术对图像中的关键结构特征进行提取和融合，而混合损失函数则通过结合分类损失和正则化损失，提高了模型的训练效果和泛化能力。这种优化策略不仅能够提升模型的分类精度，还能够减少训练过程中的误差，提高识别的稳定性。

在实验验证方面，本文对所提出的框架进行了全面的测试，并通过与其他方法的对比验证了其有效性。实验结果表明，本文的方法在多个数据集上均表现出较高的识别准确率，特别是在复杂动作识别任务中，其性能优于现有的方法。这表明本文的方法不仅在理论上具有创新性，而且在实际应用中也具有较高的可行性。

总的来说，本文提出的体操动作识别方法结合了时间依赖图像表示和双流特征融合网络，从多个角度提取和融合运动数据的特征信息，从而提升了识别效果。该方法在硬件系统设计、图像表示方法创新和深度学习模型优化等方面均有所突破，为智能体育训练和辅助评估提供了新的思路和技术支持。未来，随着人工智能和可穿戴设备技术的不断发展，体操动作识别方法将进一步完善，为体育训练和评估带来更多的便利和可能性。