基于Gramian角差场变换的传感器数据，用于人类活动识别的两阶段多分支融合模型

《Biomedical Signal Processing and Control》：A two-stage multi-branch fusion model for human activity recognition based on sensor data transformed by gramian angular difference field

基于单加速度传感器的GADF图像转换与多分支融合模型在HAR任务中的应用，提出将三维加速度信号经GADF编码为二维图像，通过三路分支的MP-ResNet提取轴间特征并融合，最终采用全局平均池化与全连接层实现分类，在WISDM数据集和真实场景中验证了方法在精度和F1分数上的优势。

　　人类活动识别（Human Activity Recognition, HAR）是人机交互和普适计算领域的重要研究方向。随着智能设备的普及，HAR技术在多个实际场景中得到了广泛应用，例如体育训练、日常健康监测和医疗护理等。传统的HAR方法主要依赖于传感器数据的预处理、特征提取和分类模型的构建。然而，这些方法在处理时间序列数据时，常常面临模型训练效率低、识别精度不足等挑战。尤其是在单传感器数据采集的场景下，由于数据维度有限且容易受到噪声干扰，识别任务的难度进一步增加。因此，如何有效提取时间序列数据中的关键特征，并提升模型的识别能力，成为HAR研究中的一个关键问题。

本文提出了一种基于Gramian Angular Difference Field（GADF）和多分支融合模型的HAR分类方法。该方法通过将单个传感器采集的1D时间序列数据转换为2D图像，从而利用计算机视觉（Computer Vision, CV）领域的特征提取技术，提升活动识别的准确性。GADF是一种将时间序列数据映射到极坐标空间的可视化方法，它能够捕捉不同时间点之间的相关性，同时保留时间序列的动态变化特征。这种方法与传统的特征提取方式不同，可以更直观地展示时间序列中的模式，从而为后续的特征分析提供更丰富的信息。

在实际应用中，许多HAR系统依赖于单一传感器，如加速度计，因为其部署成本低且便于集成。然而，仅使用单传感器数据进行活动识别存在一定的局限性。例如，加速度计主要记录的是人体在x轴、y轴和z轴方向的加速度变化，这些数据虽然能够反映人体的运动状态，但在某些复杂动作的识别中可能不够精确。此外，由于传感器采集的数据容易受到环境噪声的影响，如何在有限的数据中提取有效的特征，成为提升HAR系统性能的关键。

针对上述问题，本文提出了一种新的处理方法。首先，利用GADF将1D时间序列数据转换为2D图像，从而保留时间序列的动态特性。其次，将转换后的图像输入到一个两阶段的多分支融合模型中，其中每个分支分别处理来自不同轴的数据。该模型包含多个ResNet模块，能够高效地提取图像中的深层特征。为了进一步增强模型的识别能力，本文设计了两个不同的ResNet模块：一个用于提取不同轴特征，另一个用于融合不同轴的信息。这种结构设计使得模型能够更好地处理来自不同方向的数据，从而提高分类的准确性。

在特征提取过程中，GADF方法不仅保留了时间序列的时序依赖性，还能够通过图像形式直观地展示数据的变化趋势。相比于传统的HAR方法，该方法在特征提取阶段引入了图像处理技术，使得模型能够更全面地分析时间序列数据。此外，多分支融合模型的设计有助于捕捉不同轴数据之间的差异，从而提升模型对复杂活动的识别能力。在分类阶段，模型通过全局平均池化（Global Average Pooling, GAP）层将提取的特征转换为特征图，再通过Dense层进行最终的分类决策。

为了验证该方法的有效性，本文在WISDM基准数据集以及实际应用场景的数据集上进行了实验。实验结果表明，本文提出的方法在识别准确率和F1分数方面均优于其他竞争方法。这说明，通过将时间序列数据转换为图像，并结合多分支融合模型，可以显著提升HAR系统的性能。此外，实验还表明，该方法在处理单传感器数据时具有良好的适应性，能够有效应对数据维度有限和噪声干扰的问题。

本文的研究成果对于HAR技术的发展具有重要意义。首先，GADF方法的引入为时间序列数据的可视化和特征提取提供了新的思路。相比于传统的基于统计特征的方法，GADF能够更全面地捕捉时间序列中的动态变化，从而提升特征的表达能力。其次，多分支融合模型的设计使得HAR系统能够更有效地处理多维度数据，提高模型的泛化能力和识别精度。此外，本文提出的两阶段特征提取方法在实际应用中具有较强的可扩展性，可以适应不同类型的传感器数据和不同的活动识别场景。

在实际应用中，HAR技术不仅需要高精度的识别能力，还需要考虑数据采集的效率和隐私保护的问题。本文提出的方法在处理单传感器数据时，能够有效减少数据预处理的复杂性，同时保持较高的识别精度。此外，由于该方法基于图像处理技术，可以降低对复杂计算资源的需求，使其更适合在资源受限的设备上运行。例如，在移动设备或嵌入式系统中，传统的深度学习模型可能需要较高的计算能力和较大的存储空间，而本文提出的方法则能够在保证识别性能的同时，减少计算开销。

本文的研究还揭示了GADF方法在时间序列数据处理中的优势。与传统的基于频域分析的方法相比，GADF能够保留时间序列的时序依赖性，同时通过图像形式直观地展示数据的变化趋势。这种方法特别适用于那些需要关注时间序列中细节变化的活动识别任务，例如运动动作的识别或健康监测中的异常检测。此外，GADF方法还可以与其他特征提取技术相结合，进一步提升模型的性能。例如，可以结合卷积神经网络（Convolutional Neural Network, CNN）和残差网络（ResNet）等深度学习模型，实现更高效的特征提取和分类。

在实验部分，本文采用了多种评价指标来衡量模型的性能，包括准确率、精确率、召回率、F1分数和混淆矩阵（Confusion Matrix）。这些指标能够全面反映模型在不同活动识别任务中的表现。通过对比实验，本文的方法在多个指标上均优于其他竞争方法，表明其在实际应用中具有更高的可靠性。此外，实验结果还表明，该方法在处理实际场景中的数据时，能够保持较高的识别精度，这说明其不仅适用于基准数据集，还具有良好的泛化能力。

本文的研究成果为HAR技术提供了新的解决方案，尤其是在单传感器数据处理方面。传统的HAR方法往往依赖于复杂的预处理步骤和高维特征提取，而本文提出的方法通过将时间序列数据转换为图像，简化了特征提取的过程，同时提升了模型的识别能力。这种方法不仅适用于加速度计数据，还可以扩展到其他类型的传感器数据，例如陀螺仪、磁力计等。因此，本文的研究具有较强的通用性和应用价值。

此外，本文的研究还强调了多分支融合模型在HAR任务中的重要性。通过将不同轴的数据分别输入到不同的分支中，模型能够更全面地分析数据的特征，从而提高分类的准确性。在实际应用中，这种多分支结构可以适应不同的活动识别需求，例如在医疗场景中，可以通过不同分支分别识别患者的动作和姿态变化，从而提升监测的精准度。在体育训练中，可以通过不同分支分析运动员在不同方向上的运动状态，为训练提供更详细的反馈信息。

本文的研究还表明，GADF方法在处理非线性和不确定性较强的时间序列数据时具有一定的优势。相比于传统的基于频域分析的方法，GADF能够更好地捕捉时间序列中的动态变化，从而提升模型的识别能力。这使得该方法在处理复杂活动识别任务时更加有效，例如识别不同类型的运动动作或检测人体姿态的细微变化。此外，GADF方法还可以与其他时间–频率分析技术相结合，进一步优化特征提取的效果。

综上所述，本文提出了一种基于GADF和多分支融合模型的HAR分类方法，该方法能够有效提升单传感器数据的识别精度。通过将时间序列数据转换为图像，并结合计算机视觉技术，模型能够更全面地分析数据的特征，从而提高分类的准确性。此外，多分支融合模型的设计使得模型能够更好地处理多维度数据，提升其在实际场景中的适应性。本文的研究成果不仅为HAR技术提供了新的思路，也为未来的智能设备应用奠定了基础。