《Optik》：New Deep Learning Video-based Human Activity Recognition using DCNN and RNN in an Edge Computing Environment
编辑推荐：
提出一种基于边缘计算的深度学习视频活动识别方法，结合MobileNetV2-SSD和Kalman Filter检测人体，利用LSTM捕捉时序特征，通过DCNN-RNN融合空间和时间特征，在资源受限的边缘设备上实现高精度（99.46%）和低延迟（21ms）的活动识别。
M Ananda Kumar|S Senthilkumar|S Rajalakshmi
人工智能与数据科学系，Saranathan工程学院，Panjapur，Tiruchirappalli– 620012，印度
摘要
视频监控系统在公共和私人空间中被广泛使用，传统上依赖于集中式处理。随着向边缘计算的转变，分布式系统可以在各个节点检测人员。然而，现有的人体活动识别（HAR）方法存在计算成本高、模型庞大、实时性能有限、泛化能力低以及边缘部署效率低等问题。为了解决这些问题，本文提出了一种新的基于深度学习的视频人体活动识别方法，该方法结合了深度卷积神经网络（DCNN）和循环神经网络（RNN），在边缘计算环境中实现（VHAR-DCNN-RNN-ECE）。输入视频来自WVU、UCF101和Kinetics数据集，并被分割成单独的帧进行处理。人体检测模块使用MobileNetV2-Single Shot Detection（SSD）进行人员识别，并结合卡尔曼滤波器进行跟踪和边界框平滑处理。检测到的人体区域经过裁剪、归一化和调整大小至标准尺寸，以便统一输入到HAR模型中。处理后的边界框序列随后被传递给长短期记忆（LSTM）网络，以捕捉人体运动的时间模式。最后，提取的时间特征被输入到DCNN-RNN中进行活动分类，从而识别出特定的活动。RNN和LSTM能够有效捕捉人体运动的时间模式，在实时识别方面优于CNN和Transformer。所提出的VHAR-DCNN-RNN-ECE方法使用Python实现，并评估了准确性、精确度、召回率、F1分数和延迟等性能指标。实验结果表明，该方法实现了99.46%的准确率、98.28%的精确度、98.03%的召回率、97.78%的F1分数和21毫秒的延迟，优于现有方法。
引言
人体活动识别（HAR）是一项关键任务，应用于医疗保健、体育分析、人机交互等多个领域[1]。随着配备传感器的可穿戴设备的日益普及，人们越来越关注使用深度学习方法开发鲁棒的人体活动识别系统[2][3]。在这种情况下，深度HAR模型（结合了深度卷积神经网络（DCNN）和循环神经网络（RNN））成为应对HAR任务挑战的有前景的方法[4][5][6][7]。由于深度学习模型可以从原始输入数据自动生成层次化表示，因此在多种布局识别任务中表现出色[8][9]。然而，对于时间序列分析应用来说，RNN因其识别序列数据中时间依赖性的能力而成为理想选择[10]。这些空间特征能够捕捉输入数据中的关键模式，提供关于不同活动的宝贵信息[11][12]。相比之下，RNN非常适合处理序列数据并捕捉随时间变化的时间依赖性[13][14]。随后，传感器采集的数据通过Wi-Fi或蓝牙等边缘设备传输到中央服务器[15]。值得注意的是，边缘计算在网络边缘部署计算和存储资源方面发挥着重要作用，促进了实时数据处理和分析[16]。这种传感器与边缘服务器的无缝集成使得在实时场景中实现高效可靠的数据感知成为可能[17][18]。提取的特征通过CNN架构或其变体进行处理，从而能够基于学习到的模式和表示来识别各种活动。最后，活动识别系统通常包含一个通知机制，根据检测到的活动向相关人员或机器代理发出警报[19]。这种通知系统在各种场景中都具有重要意义，特别是在紧急情况下，可以及时向紧急联系人或服务发出警报，从而促进快速响应和干预[20]。特别是，RNN和LSTM非常适合用于边缘计算系统，因为它们能够在计算资源和内存需求较低的设备（如边缘设备或物联网设备）上有效表示和建模人体运动的时间变化。这是因为它们能够在资源有限的设备上执行实时人体活动识别。另一方面，其他模型（如CNN和Transformer）虽然更精确，但也需要更多的计算资源和内存，因此无法应用于分布式边缘应用。
准确识别人体活动的挑战受到环境因素的影响，如杂乱环境、遮挡以及人体运动的不确定性。此外，现有方法还存在时间依赖性获取不足的问题，这降低了识别的整体准确性，以及由于跟踪和平滑过程中的误差导致的准确性下降。传统的基于CNN的模型无法同时提取空间特征和时间特征。此外，提供实时活动识别的边缘计算解决方案存在物理限制，因此无法提供可靠、准确和高效的活动识别系统。
研究的动机是在动态和复杂的现实世界环境中实现高精度、可靠性和效率的人体活动识别。需要找到有效的方法来实时检测各种活动，促进智能监控解决方案的发展，并在监控、医疗保健和边缘计算场景中实现实际应用，同时不影响速度和性能。
所提出的框架提供了一种新的DCNN和RNN版本，能够在资源有限的边缘设备上实时提取视频流的空间和时间信息。与我们方法结合的模型相比，现有方法（如HAR-SS-MobileNet或HAR-ModConvLSTM）在计算复杂性方面具有更高的准确率，因为后者仅关注轻量级空间特征或顺序建模。它允许更快、更可扩展地识别人体活动，并且足够可靠，可以在边缘设备上运行，比传统方法更高效和可靠。
研究问题
RQ1
：在资源受限的边缘环境中，使用所提出的基于DCNNRNN的框架以高精度识别人体活动的最佳方法是什么？
RQ2
与当前HAR方法相比，时空特征学习的集成效果如何？其效率、速度和韧性如何？
本文的主要贡献包括：
•本文提出了一种基于视频的人体活动识别系统，能够进行准确有效的活动识别。
•结合了MobileNetV2-SSD和基于卡尔曼滤波器的跟踪技术，以处理复杂的运动并提高检测的可靠性。
•利用LSTM学习时间模式，有效学习人体运动的序列特征。
•基于强大的空间和时间特征获取能力，改进了分类结果。
•在多个数据集上测试了该框架，证明了其在边缘计算环境中的实时性能。
本文的其余结构如下：第2节概述了相关工作。第III节描述了所提出的系统。第IV节提供了实验设置细节。第V节包含了实验评估结果及相应讨论。最后，第VI节给出了结论性意见。
章节摘录
文献综述
文献中提出了许多基于深度学习的人体活动识别研究；以下是一些最近的研究：
< />提出的系统 DEEP-HAR
在本节中，讨论了所提出的VHAR-DCNN-RNN-ECE方法。
工作流程从输入视频序列开始，将其分割成单独的视频帧。这些帧通过MobileNetV2-SSD和卡尔曼滤波器进行处理，以准确定位人体。然后使用LSTM架构（HAR）识别人体活动，随后通过密集神经网络进行分类。
结果与讨论
DCNN–LSTM人体活动识别框架在配备Intel Core i7-9700K CPU（3.60 GHz）、32 GB RAM、NVIDIA GeForce RTX 2080 Ti GPU、500 GB ROM和Ubuntu 20.04.3 LTS的高性能PC上进行了训练和初步评估，提供了足够的计算能力用于模型训练和验证。对于实时测试和边缘部署，该框架在配备Intel Atom x7-E3950处理器、8 GB RAM、64 GB eMMC存储器的UPS2嵌入式系统上进行了评估。
结论
本文提出了一种基于深度学习的人体活动识别系统，使用DCNN提取空间特征，RNN对时间序列进行建模。所采用的策略旨在实现识别性能和计算能力之间的平衡。基准视频数据的测试表明，该方法具有98.28%的精确度、128 MB的模型大小和97.78%的F1分数，并且具有较低的推理延迟。
资金信息
本研究未获得公共、商业或非营利部门的任何特定资助。
CRediT作者贡献声明
S Rajalakshmi：监督。S Senthilkumar：监督。M Ananda Kumar：撰写——原始草稿。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
