《Sensors》:Adaptive Convolutional Neural Network-Enhanced Scale-Fusion Network for Human Activity Recognition Using Wearable Sensors
编辑推荐:
深度学习在基于传感器的人体活动识别(Sensor-based Human Activity Recognition, SHAR)中取得了显著成功,然而可穿戴惯性信号包含不同时间尺度的活动模式,同时实际部署对计算资源施加了严格的约束。本文提出了一种用于六通道
深度学习在基于传感器的人体活动识别(Sensor-based Human Activity Recognition, SHAR)中取得了显著成功,然而可穿戴惯性信号包含不同时间尺度的活动模式,同时实际部署对计算资源施加了严格的约束。本文提出了一种用于六通道加速度计-陀螺仪活动识别的三阶段自适应卷积神经网络增强尺度融合网络(Adaptive CNN-Enhanced Scale-fusion Network, ACESNet)。自适应核编码器(Adaptive Kernel Encoder)动态组合不同大小的时间卷积核,而卷积神经网络增强尺度融合(CNN-Enhanced Scale-fusion)设计融合了多尺度时间混合、显式通道混合和一条并行局部卷积神经网络路径,且无需构建全局注意力矩阵。主要基准测试采用固定分层窗口级70/15/15划分(划分随机种子42),主要比较中的所有方法均在五个训练随机种子上进行重复实验。在REALWORLD、MotionSense、UCI-HAR和SHL数据集上,ACESNet分别达到了95.37±0.09%、99.33±0.12%、98.01±0.23%和93.49±0.10%的准确率,以及95.59±0.09%、99.12±0.15%、98.16±0.21%和94.03±0.08%的宏F1分数(Macro-F1)。独立的官方UCI-HAR跨被试评估获得了94.01±0.84%的准确率和94.11±0.88%的宏F1分数。自适应核选择器的平均归一化熵为0.9114,这提供了反对严重单分支坍塌的证据,而非表明存在强的核选择性。在树莓派5(Raspberry Pi 5,Raspberry Pi Ltd., Cambridge, UK)上使用FP32精度的ONNX Runtime 1.18.1,ACESNet每个窗口需要8.731兆浮点运算次数(MFLOPs),推理时间为1.606±0.014毫秒。这些结果支持在所规定的实验协议下,相对于所选基线方法,ACESNet在性能与效率之间取得了良好的权衡。
**论文解读**
**一、研究背景与问题**
人体活动识别(Human Activity Recognition, HAR)是普适计算和人机交互领域的核心技术,在医疗健康监测、运动科学、智能环境以及虚拟/增强现实系统中具有广泛的应用潜力。当前HAR研究主要分为基于视觉和基于传感器两大范式。基于视觉的方法虽然有效,但存在隐私担忧、光照敏感和遮挡等固有问题。随着微机电系统(Micro-Electro-Mechanical Systems, MEMS)技术的发展,集成加速度计、陀螺仪和磁力计的惯性测量单元(Inertial Measurement Unit, IMU)因其体积小、功耗低和易于穿戴的优势,成为实现非侵入式、连续和个性化活动识别的理想方案。
然而,从原始IMU信号中准确鲁棒地识别复杂人体活动仍面临重大挑战。传统方法依赖手工特征工程(如时域统计量和频域特征)结合浅层机器学习分类器(如支持向量机(Support Vector Machine, SVM)和K近邻算法(K-Nearest Neighbors, KNN)),这些方法在特征提取上劳动密集且泛化能力有限。深度学习(Deep Learning, DL)技术虽然能够通过端到端学习自动提取高层次的判别性特征表示,显著提升了识别精度,但深度神经网络通常伴随大量计算开销。当前研究存在一个关键缺口:可穿戴活动信号同时包含短时瞬态模式和较长周期性结构,而传统卷积神经网络(Convolutional Neural Network, CNN)在每层应用固定的时间感受野,增加网络深度或引入全局注意力虽然可以扩大感受野,但也会增加计算量和中间激活成本。因此,如何在识别精度和计算效率之间取得适当平衡,是实际部署中亟待解决的问题。
**二、研究内容与意义**
研究人员提出了ACESNet,一种三阶段自适应卷积神经网络增强尺度融合网络,用于六通道(三轴加速度和三轴角速度)惯性传感器的人体活动识别。该网络的核心思想不是替换所有循环或Transformer架构,而是提供一种自适应卷积替代方案,能够在保留轻量级上下文混合路径的同时,动态改变局部时间尺度。ACESNet通过自适应核编码器动态组合多个时间卷积分支,并在第三阶段采用卷积神经网络增强尺度融合设计,将多尺度深度可分离时间混合与显式逐点通道混合及并行局部CNN分支相结合。研究人员在REALWORLD、MotionSense、UCI-HAR和SHL四个公开数据集上进行了系统评估,并在树莓派5上测量了实际部署效率。结果表明,ACESNet在识别精度和计算效率之间取得了良好的权衡,为面向边缘设备的可穿戴活动识别提供了新的技术方案。研究还通过自适应核权重分析揭示了多分支联合利用的证据,避免了单分支坍塌问题。
**三、关键技术方法**
ACESNet采用三阶段渐进式特征抽象策略。原始128采样点的六通道惯性信号经补丁嵌入(Patch Embedding)映射到高维特征空间,随后依次通过三个阶段处理,通道维度逐步增加同时保留足够的时间分辨率。核心技术包括:(1)自适应核编码器,通过可学习的注意力机制在三个不同尺度的候选时间卷积核之间进行动态选择,由全局自适应平均池化(Global Adaptive Average Pooling, GAP)提取全局上下文信息,经线性投影和Softmax函数生成注意力权重,实现输入依赖的多尺度特征融合,并集成压缩-激励(Squeeze-and-Excitation, SE)式通道注意力以增强通道间依赖建模;(2)卷积神经网络增强尺度融合模块,位于第三阶段,包含多尺度深度可分离时间卷积的尺度融合分支(使用五个不同感受野的深度可分离卷积核)、面向高频细节的并行CNN分支(采用分组卷积(Group Convolution, GC)、批归一化(Batch Normalization, BN)和GELU激活函数),以及受SE模块启发的跨尺度门控融合机制,通过逐点投影实现两分支信息的互补融合与重校准;(3)该设计避免显式构建全局注意力矩阵,上下文混合操作在时间维度上线性缩放。实验采用四个公开数据集(REALWORLD含15名被试8类活动、MotionSense含24名被试6类活动、UCI-HAR含30名被试6类活动、SHL含3名被试8类交通/运动模式),所有方法使用相同的六通道128采样点窗口和固定分层70/15/15窗口级划分(划分种子42),在五个训练随机种子(0-4)上重复评估。
**四、研究结果**
**(1)对比实验结果:** 在固定窗口级划分下,ACESNet在所有四个数据集上取得了最高的平均准确率和宏F1分数。在REALWORLD上达到95.37±0.09%准确率和95.59±0.09%宏F1;在MotionSense上达到99.33±0.12%准确率和99.12±0.15%宏F1,该数据集对多个评估模型已接近饱和;在UCI-HAR上达到98.01±0.23%准确率和98.16±0.21%宏F1;在SHL上达到93.49±0.10%准确率和94.03±0.08%宏F1。
**(2)消融实验结果:** 在SHL和UCI-HAR上的消融研究表明,移除并行CNN分支在SHL上导致最大的宏F1下降(从94.02降至93.29);将自适应核替换为固定核(模型参数量接近:0.2609M vs 0.2623M)使宏F1降至93.48;移除核通道注意力使宏F1降至93.74。在UCI-HAR上差异较小但趋势一致。固定核对照组未能达到完整模型的性能,表明增益不能仅归因于参数量的增加。
**(3)自适应核权重分析:** 自适应核权重的平均归一化熵为0.9114,较为接近均匀分布上限(1.0),表明三个候选分支保持联合利用,未观察到严重的单分支坍塌。不同活动类别间存在适度的核偏好差异,例如跑步(Run)对中等核(k=7)赋予相对较高权重(0.44),而静止(Still)、自行车(Bike)、公交车(Bus)、火车(Train)和地铁(Subway)类别的最大平均权重落在较大核(k=11)。
**(4)跨被试验证结果:** 使用UCI-HAR官方跨被试训练/测试划分,ACESNet获得94.01±0.84%准确率、94.11±0.88%宏F1和94.21±0.84%平衡准确率,量化了移除被试重叠后预期的性能下降,但结果仍保持在94%以上,表明模型保留了较强的跨被试识别能力。
**(5)计算效率与边缘部署结果:** 在树莓派5上使用FP32 ONNX Runtime 1.18.1(单线程、批大小1),ACESNet需要8.731 MFLOPs和1.606±0.014毫秒/窗口,在六个导出模型中参数量最低,延迟仅次于TASKED位居第二低。理论运算次数与CPU延迟之间并非单调映射关系——C3CNN的FLOPs(6.783 MFLOPs)虽低于ACESNet但延迟更高(3.776毫秒),验证了同时报告运算次数和实际设备测量值的必要性。
**(6)混淆矩阵分析:** UCI-HAR上三个移动类(行走、上楼、下楼)几乎完全分离,平均类别召回率分别为99.85%、100.00%和99.91%,残余错误集中在静态姿势之间(3.08%的站立窗口被分类为坐下,2.19%的躺下窗口被分类为坐下)。SHL的挑战性更大,公交车、火车和地铁的召回率分别为90.05%、91.42%和91.20%,火车与地铁之间的双向混淆最为显著(Train→Subway为3.98%,Subway→Train为3.45%)。
**五、讨论总结与研究结论**
讨论部分指出,SHL上火车与地铁之间的残余混淆在物理上是合理的,因为两者均为轨道交通工具,具有重叠的振动频谱和相似的低身体运动时段,这仍是一个未解决的挑战。研究未系统性地改变设备佩戴位置、引入缺失通道、改变采样率或注入受控传感器噪声,这些因素可能实质性改变输入分布,需要在专门的鲁棒性研究中评估。主要基准测试采用固定分层窗口级划分,该协议在窗口来自同一被试的不同子集时可能高估跨用户泛化能力,因此研究单独报告了跨被试验证结果并明确区分了两种协议。部署效率取决于运行时环境、线程配置、精度和硬件后端,而非仅依赖参数量,当前研究评估了每窗口模型推理,未包括传感器采集、操作系统调度、预处理输入/输出或端到端电池消耗,这些留给未来的部署研究。
研究结论:本文提出了ACESNet,一种面向六通道惯性传感器SHAR的三阶段卷积架构,将输入依赖的时间核选择与轻量级多尺度上下文混合相结合。在固定五种子窗口级基准测试下,ACESNet在REALWORLD、MotionSense、UCI-HAR和SHL上分别达到了95.37%、99.33%、98.01%和93.49%的平均准确率,对应的宏F1分别为95.59%、99.12%、98.16%和94.03%。组件消融表明移除并行CNN分支或将自适应核替换为固定核均持续降低了宏F1,0.9114的自适应核熵提供了反对严重单分支坍塌的证据。独立的官方UCI-HAR跨被试实验获得了94.01±0.84%的准确率和94.11±0.88%的宏F1。部署研究表明ACESNet在树莓派5上每128采样点窗口仅需8.731 MFLOPs和1.606±0.014毫秒,在性能与效率之间提供了良好的实际权衡。研究仍存在若干局限:主要比较使用窗口级划分,不应被解释为完全跨被试基准;尚未建立对受控传感器噪声、缺失通道、任意穿戴位置、异构模态、能耗或微控制器单元(MCU)部署的鲁棒性。因此,更广泛的跨被试分离、跨设备和鲁棒性评估是未来工作的重要方向。