《Information》:Wearable Sensor-Free Adult Physical Activity Monitoring Using Smartphone IMU Signals: Cross-Subject Deep Learning with Window-Length and Sensor Modality Studies
Mussa Turdalyuly,
Ay Zholdassova,
Tolganay Turdalykyzy and
Aydin Doshybekov
编辑推荐:
本项研究针对现实环境中成人身体活动识别(HAR)面临被试变异性和活动过渡两大挑战,研究人员通过开展一项基于智能手机IMU信号、采用跨被试评估协议的研究,探索了轻量级CNN模型、最优时间窗长度(2.0秒)和传感器模态(陀螺仪与加速度计融合)对识别性能的影响。结果表明,仅使用智能手机内置传感器即可实现有效的活动监测(Macro-F1 ≈ 0.46),为无需额外可穿戴设备的大规模成人健康监测应用提供了实用方案。
如今,智能手机几乎成了我们身体的延伸,它内置的“感觉器官”——惯性传感器,如加速度计和陀螺仪,正悄然开启健康监测的新篇章。人类活动识别(Human Activity Recognition, HAR)技术,旨在通过这些传感器数据自动识别我们的日常活动,是精准量化身体活动水平、预警久坐行为、实现个性化健康管理的核心技术。然而,理想很丰满,现实却骨感。当我们希望将实验室里表现优异的HAR模型,应用于真实世界中千差万别的成年人时,挑战接踵而至:每个人走路、跑步的姿态各异;手机可能揣在口袋、拿在手中或放在包里,位置和朝向变幻莫测;而活动之间的频繁转换,更让传感器信号变得扑朔迷离。这导致了一个核心难题:模型在一个“新人”(即未参与训练的被试)身上,往往表现不佳,即“跨被试泛化”能力薄弱。与此同时,如何从连续的数据流中切分出能清晰代表单个活动的“时间片段”(窗口),以及是依赖加速度信号、陀螺仪信号还是两者结合,这些基础设计选择对最终识别效果影响巨大,却缺乏在严格跨被试评估下的系统分析。为此,一项题为“Wearable Sensor-Free Adult Physical Activity Monitoring Using Smartphone IMU Signals”的研究在《Information》期刊上发表,它直面这些现实挑战,旨在探究:仅凭一部智能手机,能否在看不见“新用户”的情况下,可靠地识别成人的日常活动?怎样的时间窗长度和传感器组合能带来最佳性能?
为了回答这些问题,研究人员开展了一项系统的实证研究。他们采用了包含51名成人被试、记录有智能手机和智能手表IMU信号的WISDM公开数据集。为确保评估的严谨性,研究采用了严格的5折GroupKFold交叉验证协议,确保训练集和测试集来自完全不同的被试,以真实模拟模型部署到新用户时的场景。为降低细粒度活动标签的模糊性,他们将原始活动聚合为一个更具鲁棒性的6大类分类体系。研究评估了轻量级的智能手机专用卷积神经网络(CNN)模型,并将其与融合了智能手机和智能手表信号的多模态融合模型进行对比。此外,他们系统性地分析了不同滑动窗口长度(2.0秒、4.0秒、6.0秒)的影响,并进行了传感器模态消融实验,分别测试了仅加速度计、仅陀螺仪以及两者结合输入的性能。评估以准确率和宏平均F1分数(Macro-F1)为主要指标,后者能平等对待各类别,更适合处理类别不平衡问题。
模型对比
研究发现,在严格的跨被试评估下,仅使用智能手机信号的轻量级CNN模型取得了具有竞争力的最佳性能,平均Macro-F1约为0.46。相比之下,简单地早期融合智能手表信号的多模态模型并未带来一致的性能提升,甚至可能因设备异构性和时间未对齐问题而表现不佳。这强调了在跨用户场景下,鲁棒的多模态整合策略的重要性,同时也证实了仅凭智能手机内置传感器进行大规模成人活动监测的可行性。
窗口长度分析
时间窗长度的选择对性能有显著影响。实验结果显示,较短的2.0秒窗口在性能上优于4.0秒和6.0秒的长窗口。这一发现与先前研究一致,表明较长的时间窗更容易包含不同活动之间的过渡段,从而增加标签的模糊性。短窗口能提供更好的时间定位,减少窗内的活动混杂,这对于智能手机位置多变的场景尤为重要。
传感器模态消融
传感器模态的选择至关重要。消融实验揭示,仅使用陀螺仪信号的模型取得了最高的准确率,凸显了旋转运动线索对于活动识别的重要性。仅使用加速度计的性能则较低,表明单纯的平移加速度信息不足以实现跨被试的鲁棒识别。而结合加速度计和陀螺仪的输入则提供了最均衡的Macro-F1性能,这支持了利用多传感器IMU数据来捕捉互补运动信息是一种实用策略。
每类性能分析
对最佳配置(智能手机专用CNN,2.0秒窗口)的每类性能分析显示,模型能够可靠地识别动态活动,如“运动(Sports)”和“移动(Locomotion)”。然而,“静态(Static)”和“楼梯(Stairs)”两类活动则识别困难,它们的F1分数显著较低。混淆矩阵进一步揭示,“楼梯”活动常被误分类为“移动”,这源于两者相似的周期性下肢运动模式;而“静态”活动则易与低强度的“上肢活动(Upper-body)”或过渡性运动混淆。这些难点与先前研究相符,指出了在智能手机传感条件下,识别低运动强度或过渡性活动的固有挑战。图1的归一化混淆矩阵直观展示了各类别间的误判情况。而图2的每类F1分数分布图则进一步强调了模型在动态活动与静态/楼梯活动上识别性能的不均衡。
结论与讨论
本研究在严格的跨被试评估协议下,系统探讨了基于智能手机惯性信号的成人身体活动识别。核心结论是,仅使用智能手机内置传感器(无需外部可穿戴设备)的轻量级CNN模型,在简化后的6类活动识别任务中可以达到Macro-F1 ≈ 0.46的竞争性性能,为实际应用提供了可行方案。研究明确了几个关键设计选择:较短的时间窗(2.0秒)有利于提升性能;陀螺仪信号提供了至关重要的运动信息,加速度计与陀螺仪结合使用效果最佳;而简单的智能手表多模态融合并未带来稳定增益。
这些发现具有重要的现实意义。它证明了利用普及的智能手机进行大规模、低成本的成人日常活动监测是切实可行的,降低了健康监测的技术门槛和硬件依赖。研究为实际系统开发提供了具体建议:应优先采用短时间窗和融合IMU传感器,并在评估模型时必须采用严格的跨被试协议以反映真实泛化能力。然而,研究也指出了当前技术的局限,特别是对“静态”和“楼梯”活动的识别仍是难点,这为未来研究指明了方向,例如探索多尺度时序建模、对设备放置不敏感的特征表示以及更先进的多模态融合策略。总之,这项工作不仅为无外设可穿戴的成人活动监测提供了实证依据,也为构建更鲁棒、更实用的智能手机健康感知系统奠定了重要基础。