《Sensors》:A Comparison of Machine Learning Approaches to Activity Classification Using IMU Data Collected in a Community-Based Setting
编辑推荐:
机器学习(ML)算法可用于从惯性测量单元(IMU)捕获的运动数据中提取具有临床意义的信息,但许多人类活动识别(HAR)流程是在大型实验室数据集上开发的,这些数据集可能无法反映小型、异质的真实世界样本。本研究旨在系统比较多种ML模型、特征集(包括简单和扩展)、类
机器学习(ML)算法可用于从惯性测量单元(IMU)捕获的运动数据中提取具有临床意义的信息,但许多人类活动识别(HAR)流程是在大型实验室数据集上开发的,这些数据集可能无法反映小型、异质的真实世界样本。本研究旨在系统比较多种ML模型、特征集(包括简单和扩展)、类别平衡策略、空活动和过渡期处理技术以及传感器配置在识别从年龄多样人群的IMU时间序列数据中提取的一组四种日常活动时的准确性。研究人员训练并测试了六种ML分类器:多层感知机、随机森林、k-最近邻、逻辑回归、CatBoost和高斯朴素贝叶斯。这些方法在流程中使用了不同的采样技术,包括合成少数类过采样技术或随机欠采样,以及特征处理步骤,包括主成分分析或Select-From-Model元变换器。此外,还训练和测试了两种深度学习方法,DeepConvLSTM和ResGCNN。将准确性、精确率、召回率和受试者工作特征曲线下面积与一个虚拟分类器(作为随机性能的基准近似)进行比较。所有流程的表现均优于虚拟分类器,模型准确率范围在0.427到0.644之间。本研究展示了多种ML算法在利用来自儿童和成人的有限IMU数据时,能够正确识别一组功能性活动的能力。
论文解读文章
**研究背景**:可穿戴传感器和机器学习(ML)算法在物理康复领域的应用日益广泛。惯性测量单元(IMU)是常用传感器之一,可用于活动检测、识别及临床评估。然而,许多人类活动识别(HAR)流程基于大型实验室数据集开发,这些数据集可能无法反映小型、异质、真实世界样本的特点。现有研究存在以下问题:数据集大小影响模型选择,传统ML方法在小样本中泛化能力更强,而深度学习需大量数据;临床人群(如脑卒中、脑瘫患者)运动变异性大,导致类别内差异;现有研究常独立评估方法选择(如分类器、特征提取、传感器放置),缺乏对设计选择交互作用的系统研究。因此,本研究旨在系统比较多种ML模型、特征集、平衡策略、过渡期处理技术及传感器配置,以指导小样本、异质数据下的HAR实践。
**研究内容与结论**:研究人员从23名社区参与者(年龄3-68岁,女性为主)中收集IMU数据,参与者佩戴双侧腕部和踝部传感器,完成四项功能性活动(折叠毛巾、叠杯子、坐站、跳舞),并记录空活动期。通过预处理(滤波、计算加速度和角速度幅度、提取时域和频域特征)构建数据集。研究比较了六种经典ML模型(多层感知机MLP、随机森林RF、k-最近邻KNN、逻辑回归LR、CatBoost、高斯朴素贝叶斯GNB)和两种深度学习模型(DeepConvLSTM、ResGCNN),并评估了不同特征集(简单vs扩展)、采样技术(SMOTE、RUS)、特征降维(PCA、SFM)、过渡期处理、年龄分组、传感器放置及空活动处理的效果。结果表明:所有测试模型均优于随机分类器,其中CatBoost、MLP、RF在扩展特征集下准确率>0.60,AUC>0.8;简化特征集性能略有下降,但MLP仍表现良好;模型在年龄分组间无显著差异;过渡期去除对性能影响不显著;空活动分类是主要难点,级联二分类(空vs非空)未改善整体性能;双侧腕部传感器贡献最大,踝部传感器存在冗余;深度学习模型在训练时间、性能上均不如经典ML,即使数据增强也仅边际提升;模型存储需求小(<7 MB),适合边缘计算。该研究发表在《Sensors》期刊,表明在小样本、异质社区数据中,经典ML模型可实现有意义的活动分类,为可穿戴HAR应用提供了设计指导。
**关键技术方法**(不超过250字):本研究采用以下主要技术方法:(1)数据采集:使用MetaMotionR+设备(3轴加速度计±16g,3轴陀螺仪±2000°/s,采样率50Hz)在双侧腕部和踝部收集IMU数据,数据来源于23名社区参与者(2023年Maker Faire Milwaukee expo)。(2)预处理:带通滤波(0.25-2.5Hz),计算加速度和角速度幅度(欧几里得范数),然后在1秒时间内积分。从5秒滑动窗口中提取时域特征(均值、标准差、均方根、四分位数、中位数、最大值、最小值)和频域特征(功率谱密度在低、中、高三个频带内的信号功率)。(3)ML管道:使用scikit-learn的StandardScaler缩放数据,采用随机欠采样(RUS)或合成少数类过采样技术(SMOTE)处理类别不平衡,并使用主成分分析(PCA)或Select-From-Model(SFM)进行特征降维。训练了六种经典ML模型(MLP、RF、KNN、LR、CatBoost、GNB)和两种深度学习模型(DeepConvLSTM、ResGCNN),通过5折交叉验证优化超参数,以平衡准确率(macro recall)为评分指标。
**研究结果**:
**3.1 研究人群**:参与者主要为女性、白人,年龄中位数12岁,身高和体重分布集中。数据集共包含30.4%的空活动类别,其余四种活动类别分布相对均匀。
**3.2 扩展特征集下的模型性能**:所有算法在扩展特征集下均显著优于随机分类器。CatBoost表现最佳,准确率、精确率、召回率和宏平均F1值均约为64%,且AUC>0.8。混淆矩阵显示,CatBoost、MLP、RF、LR、KNN对角线值较高,其中空活动与叠杯子活动混淆最多,折叠毛巾误分类较少。SHAP值分析表明,四个肢体传感器的特征均具有重要性,且不同类别对特征的依赖不同。
**3.3 简化特征集下的模型性能**:使用简化特征集后,所有模型性能略微下降,但MLP在准确率上仍为最佳,AUC>0.8的模型包括MLP、CatBoost和RF。扩展特征集最佳模型与简化特征集最佳模型之间存在显著差异(p=0.002)。
**3.4 模型性能与年龄**:以10岁为界将参与者分为年轻组和年长组,用年长组训练、年轻组测试,结果与混合年龄组训练测试的性能无显著差异(p=0.548),表明中等年龄异质性不影响模型泛化。
**3.5 过渡期窗口的影响**:去除包含过渡期(空活动与活动之间)的数据窗口后,模型性能与原始扩展特征集结果非常相似,无显著差异(p=0.768),表明过渡期误分类不是主要问题。
**3.6 空活动与非空活动分类**:将多分类问题分解为二分类(空vs非空)和四分类(非空活动)。二分类中RF最佳,AUC 0.893;非空活动分类中CatBoost最佳,AUC 0.864。但级联组合模型(RF+CB)性能未优于原始多分类模型,表明困难在于同时区分空活动和正确活动。
**3.7 传感器放置**:比较15种传感器组合,KNN和MLP在剔除左踝传感器后性能最佳。仅使用单传感器(尤其是下肢)性能显著下降,双侧腕部传感器对分类贡献最大。
**3.8 深度学习**:DeepConvLSTM和ResGCNN在OPPORTUNITY数据集上基准测试表现良好,但在本数据集中训练时间远长于经典ML,且性能无优势(准确率约0.43-0.53)。数据增强和Optuna超参数优化仅带来边际改善,训练时间仍长。
**3.9 计算资源利用**:CatBoost和MLP的模型大小<400 KB,适合边缘设备。深度学习模型推理所需内存较小,但参数更多、训练更慢。简化特征集可显著减少训练时间。
**讨论总结**:本研究验证了在小样本、异质社区数据中,多种ML算法可实现有意义的活动分类,但无单一算法统治所有指标。空活动分类是主要难点,过渡期影响不大。年龄异质性未显著影响泛化。传感器放置显示双侧腕部信息关键,踝部存在冗余。深度学习因数据量小、类不平衡而表现不佳,经典ML更实用。研究强调,模型选择应基于数据集特征,并考虑实际应用中的空活动处理、传感器布局和计算资源限制。
**研究结论翻译**:本研究中,研究人员评估了多种机器学习算法利用从双侧腕部和踝部传感器收集的IMU时间序列数据对功能性活动进行分类的能力。所有测试模型均优于虚拟分类器,表明即使使用短时数据段和相对较小、异质的数据集,也能实现有意义的活动分类。与最初的预期相反,研究结果强调,在简化特征集和扩展特征集上,没有单一算法在所有性能指标上明确主导其他模型。这一结果证明了针对特定应用系统评估多种模型和特征集的重要性。与许多在均质群体中对刻板活动报告接近天花板准确率的实验室基准相比,本研究的社区来源准确率较为适中。尽管如此,尽管整体准确率适中,但本研究排名前三的模型性能水平相似,表明在广泛的应用中,可穿戴IMU系统在社区条件下使用实用的传感器配置可以证明其可行性。