《Sensors》：Understanding Human Motion from Depth Sensors: Activity Recognition and Age Group Recognition Using Skeleton Data
编辑推荐：
人类活动识别（Human Activity Recognition，HAR）在从学习某项技能到身体康复的多种应用中发挥着重要作用。在老年人群中，活动模式可指示虚弱程度，从而有助于设计预防跌倒和维持活动能力的体能训练方案。HAR感知手段涵盖穿戴式传感器（如惯性测
人类活动识别（Human Activity Recognition，HAR）在从学习某项技能到身体康复的多种应用中发挥着重要作用。在老年人群中，活动模式可指示虚弱程度，从而有助于设计预防跌倒和维持活动能力的体能训练方案。HAR感知手段涵盖穿戴式传感器（如惯性测量单元（Inertial Measurement Unit，IMU）和RGB相机）到视频、专用步态实验室、扰动装置、虚拟现实（Virtual Reality，VR）及其他模态。本文基于真实护理院环境采集的数据，对基于深度的骨骼驱动HAR与年龄组识别（Age Group Recognition，AGR）进行了全面研究。深度传感器提供了一种相比穿戴式和RGB系统更具隐私保护性和非侵入性的替代方案，能够在无需用户配合的情况下实现连续24小时监测。研究人员系统评估了多种建模范式，包括经典机器学习模型（决策树（Decision Tree，DT）、随机森林（Random Forest，RF）、K近邻（k-Nearest Neighbors，KNN）、支持向量机（Support Vector Machine，SVM）、隐马尔可夫模型（Hidden Markov Model，HMM）、HMM+SVM）、序列模型（长短期记忆网络（Long Short-Term Memory，LSTM）、时间卷积网络（Temporal Convolutional Network，TCN）、基于注意力的循环神经网络（Attention-based Recurrent Neural Network，ARNN））以及图学习方法，使用从深度图像提取的骨骼关节数据。实验在两个异质数据集上进行：NTU RGB+D（较年轻成人）与ETAP-DID（较年长成人）。研究人员分析了不同关节子集配置（全身、仅肢体、仅腿部、仅躯干）的影响，并比较了原始关节表示与手工时间序列特征（Time Series Feature Extraction Library，TSFEL）在基于帧的HAR中的表现。除活动识别外，研究人员引入了AGR流程，基于骨骼运动模式区分年轻与年老成人。研究人员考察了多种特征表示，包括绝对关节位置、根相对坐标、骨向量和关节速度，并通过特征重要性与显著性分析提供可解释性，以识别具年龄判别性的关节和运动线索。本研究对应用于深度数据的各类HAR模型进行了综合分析，考察模型性能及基于关节的特征对HAR与AGR的贡献，凸显了在护理院中实现个性化隐私保护监测与干预的潜力。
研究背景方面，人类活动识别（HAR）对识别日常生活活动至关重要，在医疗健康、人机交互、智能环境、安全安防及体育等广泛领域均有应用。对于65岁以上老年人群，跌倒检测、移动能力评估与连续监测尤为关键。现有穿戴式惯性测量单元（IMU）虽估计准确，却难以支持7×24小时监测，存在电池寿命、电极退化、皮肤刺激及老年人遗忘佩戴等局限；固定式RGB相机虽可连续供电，但视场角窄且引发隐私担忧。深度传感器通过生成视野内物体与人体的结构信息而非面部等个人特征，提供了非穿戴、非侵入且隐私保护的实用路径。同时，多数深度研究基于年轻群体，而衰老会改变关节协调与代偿策略，使得针对年轻与年老群体的骨骼运动差异分析及其在共享真实环境（如护理院）中的年龄组识别（AGR）研究明显不足。此外，现有工作较少系统探讨具体关节对活动与年龄判别的贡献，也缺乏跨经典机器学习、时序与图模型的一致基准。为此，研究人员在《Sensors》发表该研究，基于深度骨骼数据系统 benchmarking 多类模型与关节子集策略，并给出可解释分析。
关键技术方法上，研究人员使用两个队列来源数据集：ETAP-DID为三家护理院45名60岁以上居民历时21个月以壁挂深度传感器（10 fps，640×480）采集的约58037小时16位深度数据，经CVAT标注骨架与活动；NTU RGB+D 120为实验室环境下106名10–35岁受试者、120类动作、30 fps的公开基准，取单人多视角深度与25关节中的15关节。两集均下采样至6 fps、统一15关节、做根平移、正向旋转与基于股骨胫骨代理的身高归一化及z-score标准化。骨架提取采用ResNet配合L1损失；基于帧模型输入原始坐标或TSFEL（12帧窗、6帧重叠、SelectKBest选250特征），序列模型输入原始关节序列；AGR额外测试绝对位置、根相对、骨长、关节速度四种表示，并以随机森林（RF）、LSTM、时空图卷积网络（ST-GCN）在受试者无关划分下训练，用RF重要性及梯度显著性作解释。
研究结果部分，第2节数据集与特征提取中，研究人员阐明ETAP-DID现场数据噪声导致骨架提取PCK仅63%（NTU为88%），但通过统一高度区间、视角合并与三级归一化缓解了跨集偏差。第3节人类活动识别的帧与序列分析中，研究人员在DT、RF、KNN、SVM、HMM、HMM+SVM及LSTM、TCN、ARNN上对比全身/仅腿/仅肢/仅躯干关节集：发现ETAP-DID上原始关节比TSFEL更优，NTU上二者接近；全身关节集一致最优，仅腿关节集最差（受距离远提取不准影响）；坐姿站立类易分，过渡动作易混淆；RF与LSTM在各自范畴最强，序列模型在NTU上F1超0.96，在ETAP-DID上LSTM仍达0.841；受试者无关设定下LSTM F1降至0.8398但优于RF/KNN；计算开销上DT与TCN性价比最高，SVM与HMM+SVM最重。第4节年龄组识别中，研究人员在合并集观察到近满分过拟合后改用纯ETAP-DID（老人+护理人员为年轻组），ST-GCN在各表示下均最优，根相对坐标F1达0.8967，速度表示0.8880，骨表示0.8857；RF重要性与LSTM/ST-GCN显著性图一致指向头、颈、躯干、肩、髋、膝为年龄判别关节，表明老龄化差异主要体现在姿态、平衡与代偿性运动而非绝对位置。第5节结论指出全身骨骼信息最优，腿仅集受提取与判别力限制；小真实集上原始坐标优于TSFEL；序列与图模型显著领先；ST-GCN精度高但需加速，TCN兼顾准确与低延迟，适合实时；AGR中归一化骨骼与图时空建模最有效。
讨论与结论翻译部分，研究人员讨论认为：特征类型、关节选择与数据集特性强烈影响识别表现；原始关节在小型噪声集ETAP-DID胜出，TSFEL在大型NTU具可比性或微优；全身关节提供最稳结果，腿仅集因提取误差与判别信息少而最差；坐站易分、过渡难分；经典ML中RF稳健，DT/KNN对特征敏感，SVM/HMM在小集欠佳；序列模型依赖窗口长度，短窗利于实时；头肩髋膝等关节重要性符合生物力学预期；受试者无关下性能回落印证跨人泛化难度。局限含ETAP-DID规模与噪声、骨架PCK上限拖累、超参未在全关节子集穷搜、序列模型算力重。结论为：深度骨骼分析在护理院连续监测中具明确潜力，全关节原始坐标配序列/图模型提供最可靠HAR，根相对与速度/骨表示配ST-GCN提供最稳AGR；未来应走向轻量图架构、剪枝量化、可变窗与早退机制、跨域无关评估。该研究为隐私保护下老年运动监测与个性化干预提供了统一基准与可解释依据。
