基于骨骼-环境融合的上下文感知网络摄像头AI框架用于老年人衰弱筛查

《IEEE Journal of Translational Engineering in Health and Medicine》：A Context-Aware Webcam-Based AIoMT Framework for Translational Frailty Screening Using Skeleton–Environment Fusion

　　

摘要：

目的：衰弱筛查对于老年人的早期风险分层和护理计划很重要，但传统评估通常资源密集，且难以扩展至临床设置之外。方法：本研究提出了一种上下文感知的基于网络摄像头的医疗物联网人工智能框架，利用骨骼 - 环境融合进行四类衰弱筛查。使用标准 RGB 网络摄像头捕捉正面行走视频。采用基于 MediaPipe 的姿态估计提取全身骨骼序列，同时应用基于剪影的主体移除以减少环境特征提取前的隐私敏感视觉信息。使用时间 LSTM 网络学习步态特征，并使用 ImageNet 预训练的 VGG16 模型提取环境上下文。将这两路特征流融合以进行基于临床衰弱量表的分类。结果：仅骨骼模型的 F1 分数达到 0.73。所提出的骨骼 - 环境融合模型将 F1 分数提高至 0.93，准确率为 0.93，精确率为 0.94，召回率为 0.93。结论：环境上下文为基于网络摄像头的衰弱筛查提供了具有临床意义的信息，特别是在辅助器具改变步态模式时。所提出的框架支持可扩展、低成本、非接触且隐私感知的衰弱监测。