基于深度图像的养老院真实环境人体姿态估计方法评估研究

《Sensors》：Evaluating Depth-Based Human Pose Estimation in Real-World Nursing Home Environments

　　

真实室内环境中的人体姿态估计因隐私问题、遮挡、人数变化以及传感器数据噪声而仍然具有挑战性。本研究探究了在养老院环境中长时间采集的深度图像中的人体姿态估计问题。研究人员探索了多种输入表示，包括仅深度（depth-only）表示、基于剪影（silhouette）的表示，以及基于深度的Sobel梯度（Sobel gradient）特征。为系统分析模型复杂度和输入表示的影响，研究人员设计了一个实验框架，对轻量级卷积神经网络（Convolutional Neural Network, CNN）、基于图的模型以及更深层架构（包括ResNet和HRNet）进行了比较。在所有被评估的配置中，采用深度+Sobel（Depth+Sobel）输入的CNN+GCN在七关节基线上取得了最高的测试PCK（Percentage of Correct Keypoints），在房间依赖（room-dependent）设置下达到77.18%，在房间无关（room-independent）设置下达到76.03%。轻量级模型在该数据集上普遍优于高容量架构，但实验并未识别出这一差异背后的机制。与相应的逐帧CNN相比，CNN+LSTM降低了帧级性能。在真实条件下，部分可见和多人物场景的性能有所下降。增加可见性预测头（visibility prediction head）在被评估的场景中产生了适度的改进。无占用的房间训练减少了虚假姿态预测。结果表明，具有结构化深度表示的轻量级架构对于隐私敏感的养老院环境姿态估计具有前景。然而，在部分可见性、多人物场景、遮挡关节的标注不确定性以及端到端部署方面仍存在重大挑战。计算测量显示在测试硬件上模型推理时间较低，但并未确立端到端的实时系统性能。

论文解读文章

一、研究背景与问题

基于图像的视频监控在安全、医疗、体育、制造、智慧城市和农业等多个领域具有广泛应用。人体姿态估计（Human Pose Estimation）作为从图像中识别和提取关键点的核心技术，是患者监护、辅助生活和人机交互等应用的基础。在老年人监护场景中，可穿戴设备虽然在某些应用中表现良好，但对老年人而言佩戴不舒适且常被遗忘，同时需要定期充电、维护和正确佩戴，难以满足长期持续监控的需求。图像传感器则具有非侵入性和无需佩戴组件的优势，其中深度传感器（包括飞行时间（Time-of-Flight, ToF）传感器、结构光系统和立体视觉相机）在隐私敏感场景中可通过仅深度感知减少可识别外观的暴露，同时实现监控功能。

然而，深度图像通常为640×480的16位单通道数据，相较于RGB图像引入了额外的学习挑战。深度图像常包含传感器特定特征，如独特的噪声模式、量化伪影和内部参数差异，模型可能无意中依赖这些传感器特定线索，从而限制其在不同传感器类型、环境和部署地点之间的泛化能力。此外，现有姿态估计研究大多基于受控条件下的RGB数据集，对真实世界中噪声深度数据的性能和泛化能力尚未充分验证。真实养老院监控场景包含空房间、关节缺失的单人场景和双人场景等复杂情况，现有方法在受控条件下评估，可能无法充分应对长期养老院监控中遇到的噪声深度测量、部分可见性、多人交互和空场景的组合挑战。

二、研究内容与意义

本研究系统评估了不同输入表示和架构复杂度的姿态估计模型，比较了基于ResNet18和HRNet18的高容量架构与轻量级CNN模型在原始深度、剪影和深度+Sobel表示上的表现。随后研究了通过图卷积网络（Graph Convolutional Network, GCN）显式建模关节间空间关系或通过LSTM建模时间依赖是否能改善姿态估计。模型选择同时考虑姿态估计性能和计算需求（推理时间、内存消耗、复杂度和参数数量），以评估实时部署的适用性。最后，在真实养老院条件下评估了所选方法，包括部分可见关节、多人物和空房间场景，并研究了可见性感知预测和缺失关节及空场景的显式监督。

研究结果表明，轻量级CNN+GCN架构配合深度+Sobel输入在姿态定位性能和计算效率之间取得了良好平衡，为隐私敏感的养老院连续监控提供了可行的技术方案，对资源受限环境下的AI驱动监控系统部署具有重要参考价值。

三、关键技术方法

研究人员使用自建的ETAP深度图像数据集（ETAP-Depth Image Dataset, ETAP-DID），该数据集从三家养老院21个月采集，包含48名60岁以上居民，以10帧/秒、640×480分辨率记录，传感器安装高度2.10至2.25米，向下倾斜30°至40°。研究人员手动标注了15小时深度数据，包含15个身体关节关键点。输入表示包括仅深度、剪影和深度+Sobel梯度三种形式。模型架构涵盖ResNet18、HRNet18、轻量级CNN和CNN+GCN。训练使用AdamW优化器，40个epoch，损失函数包括Smooth L1损失、可微PCK损失，以及针对真实场景的可见性学习、空帧正则化等多项损失组件。

四、研究结果

高容量架构评估：HRNet18在深度输入下优于ResNet18，确认了保持高分辨率特征的优势。两种模型在剪影输入下表现较差，深度与Sobel特征结合时泛化能力下降，表明过密的监督可能引入噪声。

轻量级架构评估：CNN+GCN在深度+Sobel输入下取得最佳性能，测试性能分数为84.28%，PCK为77.18%。CNN+GCN在所有表示上均优于普通CNN，表明显式建模关节依赖关系具有优势。房间无关评估中，深度+Sobel表示仍是最稳健的输入，CNN+GCN取得81.67%性能分数和76.03% PCK，表明梯度增强的深度表示在不同环境间泛化更有效。

时间建模评估：逐帧模型取得82.97%性能分数和76.45% PCK，而CNN+LSTM的PCK降至71.82%。时间建模未改善姿态估计性能，可能原因是深度帧输入已提供强空间线索，而序列建模引入的时间平滑可能跨帧传播定位误差。

真实场景评估：基线+空房间配置取得最高性能，测试性能分数84.63%，PCK为67.51%，表明训练中显式加入空房间条件可提高鲁棒性。单人部分可见关节场景PCK为65.01%，双人场景PCK最低为64.52%，反映深度空间中重叠人体结构带来的严重关节模糊。可见性头的加入在各场景中产生小幅改进。

计算分析：CNN+GCN需要3.74 GFLOPs、3408 MB内存、117万参数，平均推理时间2.6毫秒/帧，是轻量级架构中计算资源需求最少的模型。ResNet18和HRNet18需要显著更多的内存和计算资源，同时在基线数据集上姿态估计性能较低。

五、讨论与结论

研究讨论指出，轻量级结构化表示为深度姿态估计提供了性能、鲁棒性和部署效率的最佳平衡。高容量架构在噪声真实条件下倾向于过拟合，而简单模型泛化更好。与RGB图像研究不同，深度数据纹理有限且传感器噪声更强，使深层模型更易过拟合。CNN+LSTM时间建模未改善性能，与先前研究观察一致。真实部署条件下性能因遮挡、重叠人体结构和空房间场景而下降，可见性监督提供了增量而非变革性的改进。研究局限性包括多人物场景中缺乏显式人物分离机制、时间一致性未充分执行、数据集受限于有限受试者多样性、计算测量仅在单一硬件配置上获得，以及部分可见参与者中不可见关节由标注者手动估计带来的不确定性。

研究结论表明，轻量级CNN方法尤其是CNN+GCN配合深度+Sobel输入，在姿态定位性能和计算效率之间提供了良好平衡，支持了轻量级深度姿态估计用于隐私敏感监控研究的可行性。然而，深度模糊和不完整观测仍是关键挑战。未来工作应解决多人物模糊问题，引入显式实例级分离机制如基于检测的姿态分组或基于Transformer的注意力模型，扩展更强的时间推理能力，增强对不利传感条件的鲁棒性，并评估低功耗边缘硬件部署及模型压缩技术。