3D-MLKDNet：面向肢体残障人群的基于三维网格重建与多级关键点检测的协同姿态估计方法

《Engineering Science and Technology, an International Journal》：3D-MLKDNet: Synergistic pose estimation via 3D mesh reconstruction and multi-level keypoint detection for physically disabled individuals

　　

人类活动识别（HAR）与运动分析在康复医学、运动科学、健康监护及人机交互中具有重要地位。然而传统基于RGB的视觉系统常受遮挡、光照变化、背景复杂及隐私泄露限制，在真实医疗与康复场景中可靠性下降。为此，研究人员提出一种隐私保护且低成本的深度引导多模态运动分类框架，集成语义分割、自适应关键点定位、轻量运动表示与三维网格重建，用于鲁棒康复导向运动分析。该框架引入多级关键点检测（MLKD-24）方法，可依据上肢构型变化自适应提取24个解剖一致的三维关节，并基于深度数据实现SMPL（Skinned Multi-Person Linear）模型驱动的三维人体网格重建。系统全程仅用深度信息，在保留结构与几何特征的同时规避面部纹理与肤色等身份线索，提升医疗与远程康复中的隐私性。此外，研究人员将ORB（Oriented FAST and Rotated BRIEF）与BRISK（Binary Robust Invariant Scalable Keypoints）描述子作为轻量且计算高效的旋转不变运动表示，替代高开销深度学习架构以增强对姿态变异的鲁棒性。最终，轮廓、关键点、描述子与三维网格表示经统一多模态框架融合，由机器学习模型分类。在KIMORE、K3DA与MEx数据集上分别取得93.9%、92.58%与87.51%的准确率，证明该框架在隐私敏感与计算受限康复环境中的细粒度运动分析有效性。

研究背景方面，近十年康复人体运动分析由骨骼跟踪演进为智能生物力学理解框架，但人体运动具非刚性、自遮挡与速度多样特点，真实康复环境存在复杂关节、部分可见与模式多变等困难。现有RGB方法对光照、背景与身份暴露敏感，难以满足隐私敏感医疗需求；而深度图像虽天然隐私友好，却面临自遮挡、纹理稀疏与深度缺失等挑战，传统固定模板或端到端深度模型要么解剖一致性差，要么计算负担重。为此，研究人员开展一项纯深度引导、轻量多模态康复运动分析研究，提出3D-MLKDNet框架，在KIMORE、K3DA、MEx及补充的Human3.6M与MPI-INF-3DHP数据集上验证，得出仅用深度即可实现高精度康复动作分类与三维结构重建的结论，意义在于为远程康复提供低成本、隐私安全、可实时部署的替代方案，论文发表于《Engineering Science and Technology, an International Journal》。

关键技术方法上，研究人员采用KIMORE（含健康与运动障碍者五类康复动作）、K3DA（18–81岁受试者13类临床康复活动）、MEx（深度相机+加速度计+压力垫多模数据）及Human3.6M与MPI-INF-3DHP作泛化验证；流程涵盖RANSAC去地平面、CLAHE与双边滤波预处理，HOG+SVM人检测接GrabCut得轮廓，MLKD-24双管线（MLKD-24-L/R）按臂位提取24关节，映射SMPL（θ∈R⁷²，β∈R¹⁰）做Joint2SMPL优化重建6890顶点网格，ORB/BRISK提取二进制描述子，GMM（Gaussian Mixture Model）椭圆拟合身体分区，计算线/角速度加速度与三角夹角，早期融合后经PSO（Particle Swarm Optimization）选约68%特征送MLP（Multi-Layer Perceptron）分类。

研究结果各节结论如下。引言（1. Introduction）指出RGB局限与深度隐私优势，确立纯深度多模态融合动机。相关工作（2. Related work）综述穿戴/视频/HAR/深度骨骼/Transformer体系，定位本框架轻量空白。系统方法（3. System methodology）总览流水线：预处理→轮廓→MLKD-24→SMPL网格→ORB/BRISK+GMM→运动学→融合PSO+MLP。预处理（3.1）用RANSAC式(1)(2)(3)去地板，Min-Max式(4)归一化，CLAHE式(5)、三通道复制式(6)、双边滤波式(7)保边抑噪。深度轮廓分割（3.2）以HOG+SVM初定位，GrabCut能量式(8)(9)(10)(11)分割，连通域式(12)(13)(14)去噪得掩码。MLKD-24（3.3）依身高比例与偏移自适应定位头颈肩髋脊臂腿踝共24点，MLKD-24-L/R两算法表1表2处理垂臂/举臂，与A2J比平均三维RMSE仅2.44像素（3.3.1）。三维网格重建（3.4）将24点一一对应SMPL关节，用损失式(16)L_joint、式(17)L_pose、式(18)L_shape、式(19)L_smooth、式(20)L_mesh加权式(21)L_total优化得解剖合理网格。特征HAR（3.5）ORB式(22)(23)(24)(25)与BRISK式(26)(27)(28)提旋转不变描述子做帧间匹配。GMM身体分区（3.6）式(29)(30)聚类、式(31)(32)椭圆轴长拟合并取质心与15轮廓点。速度加速度（3.7）式(33)(34)(35)(36)线动量与式(37)(38)角动量。三维轴距（3.8）式(39)欧氏距中心参考。三角夹角（3.9）式(40)余弦定律算关节角。融合优化（3.10）早期拼接多模→Min-Max归一→PSO适应度式(41)选特征→MLP式(43)–(49)三层隐层+Softmax分类，端到端单帧0.72秒457.1 MFLOPs（表4）。

结果章（4. Results）中，数据集（4.1）确认五集来源与伪深度适配；实验配置（4.2）Tesla T4环境，时间成本如表4；混淆矩阵（4.3）KIMORE/MEx/K3DA均对角线主导，E4/E11/E12近满命中，少量E1-E3混叠因上肢轨迹相似；指标讨论（4.4）KIMORE均F1≈0.94（E4达0.99），K3DA均F1≈0.92（E11/E12为1.00，E6最低0.79），MEx 87.51%，整体证实多模互补提升类可分性。

讨论与结论翻译浓缩：研究人员结论为，3D-MLKDNet以纯深度、无外观依赖方式解决了康复场景自遮挡与隐私矛盾，MLKD-24以规则化自适应取代重级深度学习获与A2J相当精度（RMSE 2.44 px）且耗时0.09 s；SMPL重建首次在深度单模下保持解剖与网格一致；ORB/BRISK+GMM提供轻量旋转不变线索；PSO压维至68%保性能降开销；MLP分类在三类康复集达93.9%/92.58%/87.51%。该协同范式兼顾隐私、低成本与细粒度生物力学可解释性，可作为远程康复与肢体残障监护的可部署基线。