《The Journal of Hand Surgery》：Advancements and Clinical Applications of Machine Learning for Hand Pose Estimation
编辑推荐：
手势估计在临床应用中展现潜力，利用机器学习模型通过复杂数据集预测手部姿态，但仍面临计算需求、解剖复杂性及临床数据不足等挑战。未来方向包括ML增强的手势估计在术后功能监测中的应用，需解决硬件限制和高速运动捕捉问题。
莱妮·G·布科维茨（Lainey G. Bukowiec）| 贾斯敏·瓦伦蒂（Jasmin Valenti）| 杨林俊（Linjun Yang）| 朱莉娅·托德鲁德（Julia Todderud）| 科迪·C·怀尔斯（Cody C. Wyles）| 彼得·C·李（Peter C. Rhee）| 尼古拉斯·A·普洛斯（Nicholas A. Pulos）
梅奥诊所骨科手术人工智能实验室，明尼苏达州罗切斯特市（Mayo Clinic Orthopedic Surgery Artificial Intelligence Lab, Rochester, MN）
手部姿态估计在临床应用中具有巨大潜力，因为它能够准确捕捉手部的运动学信息。手部姿态估计主要采用两种方法：基于视觉的方法（如红绿蓝深度相机），以及基于传感器的方法（涉及可穿戴设备）。机器学习技术使得利用大规模复杂数据集开发出能够准确预测手部姿态的模型成为可能。尽管取得了显著进展，但仍存在挑战，包括计算需求、解剖结构的复杂性，以及缺乏用于模型训练的临床数据集，尤其是针对手部病变的数据集。
部分内容摘录
机器学习与手持设备（ML and HPE）
机器学习是人工智能的一个子领域，以其通过迭代训练和数据驱动的学习方式提取有价值信息的能力而闻名，无需显式编程。4 机器学习算法可以分为监督学习算法和无监督学习算法。5 监督学习算法使用手动标注的训练数据进行训练。6 这类算法通常用于分类或回归等判别任务，其目标是将输入数据映射到被认为是正确的输出结果。
深度学习在手持设备中的应用（DL For HPE）
目前，深度学习模型最常用于基于视觉的手持设备应用。卷积神经网络在图像/视频分类和物体检测方面表现尤为出色。获得大规模开源数据集的便利性促进了这些模型的广泛应用。然而，支持向量机和无监督聚类等较简单的机器学习算法仍然在基于视觉的手持设备应用中得到广泛应用。
相关工作
多篇论文（表1）回顾了手持设备技术的现状。3,6,8, 9, 10, 11, 12, 13, 14 Erol等人8全面总结了各种手持设备技术的特点、各方法的优缺点以及未来发展方向。8 李等人3通过讨论深度相机、基准数据集和评估标准等新兴技术，为这一领域的研究提供了新的视角。他们总结了101种方法和22个数据集。
手持设备技术领域正在快速发展，
可用的数据集
已经开发了大量数据集来支持手持设备模型的训练和测试。公开可用的数据集涵盖了多种类型的相机、上肢关节或标志点的标注情况、主体与物体之间的交互、背景复杂性以及参与实验的受试者数量等方面。这些数据集在帧数和图像/视频复杂性上存在显著差异。一些数据集包含了数百万帧的图像。
面临的挑战
手持设备技术面临的挑战虽然已被充分记录，但由于技术和解剖结构的限制，这些挑战依然普遍存在。3,8 手部关节的角速度非常快，有时甚至超过每秒100度。25,26 腕部的旋转速度更快，可达每秒300度。因此，手持设备需要配备能够捕捉足够帧率的相机，并对生成的图像进行高效处理。27 硬件方面的限制也是一个问题。许多算法需要专门的硬件支持。
在手部手术中的临床应用及未来发展方向
手持设备技术在临床应用中的潜力巨大，尤其是在术前和术后阶段的监测方面。结合机器学习的手持设备技术能够提供准确、客观的运动范围测量结果，而这一任务在人工观察者执行时往往存在较大的测量误差。35 这一能力在术后监测中尤为宝贵，临床医生可以利用精确的数据来跟踪患者的功能恢复情况。
利益冲突
本文作者未从本文中获得或预期获得任何形式的利益。
