《Data》：A Markerless RGB-Based Dataset of Continuous Hand Joint Kinematics in Functional Grasping Tasks
编辑推荐：
目前大多数已有的手部运动学数据库是通过昂贵的标记（marker-based）系统采集的，或仅限于特定手势识别任务，未能捕捉手部与物体交互时关节的动态变化。为解决此不足，研究人员提出了RGB-Based Hand Joint Kinematics（RGB-HJK
目前大多数已有的手部运动学数据库是通过昂贵的标记（marker-based）系统采集的，或仅限于特定手势识别任务，未能捕捉手部与物体交互时关节的动态变化。为解决此不足，研究人员提出了RGB-Based Hand Joint Kinematics（RGB-HJK）数据集——一个公开可用的数据集，包含10名健康成人（6男4女；年龄25.8±3.2岁；BMI 22.8±2.0 kg/m2）在执行五种标准化物体交互抓握（Power Grasp握圆柱瓶、Tripod Grasp握笔、Static Power Hold握智能手机、Precision Pinch捏薄纸、Lateral Pinch侧捏书）时记录的逐帧连续三维（3D）关节角度轨迹。数据使用普通RGB摄像头并以MediaPipe Hands无标记流程采集，帧率26.95±0.29 Hz且在所有受试者中稳定。每名受试者对每个抓握类型完成5次试验，经主动保持（active hold）阶段筛选后保留28,111帧经验证的有效帧，250次试验检测率达100%。受试者内重复性良好（所有关节–抓握组合的平均标准差SD <10°），受试者间变异性处于正常解剖多样性预期范围内。重要的是，食指近侧指间（Proximal Interphalangeal, PIP）关节运动学验证值（61.8°±18.4°）与既往使用仪器手套和深度传感器的研究报道范围一致。主成分分析（Principal Component Analysis, PCA）证实五种抓握构型具清晰线性可分性。与现有数据集不同，RGB-HJK方法不干扰自然触觉且无非硬件遮挡，提供了易于获取的生态效度基线。
数据集地址：https://doi.org/10.34740/kaggle/dsv/16123762
数据集许可：CC BY 4.0。
论文解读：《A Markerless RGB-Based Dataset of Continuous Hand Joint Kinematics in Functional Grasping Tasks》（发表于《Data》）
一、研究背景与开展缘由
人手是全身最具多功能性的部位，定量表征手部关节运动学（hand joint kinematics）对临床康复、假手控制、人机交互及手势识别具有重要意义。长期以来，精确的人体运动分析依赖昂贵的光学标记系统（marker-based motion capture），虽空间精度高但需专用实验室、复杂准备流程及贴附于皮肤的标记点，会干扰自然抓握动作。仪器数据手套虽解决部分视线遮挡问题，但佩戴不适、需校准定制且影响自然触觉反馈。RGB-D（彩色+深度）相机虽日益普及，但在手指紧密包绕物体产生自遮挡时易跟踪失败。近年来基于深度学习的姿态估计（如MediaPipe Hands）可从普通RGB摄像头实时推断三维手部关键点，无需物理标记或深度传感器，但已公开的大多数手部数据集面向静态姿态估计或抽象手势识别，侧重形状分类而非手部与物体物理交互时产生的逐帧连续关节角度轨迹；即便少数含运动学信息的数据集也未按标准抓握分类（grasp taxonomy）组织。此外高精度运动捕捉设备成本高昂限制广泛应用。为填补上述空白——即缺乏基于无标记RGB、涵盖功能性物体抓握、提供连续帧级3D关节角轨迹且按标准抓握分类组织的公开数据集——研究人员开发了RGB-Based Hand Joint Kinematics（RGB-HJK）数据集并开展技术验证。
二、主要关键技术方法
研究人员招募印度理工学院巴特那分校（IIT Patna）10名右利手健康成人（6男4女，无上肢神经肌肉骨骼病史），测量手长与宽。实验按GRASP分类法选取五种功能性抓握：Power Grasp（圆柱瓶）、Tripod Grasp（笔）、Static Power Hold（智能手机）、Precision Pinch（薄纸）、Lateral Pinch（书）。每名受试者每种抓握完成5次试验，每次试验含靠近—抓握—提起约10 cm—主动保持（active hold）≥5 s四阶段。使用约50美元720p普通RGB网络摄像头（距右手约50 cm，光照~500 lux）采集，Python脚本调用OpenCV与MediaPipe Hands（v0.10.35）流水线以约26.95 Hz提取每帧21个三维手部标志点（landmarks）。基于相邻标志点向量点积反余弦计算11个解剖关节（拇指CMC、MCP、IP；食指/中指/环指/小指MCP与PIP；排除易自遮挡的DIP关节）的空间夹角（0–180°，数值截断避免浮点溢出）。原始数据存为.xlsx，通过自动清洗剔除过渡段、跟踪丢失帧及超出生理范围值，仅保留稳定active-hold帧并配套元数据JSON。技术验证含：检测可靠性统计、各抓握关节角分布（小提琴图）、受试者内五次试验均值标准差（SD）热力图、受试者间SD及PCA降维可分性检验。
三、研究结果
3.1 参与者（Participants）
10名健康右利手受试者（6男4女，年龄25.8±3.2岁，BMI 22.8±2.0 kg/m2 ），手长宽测量符合Feix等人描述的标志点惯例，无非纳入排除标准违例者。
3.2 抓握分类与实验流程（Grasp Taxonomy and Experimental Protocol）
依GRASP分类法选取五种具日常功能对应性且适用于康复/生物力学领域的真实物体抓握。每试验四阶段（靠近、抓握、提起、保持≥5 s）确保时间结构一致便于稳定抓握帧提取。所有录制在相似实验室光照下进行，右手舒适前置，摄像头略高于手放置。
3.3 帧级数据集统计（Frame Level Dataset Statistics）
总录制43,873帧，经筛选保留28,111帧（约64%）为active-hold帧，其余为过渡与休息帧。各受试者active-hold占比围绕64%聚集，表明分段程序跨会话一致性良好。
3.4 硬件、软件与标志点流程（Hardware, Software, and Landmark Pipeline）
使用普通720p RGB摄像头及MediaPipe Hands双阶段流程（先全图手掌检测定位，再基于首帧激活跟踪模式利用时序信息估计21个3D关键点），降低抖动与误检。实际有效帧率26.95±0.29 Hz，系统性能稳定。
3.5 关节角计算（Joint Angle Computation）
由MediaPipe标志点坐标构建关节中心指向近端（parent）与远端（child）标志点的向量，通过点积公式θ=arccos[(v?1 ·v?2 )/(|v?1 ||v?2 |)]计算关节空间夹角并做值域钳位。追踪拇指CMC/MCP/IP及四指MCP/PIP共11关节；排除DIP关节因其于Power/Static Power抓握中严重自遮挡致信噪比过低与角度失真。
3.6 数据清洗（Data Cleaning）
原始.xlsx含全时段轨迹，脚本剔除非稳定active-hold帧、短暂跟踪丢失帧及缺失/超出生理范围（0–180°）测量值，输出清洗后.xlsx与摘要JSON。清洗后有效帧28,111帧（原43,873帧），保留分段整体删除而非随机丢帧故有效帧率不变。预处理中对原始信号施加Savitzky–Golay平滑滤波降噪。
3.7 数据集概览与访问（Dataset Overview and Access）
RGB-HJK数据集以CC BY 4.0许可发布于Kaggle（
https://doi.org/10.34740/kaggle/dsv/16123762 ），主格式为.xlsx（含Data工作表——逐帧时间、抓握类型、11关节角度等；Metadata工作表——人口学与帧详情）。目录分Raw（全帧含过渡休息，适于运动分割算法开发）与Processed（仅验证active-hold帧，适于生物物理仿真或分类），另附cleaning_summary.json。
3.8 主动保持检测可靠性（Active-Hold Detection Reliability）
全数据集（10人×5抓握×5次=250次试验）MediaPipe Hands在手动标注active-hold段检测率100%，无漏检与跟踪失败；过渡/休息段占比因人而异（S01最低至S09最高），反映个体操作速度差异而非采集系统变异。
3.9 五种抓握的关节角模式（Joint Angle Patterns Across the Five Grasps）
小提琴图显示各抓握在关节空间中形成独特分布区：Power Grasp拇指近伸直（Thumb_CMC、Thumb_MCP大角度）伴手指MCP中度屈曲；Tripod Grasp MCP角减小且PIP协调稳定；Static Power Hold手指PIP更深屈曲变异性最大；Precision Pinch拇指与食指MCP近伸直、PIP中度屈曲；Lateral Pinch手指MCP中度屈曲、拇指近伸直。雷达图进一步印证各抓握具特征性运动学轮廓。
3.10 受试者内试次间重复性（Intra-Subject Trial to Trial Repeatability）
每抓握每受试者五次试验均关节角向量之SD均值热力图显示：全部55种关节–抓握组合平均SD范围最低至最高均<10°，最强重复性见于Precision Pinch（所有关节SD<6°），Static Power Hold拇指IP变异性最大（约9.3°）因扁平物体抓握拇指内收角可跨试次变化。
3.11 受试者间变异性（Inter-Subject Variability）
Power Grasp与Tripod Grasp各关节受试者间SD最小（多<8°与<10°），受圆柱体/笔几何强约束；Static Power Hold与Precision Pinch受试者间SD较高（Static Power Hold中Ring_MCP达~15°，Precision Pinch中Little_MCP~12°），反映个体对扁平物体及精细捏持采用不同运动策略，与既往Jarque-Bou等及Santello等报道日常手部活动SD 10–15°一致，属正常解剖行为差异非跟踪噪声。
3.12 PCA基于抓握可分性（PCA-Based Grasp Separability）
对归一化active-hold帧抽样万帧做PCA：PC1解释64.4%方差，PC2解释11.5%（合计75.9%）。五类抓握在PC1–PC2平面多形成较独立簇且质心分离明显，Power Grasp与Lateral Pinch簇最紧凑，Static Power Hold与Precision Pinch略分散但仍可区分，证明11关节角含足够判别信息适于分类与机器学习应用。
四、讨论与结论总结
传统手部运动学采集需在精度与生态效度间妥协：标记运动捕捉精确但实验室受限且有标记干扰；电磁 tracker 与仪器手套影响触觉并存在漂移；RGB-D 在紧抓握自遮挡时易失效。RGB-HJK 框架仅需廉价 ~$50 RGB 摄像头配合 MediaPipe 即可获取连续 3D 关节角轨迹，Index PIP 关节测得值（61.8°±18.4°）与仪器手套及 RGB-D 文献相符，且在主动抓握阶段能较深度传感器更好预测遮挡关节位置。局限含单摄像头自遮挡、排除 DIP 关节、受试者多样性有限及未与金标准运动捕捉对照验证。未来应扩展临床人群、双侧及多样抓握评估并建立康复监测纵向验证。
研究结论（翻译）：
本研究提出并公开发布了RGB-HJK数据集——一个无标记、开放获取的手部数据库，包含十名健康志愿者对五种标准功能性物体抓握任务执行的连续三维手部关节角度序列。研究以角度标准差（SD）量化受试者内重复性与受试者间变异性，并以PCA方差比衡量抓握线性可分性。数据库含28,111帧active-hold帧，平均帧率26.95 Hz，11个解剖关节在同人重复试验中检出低变异性（≤9.3°）。该框架在康复评估方面具较强潜力；现存局限源于单摄像头自遮挡、远端指关节排除、受试者多样性有限及缺乏金标准运动捕捉对照验证。未来工作应拓展临床人群并纳入双侧与多样化抓握评价，建立用于康复监测与辅助技术异常检测的纵向验证。
