一种低成本的RGB-D传感器前端，用于结合MediaPipe和ZED2立体深度技术实现稳定的3D手部特征点重建

《Sensors》：A Low-Cost RGB-D Sensing Front-End for Stable 3D Hand Landmark Reconstruction Using MediaPipe and ZED2 Stereo Depth

　　

摘要

使用低成本的RGB-D传感器进行稳定的三维手部特征点重建对于人机交互、机器人远程操作和基于视觉的运动分析非常重要。基于RGB的手部特征点检测器可以提供稳定的二维语义特征点，但其深度输出并不是物理相机坐标系中的度量值。立体相机可以提供度量深度，但直接的特征点级反投影容易受到无效像素、局部深度空洞、边界噪声和部分遮挡的影响。为了解决这些问题，本文提出了一种轻量级的RGB-D感知前端，该前端将MediaPipe语义手部特征点与ZED2立体深度相结合。所提出的流程在RGB图像中检测21个语义手部特征点，通过局部中值采样从对齐的ZED2深度图中获取特征点级的度量深度，然后通过相机反投影重建三维特征点，并进一步应用指数移动平均滤波和骨骼长度一致性约束。实验在自收集的SVO数据集上进行，该数据集包含13种手部动作和26个记录序列，并进行了额外的棋盘格参考距离验证来评估度量深度采样和三维反投影组件的性能。与单像素采样相比，局部中值策略将有效深度比率从0.9731略微提高到0.9738，并将时间平滑度指标从1.7163毫米降低到1.6902毫米。为了进一步证明时间滤波选择的合理性，使用重建的win5轨迹与1 Euro Filter进行了额外比较。1 Euro Filter产生了更强的平滑效果，将时间平滑度指标降低到0.196毫米，但同时也使路径长度比率降低到0.484，表明运动衰减显著。因此，选择EMA0.7作为更平衡的设置，将时间平滑度指标降低到0.826毫米，同时保持路径长度比率为0.803。BL0.5骨骼长度约束将骨骼长度标准差从2.0727毫米降低到1.1995毫米，且轨迹修改有限。最终配置提供了一种实用的低成本RGB-D前端，适用于在受控室内条件下进行稳定的三维手部特征点重建。