基于模糊方向光流特征的手势识别与定位方法用于人机交互

《Scientific Reports》：A fuzzy approach using directional features to hand gesture recognition for human–computer interaction

　　

尽管方向性光流特征具备令人期望的不变性、可靠性和鲁棒性，但在手势识别文献中，它们仍未得到应有的关注。此外，由于深度模糊和手部关节遮挡所带来的固有难度，鲁棒的人手姿态估计仍然是最具挑战性的任务之一。本文提出了一种创新的模糊框架，用于手势识别和手势定位，其中研究人员构建了一个优化的局部描述符，将每个移动手势骨骼建模为模糊方向光流特征的时间序列。随后，由于Gentle AdaBoost (GAB)分类器易于使用、参数调整少，并且与其他AdaBoost变体相比对训练过程中的错误敏感性较低，研究人员在归一化后的特征上训练该分类器进行手势分类。在一个包含大量且多样化手势流的数据集上进行评估时，所提出的模型取得了极具前景的结果（即准确率为98.39%），与文献中报道的结果相比毫不逊色，且未牺牲计算效率或稳定性。此外，实验结果验证了该识别模型能够成功地从手部运动中定位（提取）有意义的手势，同时并发地分离出由无意手部运动产生的无效手势实例。

基于视觉的手势识别在智能人机接口、手语翻译等领域具有广泛应用，但现实环境中的光照变化、局部遮挡、背景杂乱、手部姿态差异等因素使手势解释与定位成为长期难题。人手高度非刚性、自遮挡以及手指自相似性导致手部姿态估计尤为困难；现有系统多依赖复杂特征提取与机器学习，实时性受限，且缺乏跨数据集的通用模型。为此，研究人员提出了一种基于模糊框架的动态手势识别与定位系统，采用方向性光流特征构建局部描述符，将手势建模为模糊方向光流特征的时间序列，并使用Gentle AdaBoost (GAB)分类器进行分类。

该研究在包含10类动态手势的数据集上取得98.39%的总体准确率，并在连续手势定位中获得96.72%的可靠性，同时保持实时处理速度。其意义在于为复杂非受控场景下的鲁棒手势识别提供了可行方案，对智能人机交互、手语识别等应用具有重要价值。

关键的技术方法主要包括：基于多项式展开的两帧光流运动估计算法，通过局部多项式逼近获取位移场；自适应带通滤波对运动流进行两次剪枝，去除噪声向量；提取模糊方向光流直方图（fuzzy Histogram of Optical Flow, f-HOF），将光流向量按方向分箱并以幅度加权，归一化后实现尺度不变；利用高斯模糊隶属函数将手势序列划分为有限时间片，对每个时间片加权平均并拼接成低维特征向量；最后采用GAB分类器完成手势分类。数据集手势由5名参与者使用Point Grey Bumblebee彩色立体相机在室内环境录制，图像尺寸为640×480像素，帧率为30 fps，序列长度约3至8秒。

研究结果如下：

Experiment I: Offline isolated gesture recognition（离线孤立手势识别）：实验采用600个孤立手势，其中三分之二用于训练，三分之一用于测试。通过滑动时间窗口（窗口大小1至8）评估性能，结果显示当窗口大小为7时，模型获得最佳平均识别率98.95%；同时生成混淆矩阵，表明每类手势均能被有效区分。

Experiment II: online gesture spotting（在线手势定位）：实验使用280个连续手势视频序列，每个序列包含多个依次完成的动态手势以及过渡帧。采用插入、删除、替换三类错误指标和可靠性指标ρ进行评估。结果表明，当滑动窗口大小为7时，定位性能最佳，识别率达到97.58%，可靠性达到96.72%。该实验验证了模型能够从连续手部运动中有效提取有意义手势，并同时分离出无意手部运动产生的无效手势实例。

在讨论部分，研究人员与现有同类最新方法进行了定性比较，在相似实验设置下，所提方法取得了有竞争力的识别性能，同时保持了实时处理能力，表明其在实际系统中具有应用潜力。研究结论可翻译为：研究人员开发了一个用于手势识别与定位的可靠性框架，其中构建了基于模糊方向光流特征的局部描述符，并将GAB分类器有效应用于手势分类。由于特征提取的高效性，该框架实现了良好的分类预测与实时运行性能，但未来仍需要在更大规模的基准手势数据集上进一步验证其正确性、鲁棒性及大规模可行性。