基于小波注意力融合和YOLO的方法，用于鲁棒的多尺度手部姿态估计

《Scientific Reports》：A wavelet attention fusion and YOLO based approach for robust multi scale hand pose estimation

　　

摘要

在多视图3D数据集中进行3D手部姿态估计仍然是计算机视觉领域的一个基本挑战，这主要是由于人类骨骼结构的复杂性、部分遮挡、手部外观的变化以及人体体型的差异所致。传统模型在面对现实世界条件时常常会丢失细节信息，并且泛化能力较差。为了解决这些问题，我们提出了一种新颖的实时3D手部姿态估计框架，该框架将小波注意力融合模块（WAFM）与改进版的YOLOv11相结合。WAFM利用小波分解技术保留高频边缘细节，同时增强低频语义特征，从而能够准确重建手部关节的精细结构。我们的架构通过将YOLOv11的检测结果嵌入到一个多尺度时频主干网络中来扩展其功能，该网络由高效网络空间提取器和门控循环单元组成，以确保在不同帧之间保持时间一致性。一个专门设计的特征融合模块结合了特征金字塔网络和路径聚合网络，确保高层次的语义信息能够在多个分辨率下与低层次的空间细节成功融合。最后，多头处理机制对这些特征进行处理，从而在遮挡和不同方向条件下产生具有更高准确性的姿态估计结果。实验结果表明，我们的方法在严重遮挡和不同方向条件下显著提高了准确率，在Ego Hand数据集（数据集I）和Senz3D数据集（数据集II）的实时3D手部姿态重建任务中，无论是在精度还是推理速度方面都达到了业界领先的水平。