利用FPGA上的毫米波雷达实现实时动态手势识别

《IEEE Embedded Systems Letters》：Real-Time Dynamic Hand Gesture Recognition Using mmWave Radar on FPGA

本研究提出了一种基于毫米波雷达的隐私保护手势识别系统，采用TV Filter将3D点云转换为2D图像以消除隐私风险，通过随机森林和逻辑回归模型实现7-12种手势分类，在公开和私有数据集上分别达到97%/89%和78%准确率，并在PYNQ-ZU FPGA上验证了3.2mW低功耗和0.67ms超低延迟特性。

　　

摘要：

本研究提出了一种实用且注重隐私保护的手势识别系统，该系统采用毫米波（mmWave）雷达传感器，适用于低功耗、实时的边缘计算应用。该方案利用“俯视”（Top-View, TV）滤波器将三维点云转换为二维点云图像，从而在避免光学系统固有的隐私问题的同时，实现对手势的紧凑且信息丰富的表示。系统应用机器学习模型对7至12种不同的手势进行分类。评估在公开可用的数据集和专有的毫米波雷达数据集上进行，结果显示系统具有较高的识别准确性：随机森林（Random Forest, RF）在识别7种和12种手势时的准确率分别为97%和89%；逻辑回归（Logistic Regression, LR）在识别10种和9种手势时的准确率分别为79%和78%。在PYNQ-ZU FPGA上的硬件验证表明，该系统功耗低（3.2毫瓦），延迟极小（0.67毫秒），证明了其在实际实时应用中的可行性。