MMF-SLR：一种基于毫米波雷达的多模态特征的手语识别方法

《Journal of Systems Engineering and Electronics》：MMF-SLR: A Sign Language Recognition Method Based on Multi-Modal Feature Using Millimeter-Wave Radar

　　

摘要：

通过使用毫米波雷达可以提高手语识别（SLR）的准确性，同时保护听力受损人群的隐私。然而，现有的SLR方法并未充分利用雷达回波的独特特性，导致识别精度有限。手语由人的姿势和手的动作组成。为了获取这些识别特征，本文提出了一种基于多模态特征的手语识别（MMF-SLR）网络框架。该方法首先构建了一个Transformer-Pose网络，从雷达图像中提取代表手语姿势的人体骨骼信息；此外，手的动作信息可以通过距离-多普勒序列和微多普勒特征来表示。人体骨骼和手部动作信息被输入到多模态融合网络中，以实现高精度的手语识别。实验结果表明，与传统SLR方法相比，所提出的方法能够提高具有相似姿势或动作的手语识别准确性。