SIGN-AIR：基于空中机器人平台的手势感知神经网络的实时手语识别与翻译

《Scientific Reports》：SIGN-AIR: real-time sign language recognition and translation using gesture-aware neural networks on aerial robotic platforms

　　

摘要

聋人和重听人士所面临的沟通障碍仍然是一个重大挑战，尤其是在缺乏传统沟通基础设施或固定摄像头系统覆盖范围有限的情况下。本文提出了 SIGN-AIR，一种用于实时手语识别和双向翻译的无人机辅助框架。与基于固定摄像头、可穿戴传感器或深度摄像头的传统方法不同，所提出的框架集成了无人机搭载的稳定 RGB 摄像头与机载边缘计算，以实现在室内外环境下的灵活手势识别。该系统结合基于 MediaPipe 的手部关键点提取与混合 CNN–BiLSTM 架构，以建模美国手语手势的空间和时间特征。在包含 ASL Alphabet 和 WLASL 的组合数据集上的实验评估显示，总体识别准确率达到 98.63%，同时具有高精度、高召回率以及中位推理延迟小于 2 秒。这些结果证明了所提出的无人机辅助识别框架在评估的实验条件下的技术可行性，并表明其潜在能力支持在固定摄像头系统可能受到遮挡、视野有限或环境变化影响的场景下的沟通。此外，所提出的双向翻译流程有潜力促进手语转语音和语音转手语的沟通，适用于无障碍访问、教育、公共服务互动和应急响应等前瞻性应用。尽管目前的研究展示了令人鼓舞的技术性能，但在代表性操作条件下进行全面真实世界现场验证仍然是未来工作的重要方向。