MELT-FSIL：一种自适应混合损失少样本学习方法，用于实现自动驾驶车辆中的通用手语控制

《IEEE Access》：MELT-FSIL: Adaptive Hybrid-Loss Few-Shot Learning for Inclusive Sign Language Control in Autonomous Vehicles

　　

摘要：

尽管自动驾驶车辆技术取得了显著进展，但目前的交互方式对于有身体或沟通障碍的人来说仍然不够便捷。传统的自动驾驶界面，尤其是语音控制和触摸屏系统，可能会给聋人、非语言使用者或运动控制能力较弱的人带来使用障碍，从而限制了人与车辆的有效互动。为解决这一问题，本研究提出了一种基于视觉的美国手语识别框架，作为实现无障碍自动驾驶交互的第一步。该框架采用少样本增量学习方法，从静态的RGB手势图像中识别美国手语手势，使模型能够在示例有限的情况下学习新的手势类别，同时保持对已学类别的识别性能。本研究的核心贡献是一种混合损失函数，即度量-熵学习权衡机制，它将原型度量学习与基于交叉熵的判别学习结合在少样本增量学习过程中。通过平衡基于原型的类别分离和基于熵的分类，该机制提升了模型适应新引入手势的能力，同时减少了灾难性遗忘现象。此外，还通过原型归一化和情景记忆回放来稳定增量学习的性能。实验结果表明，采用带有MELT损失函数的少样本增量学习框架，手势识别准确率从使用基准CNN时的96.0%提升到了在少样本增量学习环境中的97.5%，而在整合了新手势类别后则提升到了97.9%。这些结果展示了基于混合损失函数的少样本增量学习在辅助自动驾驶交互场景中用于美国手语识别的潜力。虽然更长期的目标是开发完全多模态的自动驾驶界面，但目前的研究仅限于基于静态RGB图像的美国手语识别；未来的工作将通过整合更多功能来扩展该系统...

显示更多