STGAN-Q-Mix：用于多语种手语翻译的协同时空学习方法

《IEEE Open Journal of the Computer Society》：STGAN-Q-Mix: Coordinated Spatiotemporal Learning for Polyglot Sign Language Interpretation

　　

摘要：

多语言手语翻译系统在去中心化的多智能体环境中面临着梯度不稳定性、语言特定过拟合以及协调效率低的问题。现有的方法无法在保持美式手语、印度手语和汉语手语之间跨语言泛化能力的同时，捕捉时空依赖关系。我们提出了STGAN-QMix，该方案将时空门控注意力网络与QMix强化学习相结合，用于多语言手语翻译。该架构结合了LSTM的时间建模与Transformer的自注意力机制，以实现分层的时空特征提取，而QMix协调机制则通过基于价值的聚合方式，实现分布式智能体之间的最优效用分解。这不仅稳定了梯度流动，还减少了冗余的循环记忆开销，并提升了实时约束条件下的跨语言模式识别能力。我们的SignBot系统能够将多语言手语动作转换为文本和语音，同时再将语音转换回手语动画，实现了97.13%的双向通信成功率。实验验证表明，与现有的最先进方法相比，STGAN-QMix在预测精度、梯度稳定性和跨语言泛化能力方面都具有更优表现。该方案为聋哑人与听力正常者之间的无缝互动提供了高效且可扩展的辅助通信技术，其实时推理延迟低于127毫秒，且训练开销相对同类时空架构而言更具竞争力。