基于人工智能和自然语言处理技术的辅助技术系统，专为有言语和听力障碍的人士设计

《Assistive Technology》：AI-NLP powered assistive technology system for individuals with vocally and hearing impairments

听障人士手语交互设备研究：通过对比随机森林、XGBoost、支持向量机和卷积神经网络发现CNN识别准确率最高达90%，系统采用双阶段处理（手语识别+语音转换）并集成移动应用，实现印地语及定制手语的无障碍沟通，有效提升听障群体生活质量。

　　

摘要

本文通过开发一种成本效益高、准确率高的设备来应对视障和听障人士在沟通方面遇到的挑战，该设备利用深度学习和自然语言处理（NLP）技术实现功能。该设备能够识别印度手语以及自定义的手语。我们评估了四种人工智能模型，包括随机森林分类器（Random Forest Classifier）、XGBoost分类器（XGBoost Classifier）、支持向量机（Support Vector Machine, SVM）和卷积神经网络（Convolutional Neural Network, CNN）。其中，CNN的准确率最高，达到90%，能够有效捕捉复杂的手语手势；而SVM的准确率为80%，随机森林分类器为81%，XGBoost分类器为76%。因此，最终选择在设备中采用CNN技术。该系统采用嵌入式系统芯片（System on Chip）设计，以降低成本，并分为两个阶段运行：首先通过CNN解读手势信号，然后利用NLP将这些信号转换为语音指令，通过扬声器或耳机输出。此外，还配套了一个移动应用程序，以促进残障用户与非残障用户之间的交流。这一解决方案旨在消除沟通障碍，提升视障和听障人士的生活质量。