评估自动语音识别和大型语言模型在语言障碍者中的应用

《Nature Communications》：Assessing the use of automatic speech recognition and large language models for individuals with language impairments

　　

摘要

大型语言模型（LLMs）在医疗保健应用中引起了广泛关注，显示出在自动化对话交互方面的巨大潜力。然而，云托管系统存在隐私问题，而基于文本的界面对于儿童、老年人以及语言障碍者来说可能使用不便。通过将系统部署在边缘设备上并采用语音识别（ASR）技术进行语音输入，可以解决这些问题。然而，ASR生成的文本记录通常包含语病、填充词、语法错误以及识别噪声，这些因素可能会影响具有非典型语言模式的使用者的LLM性能。在此，我们通过对比研究和消融实验，系统性地评估了针对语言障碍者的基于边缘设备的ASR-LLM解决方案，涵盖了失语症、儿童语言障碍和痴呆症数据集。我们发现，文本记录中的错误、重复内容、噪声以及输入长度都是影响系统性能和部署可行性的关键因素。这些发现突显了构建更可靠、更易于使用的面向医疗保健应用的语音驱动AI系统所面临的关键挑战。