基于多模态统一模型的神经语言障碍自发言语分类与临床辅助分析

《Scientific Reports》：Simultaneous multi-task assessment of five neurological language disorders via cross-corpus multimodal learning

　　```

摘要

对自发言语的自动化分析可以为神经语言障碍的临床评估提供可扩展、客观的补充，但现有的方法大多依赖于特定的语料库和疾病类型。我们提出了一个统一模型，该模型能够同时对五种神经语言障碍（失语症、阿尔茨海默病（AD）、轻度认知障碍（MCI）、创伤性脑损伤（TBI）和右脑损伤（RHD）以及一个健康对照组进行分类，这些数据来自五个异构的TalkBank语料库（共1,638个样本）。据我们所知，这是首个结合多模态输入（文本、语音和表格元数据）、多语料库训练以及多任务输出的模型，通过Q-Former跨注意力模块将不同模态的信息融合到一个共享表示中，然后输入到分类器以及三个辅助临床分析模块中（WAB-AQ严重程度回归、疾病相似性检索和纵向进展分析）。在五种子评估中，该模型的测试准确率达到了90.98\%，宏观F1分数为86.19\%，超越了所有基线模型。辅助模块能够准确估计失语症的严重程度（在WAB-AQ的测量误差范围内），识别出患有相同疾病的患者，并跟踪其康复过程。消融实验确定Q-Former融合机制和基于类别频率的采样是模型性能的主要驱动因素；跨疾病相关性分析揭示了MCI与对照组之间的主要混淆原因，恢复了基于病因的疾病分类，并发现了一些具有区分能力的副语言特征。仅保留一个语料库的评估表明，模型在未见过的疾病类型上的泛化能力仍然具有挑战性。

`````````