微调大语言模型辅助早期识别自闭症谱系障碍的多中心研究

《Child and Adolescent Psychiatry and Mental Health》：Fine-tuned large language models for early identification of autism spectrum disorder: a multicenter study in China

　　

摘要

背景

早期识别自闭症谱系障碍（ASD）并将其与其他神经发育障碍区分开来对于及时干预至关重要。然而，神经发育障碍之间重叠的症状使早期诊断变得复杂。本研究旨在评估微调后的大语言模型作为诊断辅助工具，通过分析电子病历来早期识别ASD的潜力。

方法

2019年1月至2024年9月期间开展了一项多中心横断面研究和一项单中心回顾性队列研究。横断面研究包括来自重庆的3,940名儿童用于模型训练和10折验证，以及来自其他九个中国城市的1,657名儿童用于外部验证。参与者年龄为1.5至6岁，患有ASD、全面性发育迟缓（GDD）或语言延迟（LD）。回顾性队列包括584名最初被诊断为GDD/LD但后来确诊为ASD的儿童。使用低秩适配对ChatGLM4-9B和LLaMA3-8B进行微调，开发了GLM4-ASD和LLaMA3-ASD。模型性能与基线模型、商业模型（GPT-4、ERNIE-4.0）和医疗专用模型（Huatuo2-7B）进行了比较。

结果

在内部验证中，GLM4-ASD表现最佳（AUC 0.839，准确率83.7%，敏感度82.6%，特异度85.2%，F1分数84.8%），其次是LLaMA3-ASD、GPT-4、ERNIE-4.0和Huatuo2-7B。在外部验证中，GLM4-ASD保持了稳健的性能（AUC 0.873，准确率87.9%），特别是在3岁以下的儿童中（AUC 0.882，准确率90.5%）。在纵向队列研究中，GLM4-ASD在44.2%的病例中比儿科医生更早识别出ASD（平均年龄3.2岁），在40.1%的病例中诊断一致，在15.8%的病例中延迟诊断或漏诊（平均年龄4.7岁）。

结论

微调后的GLM4-ASD模型作为决策支持系统，在辅助儿科医生从病历中早期识别ASD方面显示出潜力，尤其是在3岁以下的儿童中。然而，作为一项回顾性研究，目前的结果主要反映的是分类性能而非现实世界中的诊断益处。未来需要开展前瞻性研究以进一步验证其临床实用性。