评估ChatGPT对儿科神经病学领域护理人员问题的回答准确性：一项观察性研究

《Scientific Reports》：Assessing the accuracy of ChatGPT responses to caregiver questions in pediatric neurology: an observational study

　　

摘要

护理人员越来越频繁地使用ChatGPT作为医学信息来源。儿科神经学领域则更为复杂，因为存在多种疾病、诊断情况不断变化，而且错误信息可能带来严重后果。本研究旨在评估ChatGPT对常见儿科神经学问题的回答在准确性、全面性和一致性方面的表现。研究共纳入了7个儿科神经学亚专业领域的105个不同问题。每个问题都在不同的会话中分别输入到ChatGPT（GPT-5）中两次。两名经过认证的儿科神经学家对这些回答进行了评估，并采用4分制给出评分：1分表示完全准确；2分表示正确但不完整；3分表示部分错误；4分表示完全错误。一致性则指在多次回答中，相同评分类别之间的匹配程度（1-2分为一类，3-4分为另一类）。共有60.95%（64/105）的回答被评定为内容全面，31.43%（33/105）的回答正确但不完整；完全错误的回答较少，仅为3.8%（4/105）。对于脑瘫和运动障碍这类结构较为明确的疾病，ChatGPT的回答在准确性和一致性方面表现最佳，而神经发育迟缓和癫痫等更为复杂的疾病，其回答质量则相对较低。总体而言，回答的一致性很高，达到95.2%（100/105）。在儿科神经学领域，ChatGPT大多能提供准确的信息，不过回答的深度因疾病类型而异。它在临床医生指导下用于对护理人员进行培训时最为合适。