大语言模型在本科物理治疗教育课程体系中的学术表现评估

《Scientific Reports》：Academic performance of large language models across an undergraduate physiotherapy curriculum: a subset analysis

　　

摘要

大语言模型（LLMs）越来越多地应用于物理治疗领域，用于信息检索、教育支持以及评估和康复相关决策的辅助。尽管其表现通常通过孤立考试或特定领域题库进行评估，但关于这些模型在整个本科物理治疗课程体系范围内的表现仍知之甚少。本研究采用基于课程体系的学术评估框架来考察大语言模型的表现，该框架反映了物理治疗教育中理论知识正式评估的方式。分析对象来自本科物理治疗与康复项目中54门合格课程中的34门课程的书面考试试卷。使用标准化的零样本提示方法对两个大语言模型——GPT-5.0 和 Claude 4.5 Sonnet——进行查询，并根据官方答案键和机构标准对回答进行评分。计算了课程层面的考试成绩、字母等级和累计平均绩点，以便进行标准化比较。在机构评分体系下，两个模型均达到了及格水平的表现，其中 GPT-5.0 的平均总分为 85.7 ± 10.4（相当于绩点：3.28/4.00），Claude 4.5 Sonnet 的平均总分为 87.3 ± 11.2（相当于绩点：3.39/4.00），两者均满足机构的毕业门槛；Claude 4.5 Sonnet 的总体表现略高但具有显著性。两个模型在基础科学课程中的表现均优于临床导向课程。这些发现表明，大语言模型在本科物理治疗教育的知识型评估中表现良好，但在临床整合领域仍存在相对局限性。