
-
生物通官微
陪你抓住生命科技
跳动的脉搏
ChatGPT生成纠正性反馈脚本与教员撰写脚本的对比评估
《BMC Medical Education》:Evaluating the constructiveness and professional tone of AI-generated corrective feedback for medical learners
【字体: 大 中 小 】 时间:2026年10月14日 来源:BMC Medical Education 4.2
编辑推荐:
摘要背景教员反馈对于学员的专业成长至关重要。教员对自身反馈技能的信心不足以及时间限制等障碍可能会影响高质量反馈的提供。生成式大语言模型(LLMs),如ChatGPT,具有通过生成有效的叙述性反馈脚本供教员参考,从而支持教员提供高质量纠正性反馈的潜力。目标本研究评估了人工智能(
教员反馈对于学员的专业成长至关重要。教员对自身反馈技能的信心不足以及时间限制等障碍可能会影响高质量反馈的提供。生成式大语言模型(LLMs),如ChatGPT,具有通过生成有效的叙述性反馈脚本供教员参考,从而支持教员提供高质量纠正性反馈的潜力。
本研究评估了人工智能(AI)生成的纠正性反馈脚本的建设性和专业语调,并将其与教员撰写的脚本进行了比较,涵盖了标准化的学员能力不足场景。
六名儿科医学教育领导人对十八种学员能力不足场景下的两套叙述性反馈脚本进行了盲评;每种场景有一套脚本由教员撰写,另一套脚本由ChatGPT未经编辑直接生成。评审者使用三评分量表(0-2)在四个维度上对每套脚本进行评分:以行为为中心、正负平衡、无评判性、专注性,其中0 = 否,1 = 部分,2 = 是。按维度比较了教员撰写脚本与ChatGPT生成脚本的中位数得分。同时,还为教员撰写脚本和ChatGPT生成脚本生成了总体中位数得分。
综合所有四个测量维度,ChatGPT生成的脚本获得了更高的综合中位数得分,在获得更高维度得分方面的概率高于教员撰写的脚本,且在78%的场景中受到评审者的偏好。
AI生成的反馈脚本在四个评估维度的建设性和专业语调方面获得了更积极的评价,表明其有可能作为教员反馈的辅助手段。然而,这些发现仅限于沟通特征,未涉及准确性、教育影响或临床适用性。AI可作为支持性起草工具,但在得出关于实际用途的结论之前,仍需要进一步研究。
教员反馈对于学员的专业成长至关重要。教员对自身反馈技能的信心不足以及时间限制等障碍可能会影响高质量反馈的提供。生成式大语言模型(LLMs),如ChatGPT,具有通过生成有效的叙述性反馈脚本供教员参考,从而支持教员提供高质量纠正性反馈的潜力。
本研究评估了人工智能(AI)生成的纠正性反馈脚本的建设性和专业语调,并将其与教员撰写的脚本进行了比较,涵盖了标准化的学员能力不足场景。
六名儿科医学教育领导人对十八种学员能力不足场景下的两套叙述性反馈脚本进行了盲评;每种场景有一套脚本由教员撰写,另一套脚本由ChatGPT未经编辑直接生成。评审者使用三评分量表(0-2)在四个维度上对每套脚本进行评分:以行为为中心、正负平衡、无评判性、专注性,其中0 = 否,1 = 部分,2 = 是。按维度比较了教员撰写脚本与ChatGPT生成脚本的中位数得分。同时,还为教员撰写脚本和ChatGPT生成脚本生成了总体中位数得分。
综合所有四个测量维度,ChatGPT生成的脚本获得了更高的综合中位数得分,在获得更高维度得分方面的概率高于教员撰写的脚本,且在78%的场景中受到评审者的偏好。
AI生成的反馈脚本在四个评估维度的建设性和专业语调方面获得了更积极的评价,表明其有可能作为教员反馈的辅助手段。然而,这些发现仅限于沟通特征,未涉及准确性、教育影响或临床适用性。AI可作为支持性起草工具,但在得出关于实际用途的结论之前,仍需要进一步研究。