
-
生物通官微
陪你抓住生命科技
跳动的脉搏
评估DeepSeek与ChatGPT在回答成人1型糖尿病相关问题时的准确性与一致性
《Scientific Reports》:Evaluation of the accuracy and consistency of DeepSeek and ChatGPT in addressing type 1 diabetes mellitus-related queries in adults
【字体: 大 中 小 】 时间:2026年07月22日 来源:Scientific Reports 4.9
编辑推荐:
摘要成人1型糖尿病的诊断、治疗及长期自我管理十分复杂,因此需要准确且易于获取的健康教育内容。大型语言模型被越来越多地用于获取医疗信息,但其在处理与成人1型糖尿病相关的查询时的准确性和一致性仍需进一步评估。本研究基于指南制定了比较评估方案,使用2021年ADA/EASD共识报告中的
成人1型糖尿病的诊断、治疗及长期自我管理十分复杂,因此需要准确且易于获取的健康教育内容。大型语言模型被越来越多地用于获取医疗信息,但其在处理与成人1型糖尿病相关的查询时的准确性和一致性仍需进一步评估。本研究基于指南制定了比较评估方案,使用2021年ADA/EASD共识报告中的22个英文问题,从基础知识、诊断与鉴别诊断、治疗以及并发症等方面对DeepSeek-V3.2和ChatGPT-5.0进行了测试。这些问题分别在不同时间提交给两个模型两次。两位不知情的内分泌科专家根据预定的四分制评分标准独立评估模型回复,若出现分歧,则由第三位资深内分泌科专家进行裁决。短期一致性通过专家判断和TF-IDF余弦相似度来评估。评分者间的一致性良好(Cohen’s κ=0.71)。在专家评估中,两个模型的短期一致性均为95.45%(21/22);DeepSeek的TF-IDF余弦相似度为0.52±0.09,ChatGPT的为0.54±0.09。两者的整体准确率分别为3.59±0.59和3.77±0.43,差异无统计学意义(p=0.102)。综合评分方面,两个模型的得分分别为63.64%和77.27%,而同时包含正确与错误或过时信息的比例分别为4.55%和0.00%。这两个模型均可用于与成人1型糖尿病相关的健康教育,但其输出内容应作为辅助教育材料,在专业指导下使用,而不能作为诊断或治疗建议。