今日动态 返回首页
会员注册 登录 生物通快讯免费订阅
  • 首页 今日动态 人才市场 新技术专栏 中国科学人 云展台
    BioHot
    • 定制我的BioHot
    • 进入我的BioHot
    • 进入我的集采
    • 肿瘤癌症研究
    • 免疫/基因/细胞疗法
    • 神经生物学
    • 健康与疾病
    • 衰老机制与长寿
    • 单细胞技术
    • 基因编辑-CRISPR
    • RNA研究
    • 肠道菌与人体微生态
    • 细胞代谢
    • AI生物信息学
    • COVID
    云讲堂直播 会展中心 特价专栏 技术快讯 免费试用

  • 生物通官微
    陪你抓住生命科技
    跳动的脉搏

生物通首页  >  今日动态  >  正文

评估DeepSeek与ChatGPT在回答成人1型糖尿病相关问题时的准确性与一致性

《Scientific Reports》:Evaluation of the accuracy and consistency of DeepSeek and ChatGPT in addressing type 1 diabetes mellitus-related queries in adults

【字体: 大 中 小 】 时间:2026年07月22日 来源:Scientific Reports 4.9

编辑推荐:

  摘要成人1型糖尿病的诊断、治疗及长期自我管理十分复杂,因此需要准确且易于获取的健康教育内容。大型语言模型被越来越多地用于获取医疗信息,但其在处理与成人1型糖尿病相关的查询时的准确性和一致性仍需进一步评估。本研究基于指南制定了比较评估方案,使用2021年ADA/EASD共识报告中的

  

摘要

成人1型糖尿病的诊断、治疗及长期自我管理十分复杂,因此需要准确且易于获取的健康教育内容。大型语言模型被越来越多地用于获取医疗信息,但其在处理与成人1型糖尿病相关的查询时的准确性和一致性仍需进一步评估。本研究基于指南制定了比较评估方案,使用2021年ADA/EASD共识报告中的22个英文问题,从基础知识、诊断与鉴别诊断、治疗以及并发症等方面对DeepSeek-V3.2和ChatGPT-5.0进行了测试。这些问题分别在不同时间提交给两个模型两次。两位不知情的内分泌科专家根据预定的四分制评分标准独立评估模型回复,若出现分歧,则由第三位资深内分泌科专家进行裁决。短期一致性通过专家判断和TF-IDF余弦相似度来评估。评分者间的一致性良好(Cohen’s κ=0.71)。在专家评估中,两个模型的短期一致性均为95.45%(21/22);DeepSeek的TF-IDF余弦相似度为0.52±0.09,ChatGPT的为0.54±0.09。两者的整体准确率分别为3.59±0.59和3.77±0.43,差异无统计学意义(p=0.102)。综合评分方面,两个模型的得分分别为63.64%和77.27%,而同时包含正确与错误或过时信息的比例分别为4.55%和0.00%。这两个模型均可用于与成人1型糖尿病相关的健康教育,但其输出内容应作为辅助教育材料,在专业指导下使用,而不能作为诊断或治疗建议。

相关新闻
生物通微信公众号
生物通新浪微博
微信
新浪微博
我要投稿
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热搜:成人 1 型糖尿病|诊断评估|AI 模型|健康教育|专家判断|精准医疗

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号