今日动态 返回首页
会员注册 登录 生物通快讯免费订阅
  • 首页 今日动态 人才市场 新技术专栏 中国科学人 云展台
    BioHot
    • 定制我的BioHot
    • 进入我的BioHot
    • 进入我的集采
    • 肿瘤癌症研究
    • 免疫/基因/细胞疗法
    • 神经生物学
    • 健康与疾病
    • 衰老机制与长寿
    • 单细胞技术
    • 基因编辑-CRISPR
    • RNA研究
    • 肠道菌与人体微生态
    • 细胞代谢
    • AI生物信息学
    • COVID
    云讲堂直播 会展中心 特价专栏 技术快讯 免费试用

  • 生物通官微
    陪你抓住生命科技
    跳动的脉搏

生物通首页  >  今日动态  >  正文

基于全国中医药执业考试的大语言模型中医药知识评估研究

《npj Digital Medicine》:Model-dependent prompt effects challenge reliable deployment of medical LLMs in traditional Chinese medicine

【字体: 大 中 小 】 时间:2026年10月14日 来源:npj Digital Medicine 18.0

编辑推荐:

   摘要尽管当代大语言模型(LLMs)在西方医学知识领域已取得令人满意的结果,但其在中医药领域的表现仍未得到充分探索,且影响表现差异的因素尚不明确。我们基于2025年台湾全国中医药执业考试的475道题目——这一公开的中医药知识基准——在七种提示策略下评估了16个LLM。在未使用提

  

摘要

尽管当代大语言模型(LLMs)在西方医学知识领域已取得令人满意的结果,但其在中医药领域的表现仍未得到充分探索,且影响表现差异的因素尚不明确。我们基于2025年台湾全国中医药执业考试的475道题目——这一公开的中医药知识基准——在七种提示策略下评估了16个LLM。在未使用提示工程的情况下,准确率从35.4%到85.9%不等,约有一半模型通过考试。在评估的模型版本中,按系列分组时调整后准确率差异显著(例如,Claude系列模型84% vs. GPT-4 43%);这些系列分组比较仅具有描述性,因为仅评估了16个独立模型。配对提示分析显示平均绝对效应适中,范围从使用隐含CoT时下降2.03个百分点到使用显式CoT时增加3.04个百分点。然而,提示与模型的交互作用导致了显著的模型级别分化:提示优化将某一模型的失败表现逆转(87.4% vs. 49.7%),但在其他模型中却降低了准确率。没有任何单一提示策略在所有评估模型中产生一致的效益。在五种选定的低性能模型中,使用显式CoT提示时,对基础中医药概念的误解是最常见的错误。这些发现表明,在中医药领域可靠部署LLM需要对模型选择和提示策略进行实证验证:模型选择强烈影响基线能力,而提示-模型交互作用可实质性改变表现。

相关新闻
生物通微信公众号
生物通新浪微博
微信
新浪微博
我要投稿
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热搜:大语言模型|中医药|提示策略|思维链|模型评估|基准测试

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号