
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于全国中医药执业考试的大语言模型中医药知识评估研究
《npj Digital Medicine》:Model-dependent prompt effects challenge reliable deployment of medical LLMs in traditional Chinese medicine
【字体: 大 中 小 】 时间:2026年10月14日 来源:npj Digital Medicine 18.0
编辑推荐:
摘要尽管当代大语言模型(LLMs)在西方医学知识领域已取得令人满意的结果,但其在中医药领域的表现仍未得到充分探索,且影响表现差异的因素尚不明确。我们基于2025年台湾全国中医药执业考试的475道题目——这一公开的中医药知识基准——在七种提示策略下评估了16个LLM。在未使用提
尽管当代大语言模型(LLMs)在西方医学知识领域已取得令人满意的结果,但其在中医药领域的表现仍未得到充分探索,且影响表现差异的因素尚不明确。我们基于2025年台湾全国中医药执业考试的475道题目——这一公开的中医药知识基准——在七种提示策略下评估了16个LLM。在未使用提示工程的情况下,准确率从35.4%到85.9%不等,约有一半模型通过考试。在评估的模型版本中,按系列分组时调整后准确率差异显著(例如,Claude系列模型84% vs. GPT-4 43%);这些系列分组比较仅具有描述性,因为仅评估了16个独立模型。配对提示分析显示平均绝对效应适中,范围从使用隐含CoT时下降2.03个百分点到使用显式CoT时增加3.04个百分点。然而,提示与模型的交互作用导致了显著的模型级别分化:提示优化将某一模型的失败表现逆转(87.4% vs. 49.7%),但在其他模型中却降低了准确率。没有任何单一提示策略在所有评估模型中产生一致的效益。在五种选定的低性能模型中,使用显式CoT提示时,对基础中医药概念的误解是最常见的错误。这些发现表明,在中医药领域可靠部署LLM需要对模型选择和提示策略进行实证验证:模型选择强烈影响基线能力,而提示-模型交互作用可实质性改变表现。