医学微生物学检验分析前问题中六种生成式大语言模型性能评估

《Clinical Microbiology and Infection》:Evaluation of six generative large language models answering pre-analytical questions in medical microbiology

【字体: 大 中 小 】 时间:2026年10月14日 来源:Clinical Microbiology and Infection 8.7

编辑推荐:

  摘要 目的:大语言模型(large language models,LLMs)有潜力被整合到诊断工作流程中,但其在分析前诊断管理中的可靠性仍不确定。研究人员旨在评估六种LLMs在回答医学微生物学领域常见分析前问题时的表现。接下来,研究人员提出一个在医学微生物

  
摘要

目的:大语言模型(large language models,LLMs)有潜力被整合到诊断工作流程中,但其在分析前诊断管理中的可靠性仍不确定。研究人员旨在评估六种LLMs在回答医学微生物学领域常见分析前问题时的表现。接下来,研究人员提出一个在医学微生物学中评估LLMs的蓝图。

方法:研究人员在一个混合评估框架中比较了来自OpenAI(GPT-3.5、GPT-4)和Meta AI(Llama2-7B、Llama2-13B)的通用模型,以及两个领域增强版本(定制化GPT代理和Llama2-7B Medical)。首先,研究人员量化了回答长度(单词数),然后评估了LLM生成的回答与专家审核的参考回答之间的相似性(BLEU/ROUGE分数、BERTScore)。最后,三十三位医学专业人员对LLM生成回答的准确性和完整性进行了1–7分量表评分。

结果:OpenAI模型的回答与参考集表现出更高的相似性,并在准确性和完整性上显著优于基于Meta AI的模型。定制化生成式预训练变换器(generative pre-trained transformer,GPT)与OpenAI通用模型的表现相当,同时生成的回答显著更短(p<0.001)。不同专业人员之间的质量评分差异显著,医学微生物学家和经验丰富的传染病专科医生给出的分数显著低于传染病受训医生和医学生(p<0.001)。

结论:研究人员观察到LLM性能存在相当大的差异,并强调了不同专业群体对回答质量感知的差异,强调了在咨询LLM获取分析前指导时进行批判性评估的必要性。
论文解读:医学微生物学检验分析前问题中六种生成式大语言模型的性能评估

一、研究背景与问题

大语言模型(large language models,LLMs)为获取和处理文本信息提供了全新方式,并在多项基准测试中成功通过官方医学执照考试,显示出在医疗环境中作为便捷信息源的潜力。然而,用户可能对不准确或不恰当的人工智能(artificial intelligence,AI)生成的医疗建议产生过度信任,这强调了在临床环境中应用LLMs时需要批判性评估。在医学微生物学领域,大多数AI应用集中于分析阶段,例如通过卷积神经网络进行琼脂平板上的菌落检测。尽管已有研究证明经过微调的LLM能够从纸片扩散数据中推断抗菌药物耐药性的分子机制,但分析前阶段——作为决定后续诊断质量的关键环节——受到的关注相对较少。确保正确的分析前流程(包括选择合适的标本、合适的运输条件以及申请恰当的检测方法)至关重要。随着LLMs日益普及,医疗专业人员可能越来越多地咨询它们以获得诊断管理指导,但其可靠性与性能仍不确定。此外,LLMs在实验室环境中的使用通常既未经批准也未经验证。在欧洲,体外诊断法规(in vitro diagnostic regulation,IVDR)、医疗器械法规(Medical Device Regulation,MDR)和欧盟AI法案严格规范了LLMs在医学中的使用。由于模型开发者众多、技术快速演进,实验室管理者和临床医生面临越来越大的不确定性。具体LLMs在特定医疗场景中的性能往往缺乏研究,且商业系统对其训练来源不透明,导致结果存在变异性。目前缺乏国际公认的LLM验证标准,微生物学诊断领域的验证蓝图建议也尚属空白。因此,本研究旨在评估LLMs在医学微生物学中支持诊断管理的性能,比较不同公开可用的LLMs回答代表性的、领域特异性的分析前问题,并基于研究结果提出一个结合自动评估指标与人类专家评估的实用框架,作为未来评估LLM生成的自由文本回答的蓝图。同时,研究还探讨了不同专业水平和背景的医疗专业人员对LLM输出的质量感知差异。

二、研究方法概述

研究人员选取了六种LLMs:来自OpenAI的通用模型GPT-3.5和GPT-4,来自Meta AI的Llama2-7B Chat和Llama2-13B Chat,以及两个领域增强版本——定制化GPT(利用OpenAI的“custom GPT”接口基于GPT-4构建)和Llama2-7B Medical(基于Meta Llama2-7B在医学语料上微调的公开模型)。研究采用混合评估框架:首先量化各模型回答的单词数来衡量冗长度;其次使用自动评估指标(sacreBLEU、ROUGE-1、ROUGE-2、ROUGE-L和BERTScore)比较LLM生成回答与专家审核参考回答之间的词汇重叠和语义相似度;最后邀请33位医学专业人员(包括12名经验丰富的医学微生物学家、6名受训医学微生物学家、4名实验室技术员、3名经验丰富的传染病专家、3名传染病受训医生和5名医学生)对回答的准确性和完整性进行1–7分评分。所有模型均使用默认设置,回答29个涵盖标本采集、运输和检测方法申请等典型分析前问题的开放式问题,共生成174个回答。统计学分析包括Wilcoxon符号秩检验和多重比较校正。

三、研究结果

3.1 冗长度(Verbosity)
单词数分析显示不同模型的回答长度存在显著差异,所有模型的回答长度范围为21至515词。OpenAI模型的输出普遍显著长于Meta AI模型(p < 0.002)。在OpenAI模型中,定制化GPT生成的回答显著更短(中位数236词,IQR 124–371),而GPT-3.5和GPT-4的中位数分别为363词和325词,差异具有统计学意义(p < 0.001)。Meta AI组内各模型(Llama2-7B、Llama2-7B Medical、Llama2-13B)的回答长度无显著差异,中位数分别为90词、83词和86词。

3.2 自动评估指标
通过BLEU、ROUGE和BERTScore对LLM回答与参考基准回答的相似性进行评估,结果显示OpenAI模型的输出与专家撰写的参考回答具有最高的一致性。总体而言,定制化GPT在所有自动指标上获得最高分,其次是GPT-4和GPT-3.5。Llama2-7B Medical和Llama2-13B表现相当,各自在半数指标上优于对方,而Llama2-7B在所有指标上得分最低。

3.3 基于人类评估的LLM输出质量
33位评估者对六种LLM回答的准确性和完整性进行1–7分评分。OpenAI模型在准确性和完整性两方面均显著优于Meta AI模型(p < 0.001),获得更高的评分。同公司内部模型之间无显著差异。GPT-4和定制化GPT的准确度中位数均为6分(IQR分别为6–6和5–6),完整性中位数均为6分(IQR均为5–6);GPT-3.5的准确性和完整性中位数均为5分(IQR 5–6)。相比之下,Meta AI模型的准确性中位数仅为4分(Llama2-7B Medical IQR 2–4;Llama2-7B和Llama2-13B IQR 3–4),完整性中位数为3分(三种Llama模型IQR均为2–4)。

3.4 不同专业群体之间的质量感知差异
进一步分析人类评估数据发现,不同专业群体对LLM生成回答的质量评分存在显著差异。医学微生物学家和经验丰富的传染病专家对准确性和完整性的评分显著低于传染病受训医生和医学生(p < 0.001)。生物医学技术员的评分处于中间水平,除与医学生给出的准确性评分外,与其他所有群体均有显著差异。

四、讨论与结论

本研究发现不同LLM在回答医学微生物学分析前开放式问题时的性能和冗长度存在显著差异,同时不同背景和专业深度的评估者对回答质量的感知也存在明显变化。OpenAI模型在自动指标和人类评分上均优于Meta AI模型,但这一差距可能主要反映模型规模和后期训练优化的差异,而非开发者内在的优劣。值得注意的是,与先前大规模医学评估研究不同,本研究未观察到GPT-4相对GPT-3.5或Llama2-13B相对Llama2-7B的显著性能提升,这可能与本研究样本量较小(29个问题)有关。领域定制化模型(定制化GPT和Llama2-7B Medical)并未在人类评估中显示出显著优势,但定制化GPT能够以显著更少的字数达到相同的内容质量,表明其具有更高的简洁性。此外,回答长度可能影响人类评估者的感知判断,因此需要结合客观指标来识别潜在的长度相关偏倚。研究还发现,领域专家和资深专家给出的评分更低,提示深层专业知识对于识别LLM回答中看似合理但可能存在细微错误的内容至关重要,即“提示主义”(promptism)现象。研究的局限性包括:仅针对特定时间点的特定模型版本,结果外推受限;自由文本评估本身具有挑战性;默认设置可能影响结果;参考回答未作为人类评估的对照;部分专业群体样本量较小。总之,本研究提出了一个结合人类评分和客观指标的混合评估框架,可作为其他实验室进行LLM验证的蓝图。LLM性能具有高度任务依赖性,建议基于具体使用场景进行试用和基础模型选择。尽管部分模型表现出色,可作为决策辅助工具,但异常低分回答表明其必须保持对人类判断的补充作用,专家监督对于捕捉说服性回答中的细微不准确之处至关重要。总体而言,研究结果为谨慎、专家引导地将LLMs整合到临床工作流程中提供了实用评估框架和支持证据。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号