游离可获取大语言模型在穿孔性消化性溃疡临床决策支持中的可靠性、质量与可读性:一项盲法、多维度研究

《Diagnostics》:Reliability, Quality, and Readability of Freely Available Large Language Models for Clinical Decision Support in Perforated Peptic Ulcer: A Blinded, Multidimensional Study

【字体: 大 中 小 】 时间:2026年10月16日 来源:Diagnostics 3.8

编辑推荐:

  中文摘要翻译 背景/目的:穿孔性消化性溃疡(PPU)是一种常见的外科急症,其术前每延迟一小时均会增加死亡率,且决策往往由值班的单一外科医生做出。大语言模型(LLMs)可能提供快速决策支持,但其在此场景下的可靠性尚不明确。研究人员采用盲法、多维度设计比较了五种可

  
中文摘要翻译 背景/目的:穿孔性消化性溃疡(PPU)是一种常见的外科急症,其术前每延迟一小时均会增加死亡率,且决策往往由值班的单一外科医生做出。大语言模型(LLMs)可能提供快速决策支持,但其在此场景下的可靠性尚不明确。研究人员采用盲法、多维度设计比较了五种可免费获取的大语言模型。方法:研究基于WSES 2020指南构建了24个结构化问题,涵盖术前、术中和术后三个阶段,于2026年4月至5月期间向ChatGPT(GPT-5.3 Instant)、Claude(Sonnet 4.6)、DeepSeek-V3、Gemini(2.0 Flash)和Grok 3的免费版本提出,共获得120份回复。两名对模型身份保持盲态的外科总医师采用改良版DISCERN工具(mDISCERN,8–40分)作为主要测量指标评估科学可靠性,并以总体质量评分(GQS,1–5分)作为次要测量指标。由于每个问题均由全部五种模型回答,Friedman检验为主要统计方法。结果:各模型在可靠性方面差异显著(Friedman卡方(4) = 71.35,p < 0.001,Kendall W = 0.743),并分为两个层级:Claude(mDISCERN 37.83)、Grok 3(36.08)和DeepSeek-V3(34.92)得分高于ChatGPT(30.62)和Gemini(29.48)。所有层级间比较均显著,而层级内比较均未达显著水平。评分者间一致性为中等(mDISCERN ICC(2,k) = 0.647),内部一致性高(Cronbach α 分别为0.867和0.916)。可靠性回复长度呈正相关(rho = 0.717),与可读性呈负相关(rho = ?0.452)。结论:可免费获取的大语言模型在PPU决策支持中的可靠性存在显著差异,因此模型选择具有临床意义上的重要影响。这种差异特定于所评估的模型、版本和访问层级,未经独立且针对特定场景的验证,任何模型均不应用于急诊外科决策支持。

论文解读

一、研究背景与问题

穿孔性消化性溃疡(Perforated Peptic Ulcer,PPU)是全球范围内最常见的高死亡率急性外科急症之一。随着人口老龄化和非甾体抗炎药物使用的增加,该病发病率呈上升趋势。从诊断到手术每延迟一小时,生存率下降2.4%;对于处于休克状态的患者,这一延迟对应6%的生存率下降。在择期手术中,外科医生可以在多学科会议上讨论决策、查阅文献,必要时推迟手术;但在PPU场景下,决策往往由夜间值班的单一外科医生独立做出。在这种时间紧迫的环境中,标准化和准确的决策支持至关重要。世界急诊外科学会(WSES)和欧洲内镜外科协会(EAES)虽已提供诊疗算法,但证据质量仍然薄弱,元分析也揭示了该领域持续存在的偏倚。Boey和PULP等风险分层工具虽已开发,但标准化和预期的临床影响仍未充分实现。
大语言模型(Large Language Models,LLMs)因其类人的自然语言处理能力,被定位为临床决策支持和外科培训的候选工具。然而,已有证据表明,医学大语言模型可能易受数据投毒攻击,且受污染模型在常规开源基准测试中表现与清洁模型无异;模型在医学执照考试中接近满分的成绩并不能反映真实临床实践的复杂性;当前模型在最终诊断方面准确率较高,但在鉴别诊断生成和不确定性管理方面表现不佳。此外,大多数评估依赖静态单次回复,低估了动态诊断流程中产生的错误。现有评估多局限于单一量表或两模型比较,或聚焦于患者导向信息,尚无针对急诊普外科的等效评估框架。另一个关键局限是多数评估使用付费或旗舰版本,而临床实用性往往取决于免费模型,其充分性仍未被充分探索。

二、研究设计与核心方法

研究人员开展了一项分析性横断面研究,在2026年4月至5月期间,基于WSES和EAES指南及经过验证的PPU风险评分系统文献,构建了24个结构化问题(术前、术中、术后各8个),采用内容效度指数(Content Validity Index,CVI)方法由三名具有至少10年经验的独立普外科医生进行内容效度验证,以一致同意阈值(I-CVI = 1.00)为标准,经迭代修订后确定最终问题集。研究选取五种可免费获取的大语言模型——ChatGPT(GPT-5.3 Instant)、Claude(Sonnet 4.6)、DeepSeek-V3、Gemini(2.0 Flash)和Grok 3,每个模型使用独立账户和独立浏览器会话,以统一开场提示词和默认平台参数获取首次生成的回复,共收集120份回复。两名未参与内容效度阶段的普外科医生(一名新晋专科医生和一名具有四年专科经验的医生)在完成校准后,对模型身份完全盲态的条件下,使用改良版DISCERN(mDISCERN,8–40分)和总体质量评分(GQS,1–5分)进行评分。可读性和文本结构采用词数、句数、Flesch阅读易读性分数(FRES)、Flesch–Kincaid年级水平(FKGL)、Gunning Fog指数、SMOG指数、Coleman–Liau指数(CLI)和词汇密度等指标,在Python 3.12环境中使用textstat库计算。统计分析以Friedman检验为主要方法,Kruskal–Wallis检验为支持性分析,采用Bonferroni和Holm校正,评分者间一致性采用组内相关系数(ICC)和Bland–Altman方法评估。

三、研究结果

科学可靠性(mDISCERN):Friedman检验显示模型间科学可靠性差异显著(卡方(4) = 71.35,p < 0.001,Kendall W = 0.743)。Claude得分最高(37.83),其次为Grok 3(36.08)和DeepSeek-V3(34.92),ChatGPT(30.62)和Gemini(29.48)得分最低。事后两两比较显示模型分为两个表现层级:较高层级(Claude、Grok 3、DeepSeek-V3)与较低层级(ChatGPT、Gemini)之间的所有比较均显著(p < 0.01),而层级内比较均未达显著水平。支持性Kruskal–Wallis分析结果一致(H(4) = 76.28,p < 0.001,epsilon-squared = 0.641)。
内容质量(GQS):GQS的排名与mDISCERN大体重叠,Claude得分最高(4.88),但较低表现模型出现分化:ChatGPT在GQS上得分最低(3.85),而Gemini略高(3.96)。Friedman检验显著(卡方(4) = 73.27,p < 0.001,Kendall W = 0.763),同样呈现两个层级模式。
评分者间信度:两名盲态评分者的一致性为中等水平。mDISCERN的ICC(2,k)为0.647(95% CI 0.494至0.753),ICC(3,k)为0.654(95% CI 0.504至0.759);GQS相应值为0.507和0.555。Bland–Altman分析显示评分者间分歧主要为随机而非系统性。mDISCERN八项的Cronbach α分别为0.867和0.916,内部一致性高。
可读性与文本结构:所有可读性指标在模型间均存在显著差异。Gemini的可读性最高(FRES 26.5),Claude最低(9.3),反映其文本最为专业和密集。Flesch–Kincaid年级水平范围为12.6至15.0,表明所有模型均以适合卫生专业人员而非普通公众的水平书写。Claude回复最长(平均2998词),Gemini(508词)和ChatGPT(514词)最短。词汇密度方面,Claude和ChatGPT最高(约82%),其他模型为70–75%。
质量、长度与可读性的关系:两个质量指标强相关(Spearman rho = 0.886,p < 0.001)。科学可靠性与回复长度正相关(rho = 0.717,p < 0.001),与可读性负相关(rho = ?0.452,p < 0.001),与词汇密度弱相关(rho = 0.270,p = 0.003)。问题感知敏感性分析确认了这些关联的方向和显著性。
稳健性分析:排除11条因电子表格字符限制而缩短的Claude回复后差异仍显著(Kruskal–Wallis H = 67.13,p < 0.001);仅使用13个无截断问题的配对分析结果一致(Friedman卡方(4) = 36.68,p < 0.001);各手术阶段单独分析均显著(术前、术中、术后Friedman卡方(4)分别为24.08、23.46和26.29,均p < 0.001);每位评分者单独分析均显著(Friedman卡方(4) = 47.32和80.10,均p < 0.001)。

四、讨论与结论

研究讨论指出三个主要发现:模型间在科学可靠性和内容质量上存在显著差异且效应量大(Kendall W = 0.743),分为两个表现层级;Claude表现最佳,其次为Grok 3和DeepSeek-V3,ChatGPT和Gemini构成统计上独立的较低层级;质量与可读性呈负相关,最可靠的回复最为密集且难以阅读。与择期手术文献相比,本研究结果在模型排名上存在差异,提示模型排名不能在不同手术场景、版本和访问层级间简单迁移。研究还指出,通用基准测试的成功并不能保证特定临床任务的可靠性,模型选择直接影响临床决策支持质量。研究提出一个四步评估框架:构建指南锚定的问题集并验证内容效度、在固定提示协议下收集回复、由至少两名独立评分者盲态评分并报告信度估计、采用匹配配对结构的统计方法进行比较。研究强调大语言模型持续更新,需要定期重新验证而非一次性评估。研究还探讨了模型集成策略的可能性以及外科医生与模型协作的三臂比较试验作为未来方向。
研究结论翻译:本研究提供了据研究人员所知首次针对穿孔性消化性溃疡这一时间关键性急症的五种可免费获取大语言模型的程序特异性、盲法、多维度评估。模型在科学可靠性和内容质量上差异显著,分为较高表现层级(Claude、Grok 3、DeepSeek-V3)和较低表现层级(ChatGPT、Gemini)。mDISCERN工具在此场景中表现一致,八项内部一致性高,两名独立盲态评分者间一致性中等。观察到的质量的两个特征具有临床相关性:可靠性随信息量和术语深度而非易读性增加,且最可靠的答案需要卫生专业人员阅读水平。由于模型表现取决于所评估的程序、版本和访问层级的具体组合,一种情境下获得的排名不应假定适用于另一种情境,通用基准地位不足以作为临床选择的依据。经过精心选择的、可免费获取的大语言模型可作为急诊外科决策支持的有用辅助工具,但未经模型层面、程序特异性评估,任何模型均不能被推荐用于此目的。前瞻性、交互式研究是下一步方向。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号