《Diagnostics》:Large Language Models in Perioperative Antithrombotic Management: A Blinded Scenario-Based Expert Evaluation
编辑推荐:
背景:围术期抗血栓管理是麻醉实践中复杂且高风险的环节,需在出血与血栓栓塞风险间谨慎权衡。大型语言模型(LLM)正被探索用于临床决策支持,但其在复杂围术期抗血栓情景中的可靠性尚不确定。方法:本研究为盲法、基于情景的评估,构建100个择期手术病例(含灰色地带情景)
背景:围术期抗血栓管理是麻醉实践中复杂且高风险的环节,需在出血与血栓栓塞风险间谨慎权衡。大型语言模型(LLM)正被探索用于临床决策支持,但其在复杂围术期抗血栓情景中的可靠性尚不确定。方法:本研究为盲法、基于情景的评估,构建100个择期手术病例(含灰色地带情景)以反映临床相关决策。将欧洲麻醉与重症监护学会/欧洲区域麻醉与疼痛治疗学会(ESAIC/ESRA)2022指南纳入标准化提示词,作为神经轴索安全及相关抗血栓中断间隔的通用框架。研究人员使用标准化提示词评估4种LLM(GPT-5.4 Thinking、Claude Opus 4.5、DeepSeek v3.2 Reasoning、Qwen3.5-Plus)。模型回复隐去身份后,由两名资深麻醉医师(非本文作者)在5个临床维度以5点Likert量表独立评分,并单独评估临床适用性。结果:在100个情景的四维度统一复合得分上,模型间总体专家评分存在差异(Friedman χ2=28.75,p<0.001;Kendall’s W=0.096)。Claude中位复合分最高,与DeepSeek差异无统计学意义。留一域敏感性分析显示模型分离度对临床推理域敏感,剔除该域后Kendall’s W降至0.030。限定51个共同进行手术的二级五维度分析同样显示模型间差异(Friedman χ2=55.13,p<0.001;Kendall’s W=0.360)。各情景仅查询一次,细微排序差异应视为暂定。所有模型在停药决策上表现良好,但在停药时机、麻醉选择与临床推理上变异性更大。推迟手术行为差异显著,DeepSeek与Qwen较ChatGPT和Claude更常建议推迟。结论:LLM在围术期决策中具辅助潜力,但表现不稳定,尤见于复杂情景;现阶段应谨慎使用并始终置于专家监督下,而非作为独立决策者。
研究背景方面,围术期抗血栓管理因需平衡出血与血栓栓塞风险而成为麻醉与外科决策中最复杂的领域之一。随着心血管疾病患病率上升,接受抗凝(anticoagulant)与抗血小板(antiplatelet)治疗的患者增多,而神经轴索麻醉(neuraxial anesthesia)下血肿虽罕见却可致永久神经损伤,使指南依赖度提高。然而临床常遇“灰色地带(grey-zone)”情景——多合并症、多因素交织致指南不能直接套用,决策依赖经验与个体化评估,即便专家间亦有分歧。近年LLM展现上下文应答与人类式推理能力,在知识测评中可比肩医师,但在高风险、指南驱动的围术期抗血栓管理中证据有限,尤其神经轴索安全维度。该研究即在此背景下,以ESAIC/ESRA 2022指南为共同参照,系统比较主流LLM于标准与灰色地带情景下的决策质量。
研究人员开展的研究与结论要义如下:构建100个择期手术情景(48灰区、52标准),以Gemini 3 Pro起草、非作者麻醉专家修订;将4种消费级界面LLM(GPT-5.4 Thinking、Claude Opus 4.5、DeepSeek-V3.2推理模式、Qwen3.5-Plus)各查询一次,提示词内嵌ESAIC/ESRA 2022框架并要求以资深麻醉医师视角结构化作答;两名≥10年经验麻醉医师盲法、随机顺序按5点Likert评5域(停药决策、停药时机、行/缓手术、麻醉方式、临床依据)及二值临床适用性。结果显示模型间四域复合分差异显著(Friedman χ2=28.75,p<0.001),Claude中位最高(4.56)且与DeepSeek无统计差;留一域分析剔除临床依据域后分离度骤降(Kendall’s W=0.030→0.096),证明临床推理是分离主源。二级51例共同进行手术(全标准情景)五域复合分差异更大(Kendall’s W=0.360)。停药决策各模型均优(恰当率91%–99%),但停药时机、麻醉选、临床依据变异性大;DeepSeek/Qwen缓术率47%而Claude 0%、ChatGPT 3%;低分(1分)探查示ChatGPT低分多伴“推荐椎管内麻醉”与“凝参正常故安全”套话,DeepSeek/Qwen低分多伴过度缓术。灰色地带下Claude、DeepSeek、Qwen分数显著低于本组标准情景,ChatGPT无显著差异。论文发表于《Diagnostics》,意义在于首次以盲法专家评估+同框指南+灰区分层量化LLM于围术期抗血栓这一窄高危领域的决策轮廓,指明LLM可辅教与辅决但不可自治,且排名随提示词、版本、评委而易。
关键技术方法概括(≤250字):研究人员采用模拟情景横断面盲法比对设计,样本为自建100例择期手术文本情景(无真实患者数据,Gemini 3 Pro初拟后经非作者麻醉专家修订,灰区状态先于查询判定)。干预为4款LLM通过消费网页界面、默认设置、单次新会话、统一标准化提示词(内嵌ESAIC/ESRA 2022作神经轴索安全与停药间隔框架)各答一次,取首回完整响应。评估由两名独立盲态资深麻醉医师对隐名乱序响应就四普适域+麻醉域+二值适用性打分;统计用SPSS 29,以Friedman检验+Bonferroni校正Wilcoxon做模型间比较,留一域敏感性分析、Cochran’s Q/McNemar做类别变量检验,bootstrap求恰率CI,ICC与加权κ评评分者一致性。
研究结果各节浓缩:
3.1 评分者一致性:双评者整体一致性强,停药决策完全一致;DeepSeek麻醉域κ最低(uκ=0.393,wκ=0.627,ICC=0.631);适用性二值κ 0.704–0.861;中点跨越分歧仅0.6%。
3.2 描述统计与分布:四域复合中位——ChatGPT 4.00、Claude 4.56、DeepSeek 4.25、Qwen 4.25;个体评分92.7%落极端(1或5分);停药决策恰当率91%–99%,临床依据恰当率32%–85%,麻醉域39.7%–89.6%。
3.3 域级模型间比较:停药时机、行/缓术、临床依据三域Friedman均显著(χ2=40.53/20.70/71.45,p<0.001);临床依据域除ChatGPT–Qwen外两两差显著;停药时机Qwen优于他者。
3.4 模型间比较:百例四域复合Friedman χ2=28.75(p<0.001),ChatGPT–Claude、ChatGPT–DeepSeek、Claude–Qwen差显著;留一域去临床依据后W=0.030;51例共同进行子集五域复合W=0.360,Claude与DeepSeek无差。
3.5 临床适用性:池化适用率ChatGPT 22.5%、Claude 53.0%、DeepSeek 52.5%、Qwen 48.5%;评者2判ChatGPT显著劣于其余三。
3.6 缓术行为:Claude 0%、ChatGPT 3%、DeepSeek 47%、Qwen 47%;DeepSeek缓术低分率30.5%显著高于ChatGPT/Claude的12%。
3.7 麻醉方式:51共行子集内ChatGPT中位1分(多推脊麻)、Claude/DeepSeek中位5分、Qwen中位5(IQR 1–5),ChatGPT显著劣于余三。
3.8 1分输出探查:ChatGPT脊麻关联94.5%的1分麻醉评;ChatGPT 85.8%的1分依据评含“凝参正常故神经轴索安全”套话;DeepSeek/Qwen 1分行/缓评95%+伴缓术,ChatGPT/Claude伴进行。
3.9 灰区分析:Claude、DeepSeek、Qwen灰区复合分显著低于本组标准(adj p<0.001/<0.001/0.004),ChatGPT无差;去依据域敏感性同主分析方向。
讨论部分总结:研究人员指出模型排序受提示词、版本、评委、单次抽样随机性影响,细排序暂定;Claude/DeepSeek总体占优,ChatGPT在时机/麻醉/依据偏弱;临床依据域是复合分离主驱,说明LLM检索知识易、情境整合难;灰区下多数模型退化但ChatGPT不显著可能系分布天花板效应。适用性高者亦高分,但表面正确未必可落地,LLM须定位为专家监督下辅具。局限含Gemini起草引入框架偏倚、双专家中心化、无预设参考标准、无重复查询致不可测随机变异、消费界面不可控温度/种子、盲法可能因模式可辨而渗漏、灰区为非验证分类。结论部分译文:在该基于情景的专家评估中,LLM于围术期抗血栓决策域表现不一;结果凸显LLM作为临床决策支持工具的潜质,同时表明现阶段系统不适合作自治决策者。保障患者安全需将LLM严格置于专家监督下、扮演支持而非替代角色。未来研究应跨提示词、模型版本、评委组与现实场景复验。