《Scientific Reports》：Feasibility and expert evaluation of a medical large language model in an interdisciplinary clinical board
编辑推荐：
跨学科临床委员会（ICB）针对慢性炎症性疾病，由各学科专家讨论涉及炎症性病变的复杂多学科病例。医学专科化的大语言模型（LLM）在临床问题解答中的应用日益广泛。LLM有望通过提供基于证据的临床问题摘要并实现“实时”文献检索，弥合医学知识快速扩展与临床医师时间有限
跨学科临床委员会（ICB）针对慢性炎症性疾病，由各学科专家讨论涉及炎症性病变的复杂多学科病例。医学专科化的大语言模型（LLM）在临床问题解答中的应用日益广泛。LLM有望通过提供基于证据的临床问题摘要并实现“实时”文献检索，弥合医学知识快速扩展与临床医师时间有限之间的差距。然而，LLM能否在ICB的临床常规流程中落地实施尚不明确。本前瞻性研究纳入了100例连续的真实世界病例，均在ICB中讨论。每例病例首先独立于LLM进行讨论并记录初步建议；随后将临床问题输入LLM“OpenEvidence”，由委员会审阅其回答并有机会补充此前未提出的方面，最终确认并记录最终建议。每位参与专家通过包含8个李克特量表（Likert scale，1–5分）条目及1个自由文本条目的问卷评估LLM的回答。两名相互设盲的医师额外评估了LLM输出与委员会决策的一致性。同一批病例在提示词优化后于两个不同时间点再次评估。100例讨论病例共产生759次专家-病例评估。每例平均直接涉及2.3个专科。得分最高的条目为“OpenEvidence为本病例提供了临床相关信息”（4.06分）。未来使用推荐获得平均3.95分。两名评估者对LLM回答与ICB最终建议完全一致的比例分别为全部可评估病例（n=97）的40.2%和50.5%。在共识病例（即两名评估者评分一致的病例，n=62/97）中，完全一致率为51.6%。提示词优化后的输出倾向于具有更高的一致性，但未达到统计学显著性。输出随时间不稳定。将OpenEvidence整合入ICB具有可行性，且参与专家认为其有用，在大多数可评估病例中与最终委员会建议部分或完全一致。由于本研究未评估患者结局、临床损害或幻觉，无法得出关于患者安全性的结论。LLM天然受限于提示词中提供的信息。问题不充分或信息缺失会导致次优回答，凸显了事先识别并纳入相关信息的重要性。专家监督仍然至关重要。LLM的模型漂移可能超过提示词优化的效果。
论文解读
一、研究背景与问题
炎症性疾病跨越广泛的医学学科，常呈现超出单一学科范围的诊断或治疗挑战。跨学科临床委员会（ICB）是各领域专家讨论特别复杂或多学科病例的平台。然而，即便高度专业的专家在面对罕见疾病或异常临床情况时，仍需查阅额外资源。这一需求因医学知识的快速持续扩展而进一步加剧——PubMed/MEDLINE目前收录的期刊文章参考文献已超过4000万条。传统文献检索耗时，通常需在讨论前后进行。大语言模型（LLM）通过实时获取并综合相关文献，为临床问题提供基于证据的回答，有望增强专家决策能力，使文献研究直接整合入ICB讨论成为可能。
尽管许多LLM模型已在医学考试中评估了其性能，但只有少数研究评估了其在真实患者数据中的应用。OpenEvidence（OE）是专为临床决策支持设计的LLM，在医疗专业人员中广泛使用，能从可信的同行评审来源提供带有可追溯来源引用的证据，使临床医生能够核实其输出的底层文献和推理过程。虽然OE已在初级保健和高度限定的临床问题中显示出强化临床决策的作用，但尚未在复杂或多学科临床病例中评估。本研究探索了OE在由消化病学、皮肤病学、风湿病学、神经病学、儿科学、肾脏病学和血液肿瘤学专家组成的ICB中的使用与整合，通过结构化问卷评估OE，旨在提供关于LLM在跨学科临床实践中可行性、价值和局限性的第一手见解。
二、研究设计与主要结论
本研究为前瞻性、单中心、观察性研究，纳入2025年7月至11月期间在ICB中讨论的100例连续真实世界患者病例。研究经埃尔朗根-纽伦堡弗里德里希-亚历山大大学伦理委员会批准。每例病例首先由委员会独立于OE进行讨论并记录初步建议，随后将准备好的问题提交至OE，其回答展示给委员会，委员会有机会补充或修正此前专家讨论中未提出的方面，最终确认并记录最终建议。共有来自7个学科的21名专家参与了评估，每位参与临床医生使用包含9个条目的标准化问卷独立评估OE的回答，其中8个条目采用5点李克特量表（1=非常不同意，5=非常同意），1个条目允许自由文本评论。
研究得出以下主要结论：OE在ICB中的整合具有可行性，专家对其评价总体积极。在8个评估维度中，OE在“提供临床相关信息”方面获得最高平均评分（4.06分），其次是“顺利整合入委员会讨论”和“未来使用推荐”。“对最终决策信心增强”、“与临床指南一致性”和“提供新的治疗见解”评分略低但仍接近量表上端。“改善诊断清晰度”评分相似，而“决策时间节省”在所有维度中评分最低。所有条目均达到中位数4分，没有条目低于3.5分，表明各评估维度总体为积极评价。值得注意的是，“决策时间节省”的标准差相对较高，表明不同评估者和病例对OE时间效率的感知存在较大差异。
在OE回答与ICB最终决策的一致性方面，第一轮中，两名评估者对全部可评估病例（n=97）完全一致的比例分别为40.2%和50.5%，部分一致为38.1%和24.7%，不一致为21.6%和24.7%。在共识病例（n=62/97）中，完全一致率为51.6%，部分一致为22.6%，不一致为25.8%。评估者间信度分析显示原始一致率为63.9%，线性加权Cohen's κ=0.555，二次加权κ=0.669，表明中等程度一致。
三、主要关键技术方法
研究人员采用了以下关键技术方法：第一，前瞻性队列研究设计，纳入100例连续真实世界病例，涵盖消化病学、皮肤病学、风湿病学、神经病学、儿科学、肾脏病学和血液肿瘤学等7个学科；第二，结构化专家问卷评估，包含8个5点李克特量表条目和1个自由文本条目，共获得759次专家-病例评估；第三，双人设盲回顾性评分，两名医师独立评估OE回答与ICB最终决策的一致性，采用三级有序量表（0=不一致，1=部分一致，2=完全一致）；第四，提示词优化策略，设计结构化优化提示词，要求OE分三步分析病例（信息评估、追问缺失信息、提供结构化建议）；第五，统计学分析，包括基于多分格相关的Cronbach's α内部一致性检验、探索性因子分析、加权Cohen's κ评估者间信度、Wilcoxon符号秩检验比较两轮评估差异；第六，时间稳定性测试，于2026年9月7日将所有病例以两种提示词版本重新提交，通过Claude Opus 5进行自动化文本分析比较输出差异。
四、研究结果
病例特征： 100例患者病例共产生759次专家-病例评估，每例平均涉及2.3个不同专科。皮肤病学方面存在于82%的病例中，消化病学方面占52%，风湿病学占36%，血液肿瘤学占26%，神经病学占9%，儿科学占7%，肾脏病学占6%，其他专科方面占8%。
提示词特征： 提交给OE的提示词包含主要诊断（99%）、附加诊断（77%）、当前或既往治疗（77%）、实验室结果（25%）、临床症状（22%）、影像结果（15%）和组织学发现（8%）。向ICB提出的问题主要为治疗性问题（89%）而非诊断性问题（11%）。
专家李克特评分： 基于多分格相关的信度分析显示8条目量表内部一致性极高（α=0.97；95% CI: 0.93–0.99）。各专科评分存在差异：血液肿瘤科医生评分最高（各维度范围3.67–4.59），肾脏科医生评分最为保守（总体平均2.85），尤其在“决策时间节省”（1.90）、“改善诊断清晰度”（2.30）和“提供新的治疗见解”（2.57）方面评分较低。
专家自由文本评论： 759次评估中仅有7次（0.92%）提供了自由文本评论。指出的局限性包括：OE对主要和次要诊断的区分和权重不足、即使临床情况需要偏离时仍严格遵循指南、部分病例对OE而言过于复杂。对证据水平的批判性讨论被认为是OE的优势。
OE与委员会最终决策的一致性： 第一轮中，共识病例中OE回答与ICB最终决策完全一致占51.6%，部分一致占22.6%，不一致占25.8%。评估者间原始一致率63.9%，线性加权κ=0.555，表明中等程度一致。
提示词优化： 第二轮使用优化提示词后，共识病例（n=69/97）中完全一致率升至56.5%，部分一致29.0%，不一致14.5%。两轮比较显示：29例改善、48例不变、20例恶化。平均评分从第一轮的1.222升至第二轮的1.361（Wilcoxon符号秩检验，p=0.0642），提示优化提示词倾向于改善但未达统计学显著性。评估者间原始一致率升至71.1%，加权κ=0.591（线性）和0.670（二次），仍为中等一致。
时间稳定性与提示词效应： 相同提示词在10–14个月后重新运行，输出不可重复：原始提示词的回答平均长度增加91.1%（+218词，从240增至458），引用参考文献数平均增加93.0%（+5.7篇，从6.2增至11.9），仅20.4%的原始引用文献被保留。优化提示词对应增幅为33.5%（+137词，从410增至547）和22.1%（+2.2篇，从10.0增至12.2），保留23.6%的引用文献，37.1%为2025年或之后发表。同日数分钟内运行不同提示词时，回答平均长度增加19.6%（+90词），引用文献数仅增加3.1%（+0.4篇），核心临床建议在100次运行中87次（87.0%）完全相同。
五、讨论与结论总结
讨论部分指出，医学专科化LLM似乎最为适用，而OE作为专科化LLM在某些任务上已显示出优于ChatGPT的表现。专家对OE的回答评价为具有临床相关性，有助于提供治疗方案和可能诊断的数据。然而，事先识别相关信息是关键——当问题涉及诊断或治疗方案而信息缺失时，OE会提供更笼统的回答，导致不够准确甚至有时具有误导性的答案。第一轮中OE回答与ICB最终决策完全一致的比例为少数至勉强多数，提示人类监督始终必要。LLM不应在用户无法判断其回答的情况下使用。
提示词优化后一致性倾向于提高，但此观察应视为探索性结果，因为两轮并非同时进行，OE作为持续更新的商业平台，底层模型或检索语料库的变化与提示词效应不可分离。时间稳定性测试表明输出随时间不可重现，版本间漂移超过了提示词优化本身的效应。参考文獻更替是最不稳定的输出特征，在一年内约五分之四的来源被替换。
研究还讨论了人机交互界面的问题：数据以过度简化或不完整的方式输入时，提示词质量会混淆LLM的性能。人类专业知识在使用LLM处理复杂病例时仍然至关重要，因为相关信息的收集和识别以及LLM回答的解释完全取决于用户。特定领域专业知识有限的医生尤其需要谨慎，应避免仅依赖任何LLM的回答。即使输入的问题被正确回答，提示词中缺失的信息或对回答的误解仍可导致错误。
研究结论为：将OE整合入专家ICB具有可行性，前提是输入数据和回答均需批判性审查。大多数委员会成员报告决策信心增强，并推荐继续使用OE。这些发现不允许得出关于患者安全性的结论，因为本研究未评估患者结局、临床损害、错误严重程度、不一致建议的后果、幻觉和无依据引用。至关重要的是，最终临床责任仍由主治医师承担，任何LLM生成的信息必须被视为决策支持而非专业判断的替代品。
