前沿大语言模型在消化系统疑难病例诊断中的性能与重复一致性比较：GPT-5、GPT-4.1、DeepSeek-V3.1与Gemini 2.5 Pro的横断面对照研究

《Bioengineering》：Preservation of Vascular Architecture and Detection of Angiogenesis-Related Proteins in Perfusion-Decellularized Human Fascia Lata

　　

背景：大语言模型（large language models，LLMs）在临床决策支持方面展现出潜力。然而，新发布的前沿模型——包括GPT-5和Gemini 2.5 Pro——在消化系统疾病领域的诊断性能尚未得到充分评估。本研究评估了四种前沿LLMs——DeepSeek-V3.1、GPT-5、GPT-4.1和Gemini 2.5 Pro——在具有挑战性的消化系统疾病病例中的诊断性能和重复运行一致性。方法：这项横断面比较研究使用从PubMed检索的50个具有挑战性的消化系统疾病病例，评估了四种LLMs（DeepSeek-V3.1、GPT-5、GPT-4.1和Gemini 2.5 Pro）。选择2025年2月之后发表的病例，以尽量降低训练数据污染和先前模型暴露的潜在风险。每个病例被结构化为标准化提示词，包含临床病史、检查发现、实验室结果和影像学数据。每个病例执行三次独立运行。首次运行输出用于评估有序主要诊断评分和鉴别诊断质量，而全部三次运行用于评估重复运行一致性。输出经过匿名化处理，由一名对模型身份设盲的消化科医师进行评分。结果：Gemini 2.5 Pro获得的有序主要诊断评分显著高于其他三种模型（所有经Holm校正的配对p < 0.01）。精确匹配率分别为：Gemini 2.5 Pro为46%，GPT-5为22%，GPT-4.1和DeepSeek-V3.1各为18%。四种模型的鉴别诊断质量评分中位数均为4；Friedman检验未检测到模型间存在统计学显著差异（p = 0.725）。三种模型在全部三次运行中主要诊断完全一致的比例为68%–78%。模型间的重复运行一致性评分未检测到统计学显著差异。结论：在这项由研究者选定的50个已发表消化系统疾病病例基准中，Gemini 2.5 Pro获得的有序主要诊断评分高于其他三种模型。鉴别诊断质量或重复运行一致性方面未检测到统计学显著差异。这些非显著结果并不确立等效性。在得出临床有效性结论之前，需要在临床环境中进行前瞻性评估。

前沿大语言模型在消化系统疑难病例诊断中的比较研究解读

一、研究背景与问题

大语言模型（large language models，LLMs）正被研究用于诊断辅助、医学教育和临床决策支持等场景。这些应用应与常规临床实施相区分，后者需要在预期临床环境中验证有效性和安全性。尤其在消化系统疾病领域，疾病表现复杂多样，鉴别诊断范围广泛，对临床推理能力要求极高。因此，开发能够快速整合多源信息并提供准确鉴别诊断的智能工具，对提高诊疗效率和准确性具有重要意义。

现有文献存在明显局限：多数研究使用较旧模型版本，或缺乏在同一标准下对不同LLMs的直接比较。随着GPT-5、Gemini 2.5 Pro和DeepSeek-V3.1等新一代模型的发布，它们在复杂专科领域的性能仍不清楚。特别是在主要诊断准确性、鉴别诊断全面性和重复运行一致性三个关键维度上，缺乏对这些模型差异的系统评估。这些模型的相对诊断性能无法从其能力的一般性描述中可靠推断，因此有必要使用共同的病例集、提示词和评估标准进行直接比较。

二、研究设计与方法

研究人员于2025年10月开展这项横断面比较研究。研究使用已发表的病例报告，不涉及患者隐私数据，因此无需伦理委员会批准。

在病例选择方面，研究人员于2025年9月11日至10月7日期间在PubMed检索2025年2月之后发表的消化系统相关病例报告，检索策略涵盖消化系统疾病、IBD、克罗恩病、溃疡性结肠炎、乳糜泻、肝病、肝炎、胰腺炎、消化道出血等关键词。两名消化内科住院医师按PubMed"最新"排序依次筛选，目标基准规模为50例。筛选至50例合格病例时已检查1160份独特病例报告。优先选择具有多系统受累、分歧性病理表现、非典型表现或广泛鉴别诊断需求的临床挑战性病例。排除标准包括最终主要诊断非消化系统疾病、无明确诊断、临床信息不足、诊断评估过度依赖无法在标准化文本摘要中充分呈现的影像数据、鉴别诊断可能性有限、极其罕见的疾病、以管理而非诊断为重点的场景以及非关键表现。

研究使用四种模型：GPT-5、GPT-4.1、DeepSeek-V3.1和Gemini 2.5 Pro，均通过各自网页界面访问，启用推理模式，禁用网络浏览、搜索、记忆和个性化功能，每个病例每次运行均新建独立对话会话。标准化提示词为："担任主治消化科医师。将呈现患者临床信息摘要，请利用这些信息预测诊断。描述鉴别诊断及各自的理由，将最可能诊断列于顶部：[病例信息]。"模型输出被分配匿名标签（答案1–4），采用固定映射，评估者不知晓标签与模型身份的对应关系。

主要比较结局为有序主要诊断评分（0–2分制），附加结局为鉴别诊断质量（1–5分制）和主要诊断重复运行一致性（0–2分制）。精确匹配准确率作为描述性指标单独报告。每个模型对50个病例各执行三次独立运行，主要诊断性能和鉴别诊断质量仅使用首次运行输出评估，第二和第三次运行仅用于一致性分析。模型输出由一名三级甲等医院消化内科主治医师评估，该医师具有10年以上临床经验，对模型身份设盲。评分标准为研究者定义的有序评分细则，参考类似已发表研究制定，使用前经一名高级消化科医师审查。

统计方面，由于四种模型评估相同50个病例，模型间比较考虑了病例层面的配对。主要分析使用Friedman检验，以病例身份为区组因素，计算Kendall's W作为效应量。整体检验显著后进行六对配对Wilcoxon符号秩检验，采用Holm校正。精确匹配准确率描述性报告为50例中的匹配数和百分比，计算Wilson 95%置信区间（confidence intervals，CIs）。所有统计分析使用R软件（版本4.4.3），显著性水平设为p < 0.05。

三、研究结果

3.1 有序主要诊断评分

首次运行主要诊断与参考标准比较后按0–2分制评分。平均有序主要诊断评分分别为：GPT-5为0.88，GPT-4.1为0.88，DeepSeek-V3.1为0.86，Gemini 2.5 Pro为1.28。Friedman检验显示四种模型间存在显著差异（χ²(3) = 23.45，p < 0.001；Kendall's W = 0.156）。配对Wilcoxon符号秩检验经Holm校正后显示，Gemini 2.5 Pro的评分显著高于GPT-5（校正p = 0.0063）、GPT-4.1（校正p = 0.0063）和DeepSeek-V3.1（校正p = 0.0011）。GPT-5、GPT-4.1和DeepSeek-V3.1之间无显著差异。Gemini 2.5 Pro的中位数评分（25th–75th百分位）为1（1–2），其他三种模型均为1（0–1）。首次运行精确匹配率为：Gemini 2.5 Pro为46%（23/50），GPT-5为22%（11/50），GPT-4.1和DeepSeek-V3.1各为18%（9/50）。

3.2 鉴别诊断质量

Friedman检验未检测到四种模型间鉴别诊断质量评分的统计学显著差异（χ²(3) = 1.32，p = 0.725；Kendall's W = 0.009）。四种模型的中位数评分均为4。25th–75th百分位范围为：GPT-5和Gemini 2.5 Pro为3–5，GPT-4.1和DeepSeek-V3.1为3–4。平均分±标准差（standard deviation，SD）分别为：GPT-5为4.02 ± 0.82，GPT-4.1为3.94 ± 0.74，Gemini 2.5 Pro为3.88 ± 0.98，DeepSeek-V3.1为3.86 ± 0.83。GPT-5和Gemini 2.5 Pro获得最高分（5分）的比例最高，各为34%；GPT-4.1在"合理鉴别诊断覆盖主要可能性"（4分）类别的比例最高，为46%。DeepSeek-V3.1和Gemini 2.5 Pro分别有4%和8%的病例获得2分，GPT-5和GPT-4.1无此评分。获得4分或5分的比例分别为：GPT-5为68%，GPT-4.1为70%，DeepSeek-V3.1为66%，Gemini 2.5 Pro为62%。

3.3 重复运行一致性

Friedman检验未检测到四种模型间重复运行一致性评分的统计学显著差异（χ²(3) = 3.14，p = 0.37）。所有模型的中位数重复运行一致性评分均为2.0。三次运行主要诊断完全一致的比例为：GPT-5为70%，GPT-4.1为68%，DeepSeek-V3.1为74%，Gemini 2.5 Pro为78%。一致性评分为0（三次主要诊断均不同）的比例：GPT-5、GPT-4.1和DeepSeek-V3.1各为4%，Gemini 2.5 Pro为0%。

四、讨论与结论

讨论部分指出，Gemini 2.5 Pro在有序主要诊断评分上显著高于其他三种模型，但即使最高观察到的首次运行精确匹配率也低于50%，表明较高有序评分不应等同于足够准确的独立诊断。鉴别诊断质量方面，所有模型均达到中位数4分，与有序主要诊断评分的显著差异形成对比。重复运行一致性方面，完全一致率在68%–78%之间，但重复运行的一致并不表示诊断正确性。研究还讨论了医学LLMs的"幻觉"问题、知识截止限制导致的时间敏感知识过时风险，以及消化系统疾病中幽门螺杆菌根除方案、炎症性肠病生物制剂适应证和肝细胞癌免疫治疗组合等快速演变领域的特殊风险。

研究局限包括：基于已发表文本病例报告，缺乏真实临床环境的多维信息；病例为研究者刻意选择的诊断复杂性病例，不代表常规消化科实践；仅使用文本输入，无法评估多模态诊断性能；样本量小且由单一医师评估；使用单一标准化提示词；固定模型到标签映射而非随机化标签；缺乏临床医师对照和临床结局指标。

结论：在这项由研究者选定的包含50个已发表消化系统病例报告的诊断挑战基准中，Gemini 2.5 Pro获得的有序主要诊断评分高于GPT-5、GPT-4.1和DeepSeek-V3.1。精确匹配准确率作为描述性指标报告。鉴别诊断质量或三次运行主要诊断一致性方面未检测到统计学显著差异；这些发现不确立等效性。研究结果描述的是选定已发表病例上的性能，而非前瞻性患者 encounters 中的诊断准确性。需要使用代表性临床病例、多名独立评估者和直接临床医师比较进行前瞻性评估，以评估临床实用性。