前沿大语言模型在胃肠病学AI辅助鉴别诊断中的评估：诊断性能与重复运行一致性的比较研究

《Bioengineering》：Evaluating Frontier Large Language Models for AI-Assisted Differential Diagnosis in Gastroenterology: A Comparative Study of Diagnostic Performance and Repeated-Run Consistency

　　

背景：大语言模型（Large Language Models, LLMs）已显示出在临床决策支持方面的潜力。然而，新发布的前沿模型（包括GPT-5和Gemini 2.5 Pro）在胃肠病学中的诊断性能仍未得到充分评估。本研究评估了四个前沿LLMs——DeepSeek-V3.1、GPT-5、GPT-4.1和Gemini 2.5 Pro——在具有挑战性的胃肠病学病例中的诊断性能和重复运行一致性。

方法：这项横断面比较研究（cross-sectional comparative study）使用从PubMed检索到的50例具有挑战性的胃肠病学病例，评估了四个LLMs（DeepSeek-V3.1、GPT-5、GPT-4.1和Gemini 2.5 Pro）。选择2025年2月之后发表的病例，以最大限度地降低训练数据污染和先前模型暴露的潜在风险。每个病例被构造成一个标准化提示（standardized prompt），包含临床病史、检查结果、实验室结果和影像学数据。每个病例进行了三次独立运行。第一次运行的输出用于评估等级主要诊断评分（ordinal primary diagnostic score）和鉴别诊断质量，而所有三次运行用于评估重复运行一致性。输出被匿名化，并由一名对模型身份设盲的胃肠病学家进行评分。

结果：Gemini 2.5 Pro获得的等级主要诊断评分显著高于其他三个模型（所有经Holm校正的配对p < 0.01）。精确匹配率分别为：Gemini 2.5 Pro 46%，GPT-5 22%，GPT-4.1和DeepSeek-V3.1各18%。所有四个模型的鉴别诊断质量评分中位数均为4；Friedman检验未检测到模型间有统计学显著差异（p = 0.725）。三个模型的主要诊断在三次运行中完全一致的比例为68%–78%，具体取决于模型。未检测到模型间重复运行一致性评分的统计学显著差异。

结论：在这个研究者选择的包含50例已发表胃肠病学病例的基准中，Gemini 2.5 Pro获得的等级主要诊断评分高于其他三个模型。未检测到鉴别诊断质量或重复运行一致性的统计学显著差异。这些非显著结果并不确立等效性。在得出临床有效性结论之前，需要进行临床环境中的前瞻性评估。

论文解读：前沿大语言模型在胃肠病学辅助鉴别诊断中的比较评估

一、研究背景与问题
大语言模型（Large Language Models, LLMs）正被研究用于诊断辅助、医学教育和临床决策支持，但这些应用与常规临床实施应有所区分，后者需要在既定临床环境中验证有效性与安全性。胃肠病学领域疾病表现复杂多样，鉴别诊断范围广泛，对医生的临床推理能力要求极高。因此，开发能快速整合多源信息并提供准确鉴别诊断的智能工具，对提高诊疗效率与准确性具有重要意义。既往研究虽初步验证了LLMs在医学诊断中的可行性，但多使用较旧模型版本，缺乏在相同标准下对多个模型的直接比较。随着GPT-5、Gemini 2.5 Pro和DeepSeek-V3.1等新一代模型的发布，它们在复杂专科领域的性能仍属未知。特别是，这些模型在主诊断准确性、鉴别诊断全面性和重复运行一致性三个关键维度上的差异，尚缺乏系统评估。因此，研究人员开展本研究，旨在使用共同的病例集、提示词和评估标准，直接比较四个当代前沿LLMs在挑战性胃肠病学病例中的诊断表现。

二、研究概述与意义
研究人员于2025年10月进行了一项横断面比较研究，从PubMed选取了2025年2月后发表的50例疑难胃肠病学病例，构建诊断挑战基准。四个模型（DeepSeek-V3.1、GPT-5、GPT-4.1、Gemini 2.5 Pro）接受标准化提示词，每个病例运行三次。主要比较结局为等级主要诊断评分（0–2分），附加结局为鉴别诊断质量（1–5分）和重复运行一致性（0–2分），精确匹配率作为描述性指标。结果显示，Gemini 2.5 Pro的等级主要诊断评分显著高于其他三个模型，但未检测到鉴别诊断质量和重复运行一致性的显著差异。这项研究为前沿LLMs在胃肠病学辅助决策中的当前能力与局限提供了直接比较证据，并提示在临床转化前需要进行前瞻性评估。

三、关键方法
样本来源为PubMed中2025年2月后发表的50例胃肠病学病例报告，筛选由两名胃肠病学住院医师完成。关键方法包括：①标准化临床摘要模板，涵盖主诉、现病史、既往史、体格检查、实验室、影像/内镜及初始治疗反应；②标准化提示词，要求模型扮演消化内科主治医师，列出鉴别诊断及理由，并将最可能诊断置于首位；③每个模型-病例组合独立运行三次，首次运行用于性能评估，三次运行用于一致性评估；④输出匿名化并采用固定模型-标签映射，由一名对模型身份设盲的胃肠病学主治医师评分；⑤统计方法包括Friedman检验、配对Wilcoxon符号秩检验、Holm校正及Wilson 95%置信区间。

四、研究结果
3.1 等级主要诊断评分
通过Friedman检验和配对Wilcoxon符号秩检验分析50例首次运行评分，发现四个模型间存在显著差异（χ²(3)=23.45，p<0.001；Kendall's W=0.156）。Gemini 2.5 Pro的评分显著高于GPT-5（Holm校正p=0.0063）、GPT-4.1（Holm校正p=0.0063）和DeepSeek-V3.1（Holm校正p=0.0011）；其余三模型间差异无统计学意义。首次运行精确匹配率：Gemini 2.5 Pro为46%（23/50），GPT-5为22%（11/50），GPT-4.1和DeepSeek-V3.1各为18%（9/50）。
3.2 鉴别诊断质量
基于单一设盲评估者给出的鉴别诊断质量评分，Friedman检验未检测到四模型间显著差异（χ²(3)=1.32，p=0.725；Kendall's W=0.009）。四个模型的中位数均为4。GPT-5和Gemini 2.5 Pro获得5分（全面且逻辑清晰的鉴别诊断）的比例最高，各为34%；GPT-4.1获得4分（合理的鉴别诊断，覆盖主要可能性）的比例最高，为46%；DeepSeek-V3.1和Gemini 2.5 Pro分别有4%和8%的病例获得2分（不完整或含明显错误），而GPT-5和GPT-4.1没有此类评分。但这些比例差异属于描述性发现，未达到统计学显著水平。
3.3 重复运行一致性
通过比较每个模型-病例组合在三次运行中的主要诊断一致性，Friedman检验未检测到四模型间显著差异（χ²(3)=3.14，p=0.37）。所有模型的一致性评分中位数均为2.0。三次运行主要诊断完全一致的比例：GPT-5为70%，GPT-4.1为68%，DeepSeek-V3.1为74%，Gemini 2.5 Pro为78%。一致性评分为0（三次均不同）的比例：GPT-5、GPT-4.1和DeepSeek-V3.1各为4%，Gemini 2.5 Pro为0%。

五、讨论与结论
讨论部分指出，尽管Gemini 2.5 Pro的主要诊断评分显著更高，但最高的首次运行精确匹配率仍低于50%，提示较高的等级评分不能等同于足够准确的独立诊断。未检测到鉴别诊断质量的显著差异，但该结果不确立临床等效性；各模型在4分和5分比例上的差异仅为描述性，不能说明推理深度存在差别。重复运行一致性高并不表示诊断正确，模型可能稳定地生成同一错误诊断。LLMs存在幻觉和知识截止风险，例如可能引用过时指南；本研究选用2025年2月后发表的病例以减少训练数据污染，但无法完全排除先前暴露。研究采用静态文本病例摘要，未评估多模态输入、动态信息获取和医患互动，因此可能高估模型在真实动态咨询场景中的能力。既往研究显示，基于图像的多模态输入可能反而降低诊断准确性；还有研究报道了不同模型在不同任务中的表现排序，但由于模型版本、临床领域、提示词和评估方法不同，不能直接跨研究归因。研究局限性包括：研究者选择性病例、样本量小、单一评估者、标签映射固定、单一提示词、缺少临床医生对照和临床结局测量，且未记录精确访问日期和生成参数，限制重复性。结论翻译：在这个研究者选择的包含50例已发表胃肠病学病例的诊断挑战基准中，Gemini 2.5 Pro的等级主要诊断评分高于GPT-5、GPT-4.1和DeepSeek-V3.1。未检测到在鉴别诊断质量或三次运行主要诊断一致性方面的统计学显著差异；这些非显著发现不确立等效性。这些结果反映的是在选定已发表病例上的表现，而非前瞻性患者诊疗中的诊断准确性。需要采用代表性临床病例、多个独立评估者和直接临床医生比较的前瞻性评估，以评估临床实用性。