大语言模型在早期胃癌临床问题解答与多模态内镜图像识别中的表现评估

《BMC Gastroenterology》：Comparison of large language models in answering early gastric cancer clinical problems and recognizing multimodal endoscopic images

　　

摘要

背景

大语言模型（LLMs）显示出临床潜力。我们评估了包括 ChatGPT、DeepSeek、Gemini 和 Grok 在内的大语言模型在解决早期胃癌（EGC）临床问题及分析多模态内镜图像方面的表现。

方法

对于文本评估，我们基于指南制定了 40 个 EGC 临床问题和 50 个单选题（SCQs）。医师和患者根据准确性、相关性、完整性和理解力对由不同 LLMs 生成的回复进行评分，并评估其可读性。在图像评估中，我们收集了来自中国四家医院的共 482 张白光内镜（WLE）图像和 478 张窄带成像（NBI）图像，以探索不同 LLMs 在静态内镜图像中识别 EGC 的能力。

结果

ChatGPT-4o 在准确性（86 分，P?<?0.05）、相关性（88 分，P?<?0.05）和理解力（88 分，P?<?0.05）方面获得了最高分，而 Grok-3 则表现出优越的完整性（90 分，P?<?0.05）。DeepSeek-V3.2 实现了最高的单选题准确率（88%，P?=?0.268）。在病理类型识别方面，ChatGPT-5.2、Gemini-3.0 pro 和 Grok-4 在 WLE 图像中的敏感度分别为 65.08%、99.60% 和 81.75%，特异度分别为 47.92%、0% 和 29.17%；ChatGPT-5.2、Gemini-3.0 pro 和 Grok-4 在 WLE 图像中的敏感度分别为 57.54%、99.60% 和 92.86%，特异度分别为 60.42%、0% 和 2.08%。

结论

LLMs 在解决与 EGC 相关的临床问题方面显示出潜力，但它们识别静态多模态内镜中 EGC 的能力有限，且有效性不一致。