三大主流大语言模型在肺癌患者信息提供中的准确性、完整性与可重复性比较研究

《BMC Pulmonary Medicine》：Assessing the reliability of AI-generated responses to patient-oriented lung cancer questions: a multi-platform study

　　

摘要

背景

大语言模型（LLMs）正被越来越多的寻求肺癌相关医疗信息的患者所使用。近年来的研究越来越多地比较了多个大语言模型在面向患者的医疗信息提供方面的表现；然而，在具有临床意义的能力维度上的差异以及重复回答之间的一致性，仍然是重要的评估领域。

方法

在2025年12月至2026年1月期间，针对三个免费可访问的大语言模型平台（ChatGPT、Claude和Google Gemini），共查询了79个与肺癌相关的患者问题。由两名专科胸外科医生独立评估回答的准确性、完整性、临床相关性和可读性，分歧通过共识解决。通过采用临床等效性框架进行五次独立重复查询来评估可重复性，并使用Flesch-Kincaid年级水平评估自动可读性。有序结局采用累积链接混合模型分析，考虑了对问题的重复评估；可重复性则采用广义估计方程进行分析。

结果

所有平台均表现出较高的准确性，且平台间总体差异无统计学意义（p = 0.150）。完整性在各平台间存在显著差异（p < 0.001），其中ChatGPT评分高于Claude和Gemini，Claude评分高于Gemini。临床相关性未见平台总体效应（p = 0.568），但观察到平台与领域间的交互作用（p = 0.046）。专家评定可读性存在显著差异（p < 0.001），其中Gemini评分高于ChatGPT和Claude。所有平台生成的内容需要约10至12年级的阅读水平。总体可重复性较高（88.6%–96.2%），平台间总体效应无统计学显著性（p = 0.072）。

结论

当代大语言模型表现出较高的准确性和临床相关性，但在完整性和可读性方面存在差异。各平台均可重复性较高，且所有模型的阅读水平均超过了建议的患者阅读水平。在常规临床应用之前，还需进一步开展基于患者的验证研究。

临床试验编号

不适用