《BMC Gastroenterology》：Large language models’ performance in answering common patient questions about colonoscopy: an expert-based evaluation
编辑推荐：
摘要专业翻译
背景：本研究旨在比较两种大语言模型（large language models, LLMs）——ChatGPT-4与Google Bard——在提供结肠镜检查相关医学信息方面的表现。研究同时旨在评估上述模型对常见患者及照护者问题的回答在准确性、适
摘要专业翻译
背景：本研究旨在比较两种大语言模型（large language models, LLMs）——ChatGPT-4与Google Bard——在提供结肠镜检查相关医学信息方面的表现。研究同时旨在评估上述模型对常见患者及照护者问题的回答在准确性、适用性、全面性及沟通质量方面的表现，由专家采用基于量规（rubric）的方法进行评估。
方法：本项比较性、基于专家的观察性研究分析了两种模型对11个以土耳其语撰写的结肠镜检查相关问题的回答，模拟真实患者咨询情境。为确保一致性与公平性，研究人员采用标准化的零样本（zero-shot）方法，在无预先示例或上下文的情况下于独立会话中提问。研究人员通过滚雪球抽样法（snowball sampling）招募来自土耳其各机构的胃肠病学专家，并采用基于量规的评分量表从四个维度评估回答。数据在线收集。
结果：共40名胃肠病学专家参与研究（平均年龄39.1±6.4岁）。对于ChatGPT-4，超过70%的回答在所有维度上获得≥4分评分，总体指数得分中位数范围为4.1至4.7。相比之下，Google Bard表现较低，中位数得分范围为3.6至4.0，高评分（≥4）比例较低，尤其在全面性（55.7%）和适用性（58.4%）方面。比较分析显示，ChatGPT-4在所有维度上均显著优于Google Bard：准确性（p=0.003，效应量=0.47）、适用性（p<0.001，效应量=0.64）、全面性（p=0.004，效应量=0.46）及沟通（p=0.001，效应量=0.52）。基于学术职称、既往ChatGPT使用经历或年龄划分的评估者亚组之间未观察到显著差异（所有p值>0.05）。
结论：ChatGPT-4在所有维度上均优于Google Bard，提供了更准确、更全面且更以患者为中心的回答。尽管有上述发现，人工监督对于确保临床沟通中的安全性与可靠性仍然不可或缺。同时应注意，不同版本的LLMs可能产生不同结果。
论文解读
一、研究背景与意义
结肠镜检查仍然是结直肠疾病（包括作为全球癌症相关死亡第二大原因的结直肠癌）诊断、预防和随访的金标准。然而，从肠道准备到恢复阶段的整个患者体验常因显著的焦虑和信息缺乏而变得复杂。患者对肠道准备指南的理解不足，常常导致依从性差，进而造成检查不完整率升高和诊断延误。近年来，大语言模型（large language models, LLMs）如OpenAI的ChatGPT和Google的Gemini（前身为Bard）因其以前所未有的能力生成接近人类的自然语言文本而得到广泛采用。尽管LLMs能够提供易于获取的、对话式的医学解释，但其在健康相关信息传递中的使用引发了关于准确性、完整性和整体安全性的持续关注。因此，在结肠镜检查等特定医学情境中评估这些模型，对于确定其可靠性和作为教育辅助工具的潜在作用至关重要。
既往研究已在胃肠病学领域对LLMs进行了初步探索。Lee等报告ChatGPT对常见结肠镜检查问题的回答准确且易于理解，常可与知名医院网站相媲美。Laoveeravat等和Mukherjee等的研究表明，基于LLM的系统能够提供符合指南的结肠镜检查监测间隔建议，但有时缺乏细致性和个性化。Gong等和Berry等则强调，在将LLMs纳入临床沟通工作流程之前，需要建立结构化评估框架和专家验证。此外，Yang等在Nature子刊发表的研究显示，先进的LLMs在复杂胃肠道症状诊断推理方面优于临床医生，提示这些模型可以有效补充但不能替代人类专业知识。
鉴于上述背景，本研究旨在评估两种广泛可用的LLMs——ChatGPT-4（Plus版本）和Google Bard（免费版本，后更名为Gemini）——在回答结肠镜检查常见患者问题方面的表现，通过基于专家的量规评估，为当前AI模型在胃肠病学领域满足真实世界患者信息需求的有效性提供循证理解。
二、研究设计与关键方法
研究人员开展了一项比较性、基于专家的观察性研究。两名具有至少5年经验的胃肠病学专家独立列出了临床实践中遇到的最常见患者咨询，最终达成共识确定11个核心问题，涵盖肠道准备、操作不适、风险和恢复等关注点。所有问题均以土耳其语提交，模拟患者自然表达方式，采用标准化零样本方法，每个问题在独立会话中仅提问一次，无预先示例或上下文，确保回答反映模型的基线推理能力而非从先前提示中学习。
评估方面，研究人员通过滚雪球抽样法从土耳其各机构招募了40名胃肠病学专家（平均年龄39.1±6.4岁），采用基于量规的评分系统，从准确性（accuracy）、适用性（applicability）、全面性（comprehensiveness）和沟通质量（communication quality）四个维度对模型回答进行1至5分的独立评分。评估者对回答来源不知情，回答已匿名化处理。每个维度的总体指数得分通过对专家在全部11个问题上的评分进行平均计算。统计检验采用Wilcoxon符号秩检验进行配对比较，效应量以r=∣Z∣/N计算。数据通过Google Forms在线收集。
三、研究结果
专家特征：共40名专家参与研究，平均年龄39.1±6.4岁（范围29至54岁），男性25人（62.5%），女性15人（37.5%）。平均专业经验11.5±6.1年。学术职称方面，副教授或教授13人（32.5%），专科医生27人（67.5%）。47.5%的专家曾使用过ChatGPT，15.0%曾使用过Google Bard。
LLMs回答评估：对于ChatGPT-4，专家在所有四个评估维度中超过70%的回答评为≥4分（高度满意）。高评分比例最高的是准确性（80.2%），其次为适用性（75.0%）、全面性（74.5%）和沟通（72.9%）。总体平均得分分别为4.3±0.8、4.2±0.9、4.1±0.9和4.1±0.8，总体指数得分中位数范围为4.1至4.7。相比之下，Google Bard在所有维度上的评分均较低，高评分比例最高为准确性（69.1%），其次为沟通（60.5%）、适用性（58.4%）和全面性（55.7%），平均维度得分介于3.6±1.0至4.0±0.7之间。
亚组比较：基于学术职称、既往LLM使用经历或年龄划分的评估者亚组之间，量规评分未观察到统计学显著差异，总体指数得分中位数在各分层中保持稳定，表明评估者的背景特征不影响评分趋势。
模型间比较：基于专家评估的ChatGPT与Google Bard总体指数得分中位数比较显示，ChatGPT在全部四个评估维度上均获得显著更高得分：准确性（p=0.003，效应量=0.47）、适用性（p<0.001，效应量=0.64）、全面性（p=0.004，效应量=0.46）和沟通（p=0.001，效应量=0.52）。
四、讨论与结论总结
讨论部分指出，本研究发现LLMs能够针对结肠镜检查的常见患者问题提供准确、可理解且具有临床相关性的信息。准确性在所有评估维度中持续获得最高分，表明两种模型的输出在事实上正确且情境适当。然而，模型间存在显著差异：Google Bard的回答连贯且语法正确，但往往不够详细、临床特异性较低，偶尔遗漏关键信息如风险细节或禁忌症。ChatGPT不仅提供准确回答，还提供了更适用、更全面且沟通更好的信息。
研究人员强调，这些发现应结合研究中所用的模型配置进行解读：ChatGPT-4通过订阅制（Plus）版本访问，而Google Bard为数据收集时的免费模型，访问级别和模型版本的差异可能对回答细节和临床特异性产生贡献。研究在土耳其语中进行，模型性能差异可能部分反映语言熟练程度的差异，因为LLMs通常在更广泛的英语数据集上训练。
研究优势方面，40名来自多机构的胃肠病学专家组成的大型专家小组确保了多样化的临床视角并减少了个体偏差；结构化量规评估系统实现了客观、可重复、领域特定的多维评估；零样本提示方法最小化了情境偏差风险；在非英语语言中评估LLM性能补充了现有文献的不足。
研究局限性包括：滚雪球抽样可能引入选择偏差；量规未经正式心理测量学验证；未计算评分者间信度指标；土耳其语问题限制了向其他语言和文化背景的推广性；付费模型与免费模型的比较可能固有地存在性能差异；LLM输出本质上是非确定性的，每个问题仅在单一时间点提问一次；未进行多重比较校正；研究仅聚焦于结肠镜检查相关问题。
结论部分指出，本研究的发现强调LLMs可以作为改善患者对结肠镜检查准备、风险和恢复理解的宝贵教育工具。然而，在将信息整合到临床工作流程或面向公众的教育材料之前，人工监督对于验证信息的准确性和完整性至关重要。特别是，订阅版本的ChatGPT-4在准确性、适用性和全面性等多个维度上表现出优越性能，但这一差异应谨慎解读，因为模型访问和版本的差异可能对观察到的性能差距有所贡献。未来研究应评估其他操作情境中的模型性能，扩大语言和文化覆盖范围，并调查AI生成内容对患者焦虑、依从性和知情同意的影响。涉及临床医生、AI开发者和健康传播专家的协作框架对于确保LLMs在胃肠病学实践中安全、道德和公平地实施至关重要。
