《The Saudi Dental Journal》：Performance of large language models in providing patient- oriented information on gingival recession: a comparative study
编辑推荐：
摘要专业翻译
患者越来越多地转向大型语言模型（LLMs）获取健康信息，但面向患者的信息质量仍不确定。本文评估了三大主流LLMs在回答与牙龈退缩相关的临床常见患者问题时的表现。研究开展了一项描述性比较研究，采用20个标准化的以患者为中心的问题，每个问题分别提交给
摘要专业翻译
患者越来越多地转向大型语言模型（LLMs）获取健康信息，但面向患者的信息质量仍不确定。本文评估了三大主流LLMs在回答与牙龈退缩相关的临床常见患者问题时的表现。研究开展了一项描述性比较研究，采用20个标准化的以患者为中心的问题，每个问题分别提交给ChatGPT 5.5、Gemini 3.5和Claude Sonnet 5各一次，共生成60条回复。5名经美国牙周病学委员会认证的牙周病专家使用经过验证的信息准确性指数（AOI Index）、完整性量表及专家偏好排名对回复进行独立评估，同时记录词数与回复生成时间。统计分析采用非参数检验和广义估计方程（GEE），显著性水平设为p≤0.05。三个LLMs在准确性（p=0.993）和完整性（p=0.972）方面均无显著差异。ChatGPT的回复生成速度显著更快（中位数：5.82秒），且词数更少（中位数：232词），而Gemini（8.46秒；438词）和Claude（14.61秒；333.5词）则较慢且较长（两者均p<0.001）。专家偏好排名存在显著差异（p=0.002）：Gemini和Claude在38%的评估中各自位列第一，而ChatGPT仅为24%。对于所有三个模型，术后护理领域的准确性最高。三个LLMs在回答关于牙龈退缩的患者导向问题时，准确性和完整性总体相当。ChatGPT更快且更简洁，而Gemini和Claude则更常获得专家评估者的青睐。这些LLMs可作为患者教育的辅助工具，但应补充而非替代专业的牙周咨询。
论文解读文章
一、研究背景与问题提出
随着人工智能技术的快速发展，大型语言模型（LLMs）在医疗健康信息获取领域的应用日益广泛。与传统搜索引擎要求用户自行筛选不同来源的信息不同，LLMs能够以自然语言直接生成答案，这一特性使其在寻求快速医疗和牙科信息的患者中越来越受欢迎。在牙科领域，LLMs的应用已扩展至牙髓病学、正畸学、口腔颌面外科、修复学和牙周病学等多个亚专科。尽管LLMs在患者教育方面展现出巨大潜力，但其回复的准确性、完整性、一致性和可靠性仍令人担忧，尤其是当患者可能利用这些信息指导临床决策时。
牙龈退缩（GR）是一种常见的临床状况，其特征为牙龈边缘向釉牙骨质界根方移位，导致牙根表面暴露。GR可增加牙本质敏感、根面龋、颈部磨损、菌斑滞留及美学问题，并影响口腔健康相关生活质量。在就诊牙周专科之前，患者常会寻求关于病因、进展、治疗选择、预期结果、术后护理及长期预后等信息。随着AI聊天机器人成为这些信息的又一来源，其回复质量对患者理解和治疗预期具有重要意义。
既往研究虽已对LLMs在牙科领域的表现进行了评估，但针对牙龈退缩这一特定主题、综合考量准确性、完整性、专家偏好、回复生成时间、回复长度及特定临床领域表现等多个维度的全面比较研究仍较为缺乏。此前有研究提示，ChatGPT在回答牙龈退缩相关问题时，其准确性显著低于其他牙周疾病相关问题。因此，本研究旨在比较ChatGPT、Gemini和Claude在回答关于牙龈退缩的标准化患者中心问题时的准确性、完整性、回复生成时间、回复长度、专家偏好及领域特异性表现。
二、研究设计与方法概述
研究人员采用描述性比较研究设计，评估三个AI模型（ChatGPT 5.5、Gemini 3.5和Claude Sonnet 5）对20个标准化患者导向问题的回复。问题基于美国牙周病学会（AAP）患者教育材料及2018年世界研讨会关于黏膜龈条件的共识制定，并经过两名委员会认证牙周病专家审阅修改，最终分为五个临床领域：评估与诊断（Q1-Q4）、疗效与结果（Q5-Q8）、并发症与管理（Q9-Q12）、术后护理（Q13-Q16）以及注意事项与临床考虑（Q17-Q20）。每个问题分别独立提交至三个模型，共生成60条回复，数据收集于2026年5月完成。五名符合严格标准的委员会认证牙周病专家对回复进行盲法评估，使用AOI指数（评估事实准确性、证据佐证、一致性、清晰性与特异性、相关性五个维度，总分0-10分）和0-10视觉模拟量表完整性评分，并进行偏好排名。统计分析采用Kruskal-Wallis检验、Mann-Whitney U检验、卡方检验及广义估计方程（GEE），显著性水平设为p≤0.05。
三、研究结果
总体表现比较： 三个模型在准确性和完整性方面无显著差异。Gemini的中位准确性最高（8.40），其次为ChatGPT（8.30）和Claude（8.00）；ChatGPT的中位完整性最高（7.60），Gemini为7.30，Claude为7.20。三个模型的准确性中位数均高于8/10，完整性评分也相对较高。
回复时间与长度： 三个模型在回复生成时间和词数方面存在显著统计学差异。ChatGPT的生成时间最短（中位数5.82秒），Claude最长（14.61秒）；ChatGPT生成词数最少（中位数232词），Gemini最多（438词）。所有两两比较均达到统计学显著水平（p=0.001）。
专家偏好排名： 专家偏好排名存在显著差异（p=0.002）。Gemini和Claude在38%的评估中各自位列第一，而ChatGPT仅为24%。ChatGPT在49%的评估中位列第三，而Gemini和Claude分别为24%和27%。加权排名评分显示，ChatGPT的排名评分与Gemini和Claude均存在显著差异，而Gemini与Claude之间无显著差异（p=0.81）。
领域特异性表现： 三个模型在“术后护理”领域的准确性均最高。ChatGPT（7.3）和Gemini（7.7）的最低准确性出现在“评估与诊断”领域，而Claude的最低准确性出现在“疗效与结果”领域（7.3）。完整性方面，ChatGPT在“术后护理”领域得分最高（8.0）；Gemini除“评估与诊断”领域（7.1）外，其余领域均为7.5；Claude在“注意事项与临床考虑”领域得分最高（8.5）。
GEE分析： 单变量GEE分析显示，以ChatGPT为参照，Gemini和Claude对准确性的OR值均为1.08，对完整性的OR值分别为0.97和1.04，均接近1且无统计学显著意义，表明AI模型与准确性和完整性之间无有意义关联。在领域方面，仅“术后护理”领域与准确性显著相关，OR值高达4.04。
四、讨论与结论
本研究的核心发现是三个LLMs在准确性和完整性方面无显著差异，中位准确性均高于8/10，表明这些模型在回答关于牙龈退缩的常见患者问题时具有较高的专家评定准确性。然而，专家偏好排名与客观准确性评分并不一致，Gemini和Claude更常获得专家青睐，这可能是因为专家偏好还受到回复的组织结构、可读性、流畅性以及技术细节与患者友好语言之间平衡等因素的影响。
回复生成时间和长度的显著差异可能反映模型架构、推理策略和优化方式的差异，而非临床知识水平的差异。值得注意的是，更短的回复不一定价值更低，更长的回复也不一定信息量更大，关键在于能否以患者可理解的方式提供充分信息。
领域特异性结果显示，所有模型在术后护理领域表现最佳，这可能与该类信息的标准化性质有关。相比之下，评估与诊断需要综合考虑退缩分类、牙周表型、美学需求、吸烟状况和全身健康等个体因素，这些因素难以在缺乏临床检查和患者特异性信息的情况下由LLM准确评估。
从临床角度看，这些发现具有重要意义。患者越来越多地在就诊前后使用AI聊天机器人获取疾病进展、手术过程和术后护理等信息，清晰准确的回复可能改善患者理解并强化医嘱。然而，未经专业解读地使用AI可能导致不切实际的期望或不恰当的自诊断。因此，AI生成的信息应被视为教育辅助工具，而非临床检查或专业判断的替代品。
研究结论： 三个LLMs在回答关于牙龈退缩的患者导向问题时，准确性和完整性总体相当。ChatGPT回复更快且更简洁，而Gemini和Claude更常获得专家评估者的偏好。这些LLMs可作为患者教育的辅助工具，但应补充而非替代专业的牙周咨询。
