四种大语言模型驱动聊天机器人对牙种植相关患者问题的应答质量、可靠性与可读性比较：ChatGPT-5、Gemini 3 Pro、DeepSeek V3.2与Microsoft Copilot研究

《Frontiers in Oral Health》：The use of different artificial intelligence-powered chatbots to answer questions related to dental implants

　　

背景：基于大语言模型（LLMs）的人工智能（AI）驱动聊天机器人正日益被用作健康信息来源。在牙科领域，患者经常在线检索牙种植治疗相关信息；然而，AI生成回答的质量、可靠性及临床实用性仍不确定。本研究旨在比较常用AI聊天机器人在回答牙种植相关问题方面的表现。方法：研究人员利用在线问题生成平台识别99个公开可得的牙种植相关问题，并将其分为四个领域：生物学与外科方面、修复与材料科学、临床结局与并发症、以患者为中心与经济因素。每个问题分别独立提交至四种AI聊天机器人：ChatGPT-5、Gemini 3 Pro、DeepSeek V3.2和Microsoft Copilot。由两名经过校准的牙科专家使用全球质量量表（GQS）、CLEAR可靠性评估工具（CLEAR）、实用性评分以及包括Flesch–Kincaid年级水平（FKG）和Gobbledygook简易测量（SMOG）在内的可读性指数对回答进行评估。采用适当的参数和非参数检验进行统计分析，显著性水平为 p < 0.05。结果：根据CLEAR评分，所有被评估聊天机器人生成的回答均具有很好的可靠性。不同AI模型在可读性、质量、实用性和可靠性评分方面存在显著差异（p < 0.001）。DeepSeek表现出最高可靠性（CLEAR评分中位数=25），并且根据GQS具有最高比例的“优秀”质量回答。与其他模型相比，ChatGPT生成了显著更有用的回答。DeepSeek和Copilot生成的回答更易读，而根据FKG和SMOG评分，Gemini表现出最高阅读难度。回答表现未受问题类别显著影响。结论：AI驱动聊天机器人可提供关于牙种植的总体可靠信息，并可能作为患者教育的支持性来源。然而，不同AI模型在可读性、实用性和回答质量方面存在差异。AI生成信息应补充而非替代专业牙科咨询，并且有必要开展涉及患者和临床验证结局的进一步研究。

研究背景：人工智能（AI）和数字技术改变了患者获取医疗与牙科信息的方式。患者常在咨询专业人员前依赖互联网和数字健康资源获取疾病、治疗选择和医疗服务信息。传统搜索引擎和健康网站虽信息丰富，但用户需审阅多个来源、判断可信度并解释复杂医学内容，耗时且具挑战。大语言模型（LLMs）通过自然语言处理和大型文本数据训练生成类人回答，可提供情境相关、对话式答案。ChatGPT和Gemini等聊天机器人已在医疗沟通中显示潜力，可改善患者参与、健康素养和医疗信息可及性。牙种植治疗是替代缺失牙的循证治疗，全球常用。尽管成功率较高，患者对治疗计划、手术与修复程序、可选方案、使用寿命、维护、费用及潜在并发症了解有限，常在线检索信息。患者教育对知情同意、降低治疗焦虑、提高术后依从性和改善临床结局重要；传统面对面咨询、印刷材料和多媒体资源受时间、可及性及信息质量一致性限制。AI聊天机器人可即时、个性化、交互式回答患者问题，可能补充传统患者教育。然而，LLMs生成的准确性、可靠性、完整性和临床适用性仍受关注；既往牙科研究显示其可提供有用易懂信息，但也存在不准确、不完整和可操作指导有限。牙种植因复杂性和治疗选择广泛而成为常见在线信息主题，因此评估AI生成回答质量与可靠性对判断其能否安全支持患者教育并补充专业咨询很重要。作者认为少有多款AI聊天机器人在牙种植患者问题上的全面比较，故开展本研究，评估常用AI聊天机器人回答公开牙种植问题的质量、可靠性及临床适用性，覆盖牙种植治疗关键领域。

基于此，研究人员比较ChatGPT-5、Gemini 3 Pro、DeepSeek V3.2和Microsoft Copilot对99个公开牙种植问题的回答，采用多工具评估质量、可靠性、可读性和实用性。结果显示所有模型CLEAR可靠性均很好，但模型间存在显著差异：DeepSeek可靠性和GQS优秀比例最高，ChatGPT实用性更好，DeepSeek和Copilot更易读，Gemini阅读难度最高；问题类别对表现影响不显著。该研究提示AI聊天机器人可作为牙种植患者教育的支持性来源，但需注意模型间可读性和可用性差异，不能替代专业咨询。

关键技术方法：经Also Asked、Answer the Public和Google People Also Ask获取公开问题，初筛176个，去重并由两名评审者独立筛选、第三资深评审裁定，纳入99个并分四类；样本为公开在线问题，无患者队列。每问题独立提交至ChatGPT-5、Gemini 3 Pro、DeepSeek V3.2和Microsoft Copilot（免费版、无痕窗口、新会话）。两名校准后固定修复专科医师盲法用GQS（全球质量量表）、CLEAR（可靠性评估工具）、4点实用性Likert、FKG（Flesch–Kincaid年级水平）和SMOG（Gobbledygook简易测量）评估；校准用40个排除问答对，计算Kappa和ICC（组内相关系数）。SPSS行混合设计ANOVA（方差分析）、Bonferroni、Friedman、Wilcoxon、Kruskal-Wallis、Mann-Whitney及Pearson/Spearman相关，Benjamini-Hochberg控制FDR（错误发现率）为5%。

研究结果：
Search output（检索输出）：通过描述性统计对99个问题分类，结果为生物学与外科方面16个（16.2%）、修复与材料科学22个（22.2%）、临床结局与并发症26个（26.3%）、以患者为中心与经济因素35个（35.4%）。
Readability of AI chatbot generated responses（AI聊天机器人生成回答的可读性）：通过FKG和SMOG及混合设计ANOVA评估，DeepSeek的FKG均值最低（8.67±1.06），其次为Copilot（9.02±1.36）、ChatGPT（9.42±2.23）、Gemini（11.07±1.87）；SMOG以Copilot最低（11.11±1.02），其次为DeepSeek（11.39±0.85）、ChatGPT（11.64±1.76）、Gemini（13.18±1.44），各问题类别趋势相似。SMOG显示多数回答为中等难度，Gemini有71.1%回答为难读。AI聊天机器人对FKG和SMOG均存在显著主效应（F(2.531)=60.695，p < 0.001，η²=0.390；F(2.500)=68.979，p < 0.001，η²=0.421），Gemini高于其他模型，ChatGPT高于DeepSeek/Copilot；问题类别及交互效应不显著。
Usefulness of AI chatbot generated responses（AI聊天机器人生成回答的实用性）：通过4点实用性Likert及非参数检验评估，多数回答为“有用”或“部分有用”，但DeepSeek多为“部分有用”或“无用”。ChatGPT实用性评分显著更低（更有用），DeepSeek较Gemini和Copilot更不有用；AI类型总体显著（p < 0.001，Kendall's W=0.310），问题类别间无显著差异（χ²(3)=1.320，p=0.724）。
Quality of AI chatbot generated responses（AI聊天机器人生成回答的质量）：通过GQS评估，所有问题合并及各问题类别中GQS中位数多为4，DeepSeek为5；多数回答为“良好”或“优秀”。AI间GQS差异显著（p < 0.001，Kendall's W=0.480），DeepSeek“优秀”比例更高；问题类别间无显著差异（χ²(3)=1.842，p=0.606）。
Reliability of AI chatbot generated responses（AI聊天机器人生成回答的可靠性）：通过CLEAR总分评估，总分范围19–25，中位数22.5–25，所有回答均为“很好”内容。AI间CLEAR差异显著（p < 0.001，Kendall's W=0.390），DeepSeek中位数=25最高；问题类别间差异显著（χ²(3)=9.318，p=0.025，η²=0.016），以患者为中心与经济因素高于修复与材料科学（p=0.004，r=0.146）及临床结局与并发症（p=0.043，r=0.067），但效应较小。
Correlations between variables（变量间相关性）：通过Pearson和Spearman相关分析，FKG与SMOG强正相关（p < 0.001，Pearson r≥0.898）；FKG和SMOG越高（越难读）与Gemini较低GQS、ChatGPT较低实用性评分（更有用）、Gemini和Copilot较低CLEAR相关（p < 0.050）。GQS、实用性和CLEAR之间呈正相关；因实用性量表倒置，正相关表示质量与可靠性评分升高时实用性数值也升高，即回答被评为更不有用。

讨论部分总结：AI用于患者教育的重要风险是AI幻觉，即不准确或捏造信息，可能导致不现实期望、焦虑和医患信任下降。CLEAR评估显示所有模型总体可靠，DeepSeek最高，且在“无虚假信息”域DeepSeek和Copilot中位数为5；但生成式LLMs缺乏一致证据可追溯性，CLEAR评分不能解释为个体患者诊疗的临床验证或安全性，且所有模型得分集中于“很好”类别会降低工具区分力，故应依赖多工具评估。GQS显示DeepSeek质量更高，而实用性分析显示ChatGPT更有用、DeepSeek虽更全面但用户友好性较低，提示信息深度不必然改善以患者为中心的沟通，存在全面性与可用性的权衡。可读性方面，所有模型均超过美国医学会（AMA）和美国国立卫生研究院（NIH）建议的6–8年级阅读水平；Gemini最难，DeepSeek和Copilot相对更易读，但可读性指标主要反映结构和句法复杂度，并非直接测量患者真实理解。问题类别对表现影响总体较小，患者中心问题可靠性略高。AI聊天机器人可作为牙种植患者补充信息来源，但不应替代专业判断；种植治疗计划需综合临床评估，AI应作为临床医生监督下的人机协同辅助教育工具。研究局限包括模型持续更新、仅评估英文回答、专家评估存在主观性、未纳入患者评估及未评估重复查询变异；未来需评估新模型、多语言表现、重复查询变异和患者中心结局，并开发基于验证种植牙文献的领域专用牙科AI系统。

研究结论（翻译）：AI驱动聊天机器人可提供关于牙种植的总体可靠和高质量信息，显示其作为补充患者教育工具的潜力。然而，AI模型之间存在显著差异；值得注意的是，生成最可靠内容的模型往往产生可读性较低和用户友好性较差的回答。鉴于这些可读性障碍和缺乏直接临床验证，AI生成信息必须补充而非替代专业牙科咨询。有必要开展涉及直接患者评估和临床验证结局的进一步研究。