《Diagnostics》：Comparative Evaluation of Large Language Models in Responding to Common Misconceptions Regarding Periodontal Disease and Oral Hygiene
编辑推荐：
背景/目的： 随着大语言模型（Large Language Models, LLMs）日益被用于获取口腔健康信息，其在回应源自常见误区的患者导向牙周问题方面提供准确、全面答案的能力，对于患者教育愈发重要。本研究旨在评估当代LLMs在此类问题的准确性、全面性、可
背景/目的： 随着大语言模型（Large Language Models, LLMs）日益被用于获取口腔健康信息，其在回应源自常见误区的患者导向牙周问题方面提供准确、全面答案的能力，对于患者教育愈发重要。本研究旨在评估当代LLMs在此类问题的准确性、全面性、可读性及时间一致性方面的表现。方法： 在对现有文献进行全面回顾后，研究人员将源自常见报告的误区的结构化患者导向牙周问题，采用标准化提示语提交给七个不同的LLMs，并比较其性能。使用李克特量表（Likert scale）评估响应的准确性和全面性，同时使用简易迷惑指数（Simple Measure of Gobbledygook, SMOG）、弗莱施易读度（Flesch Reading Ease, FRE）评分和弗莱施-金凯德年级水平（Flesch–Kincaid Grade Level, FKGL）评估可读性。结果： 所评估的LLMs在整个基准测试中表现出统一的高性能，没有单个响应的准确性或全面性得分低于量表中间值（得分 < 3），证实了不存在临床不安全或误导性信息。尽管在准确性（p < 0.001, Kendall’s W = 0.197）和全面性（p < 0.001, Kendall’s W = 0.257）方面观察到统计显著的模型间差异，但基于排名的效应量较小，表明相对排名反映的是微小的数值变化而非临床上实质性的性能差距。关于可读性，所有模型的绝对指标均显示出超出非专业人士健康素养要求的较高结构和语言难度。各模型的平均FRE评分范围为39.5 ± 9.1至52.1 ± 12.0（表示“困难”至“较困难”的阅读易度），平均FKGL评分范围为9.1 ± 2.2至10.8 ± 1.3（需要9至11年级的教育水平），平均SMOG评分范围为11.8 ± 1.6至14.0 ± 2.2。在FRE（p < 0.001, partial ηp2 = 0.308, ηG2 = 0.178）、FKGL（p < 0.001, partial ηp2 = 0.162, ηG2 = 0.104）和SMOG（p < 0.001, partial ηp2 = 0.217, ηG2 = 0.140）方面，观察到具有大效应量的统计显著差异，其中DeepSeek V4和Gemini 3.1展现出相对更优的可读性特征。在时间一致性分析中，仅在SMOG（p = 0.004）中观察到变化分数的显著差异，而在准确性、全面性、FRE或FKGL方面未发生显著的时间变化。结论： 当代LLMs能为患者导向的牙周误区提供统一准确且临床安全的响应，分数始终集中在天花板水平。然而，绝对可读性指标表明，人工智能生成的输出持续超过标准公共卫生素养的理解水平，这对一般患者沟通构成了关键障碍，需要进行有针对性的优化。
论文解读：大语言模型对牙周病与口腔卫生常见误区的应答能力评估
1. 研究背景与问题
个体对疾病严重程度、自身风险感知以及干预措施有效性与安全性的信念，深刻影响着其健康决策与行为。近年来，健康相关错误信息与误区的广泛传播已成为重大公共卫生问题，因其可能误导公众并对人群健康产生不利影响。牙周病是全球最普遍的口腔疾病之一，围绕其病因、症状及治疗的误区在人群中广泛存在，这些误区常受限于健康素养、宗教信仰及社会文化观念。研究表明，相当比例的人群持有至少一种口腔治疗误区，例如认为无牙痛则无需就医，这类错误信念会负面影响口腔卫生习惯、预防性服务利用及治疗寻求行为。此外，患者依赖不准确的信息可能导致症状误报、延迟就医或提供不完整的病史，从而干扰临床诊断过程。
随着大型语言模型（Large Language Models, LLMs）在医疗健康领域的整合应用，它们正成为患者获取健康信息、进行症状评估及接受教育的新兴工具。然而，在牙科这一专业领域，尚无研究系统性地评估LLMs对源于常见误区的、结构化的患者导向牙周问题的应答准确性、时间一致性及全面性。因此，本研究的目的是基于牙周病专家的评估，探究这些系统作为患者教育工具，在识别和纠正牙周健康相关误区方面的潜力。研究提出的零假设（H0）为：不同LLMs在回答患者导向牙周问题时的准确性、时间一致性和全面性无显著差异。
2. 主要关键技术方法
本研究是一项于2026年5月至6月在土耳其宗古尔达克比伦特·埃杰维特大学牙周病学系开展的比较性内容分析。首先，研究人员通过实证文献检索，在PubMed、medRxiv、arXiv及Google Scholar数据库中，识别与牙周病和口腔卫生相关的常见误区，并据此开发了30个患者导向问题，这些问题分为三个主题域：牙周症状与风险因素、口腔卫生与日常习惯、治疗过程。随后，研究人员使用标准化提示语，将这些相同的问题提交给七个常用的LLMs：DeepSeek V4、Claude 4.6 Sonnet、GPT-5.5、Gemini 3.1 Flash、Grok 4.3、Microsoft Copilot及Monica AI。所有模型均通过其官方网页界面，在默认设置下进行访问，并在两个独立时间段（6月9-10日及6月16-17日）重复生成响应，以评估时间一致性。响应生成后，由两名经验丰富的牙周病专科医生，依据5点李克特量表（Likert scale）对响应的准确性和全面性进行盲法独立评估。可读性则通过弗莱施易读度（Flesch Reading Ease, FRE）、弗莱施-金凯德年级水平（Flesch–Kincaid Grade Level, FKGL）和简易迷惑指数（Simple Measure of Gobbledygook, SMOG）这三个客观指标进行评估。
3. 研究结果
3.1 评估者间一致性
在两个评估轮次共420份响应中，评估者在准确性上的精确一致性为71.4%，全面性上为70.2%；相差一分以内的一致性分别为96.9%和95.7%。加权Cohen's Kappa系数显示机会校正后的一致性有限（准确性为0.184，全面性为0.169），这主要是由于评分高度集中于量表高端，限制了分数变异。
3.2 准确性
不同LLMs之间的准确性得分存在统计学显著差异（p < 0.001, Kendall’s W = 0.197），但效应量小。所有模型的平均得分均接近上限（4.46-4.88）。事后比较显示，Monica AI的准确性显著低于Copilot、Grok 4.3和Claude 4.6 Sonnet；Grok 4.3和DeepSeek V4的准确性显著高于GPT-5.5。
3.3 全面性
不同LLMs之间的全面性得分也存在统计学显著差异（p < 0.001, Kendall’s W = 0.257），效应量同样较小。平均得分范围从4.41到4.90。Monica AI和GPT-5.5的全面性显著低于Copilot、Grok 4.3和DeepSeek V4。探索性分析发现，少数低分响应（得分≤3.5）主要集中在Monica AI和GPT-5.5上，涉及如“牙龈疾病能否不治而愈”等问题。
3.4 基于类别的分析
在“症状与风险因素”和“口腔卫生与日常习惯”类别中，仅全面性存在显著组间差异，但事后配对比较未达统计学显著性。在“治疗过程”类别中，准确性和全面性均存在显著差异，但事后配对比较同样未达到调整后的显著性阈值。
3.5 弗莱施易读度（FRE）
不同LLMs的FRE得分存在显著差异（p < 0.001, partial ηp2 = 0.308），效应量大。DeepSeek V4（52.1±12.0）和Gemini 3.1（51.4±11.5）的FRE得分最高，即可读性最好。Copilot和Grok 4.3的FRE得分显著低于多个其他模型。
3.6 弗莱施-金凯德年级水平（FKGL）
不同LLMs的FKGL得分存在显著差异（p < 0.001, partial ηp2 = 0.162），效应量大。DeepSeek V4（9.1±2.2）和GPT-5.5（9.2±1.4）的年级水平最低，即所需阅读能力较低。Grok 4.3的年级水平最高（10.8±1.3）。
3.7 简易迷惑指数（SMOG）
不同LLMs的SMOG得分存在显著差异（p < 0.001, partial ηp2 = 0.217），效应量大。DeepSeek V4的SMOG得分最低（11.8±1.6），即文本复杂度最低。Claude 4.6 Sonnet的SMOG得分最高（14.0±2.2）。
3.8 响应长度与相关性分析
响应长度在不同模型间差异很大（平均词数从186到431）。对于GPT-5.5、Claude 4.6 Sonnet和DeepSeek V4，词数与全面性呈显著正相关。对于某些模型，词数与可读性指标也存在显著相关性。
3.9 时间一致性
在准确性、全面性、FRE和FKGL的变化分数上，不同LLMs之间无显著差异，表明短期性能稳定。仅在SMOG指标上观察到显著的时间变化差异。在单个模型层面，仅Gemini 3.1的全面性在两次评估间有显著提升。
4. 讨论与结论
讨论总结： 本研究结果表明，当代LLMs在回答源于常见误区的患者导向牙周问题时，整体表现出高水平的准确性和全面性。虽然模型间存在统计学差异，但效应量小，且所有响应均未出现临床不安全或误导性信息，这表明模型间的差异更多是相对性能的细微差别，而非本质上的优劣。Grok 4.3、Copilot和DeepSeek V4在准确性和全面性上表现更佳，而DeepSeek V4和Gemini 3.1在可读性上更具优势。然而，一个关键的发现是，所有模型生成的文本在绝对可读性指标上均超出了普通公众的健康素养水平，需要高中及以上学历才能理解，这构成了患者有效沟通的重大障碍。研究强调，需要在保持科学准确性的前提下，优化LLM输出的可读性。此外，研究也指出了LLM可能存在的“谄媚”（sycophancy）倾向，即迎合用户的错误假设，这需要警惕。尽管LLMs在患者教育和信息支持方面展现出巨大潜力，但它们不能替代专业的临床检查和判断。
研究结论翻译： 本研究表明，大语言模型在回答常见的患者导向牙周病及口腔卫生实践问题方面，具有提供准确、全面信息的巨大潜力。在所评估的模型中，Grok 4.3、Copilot和DeepSeek V4在准确性和全面性方面表现出优越的性能，而DeepSeek V4和Gemini 3.1则产生了更具可读性的内容。然而，没有任何一个被评估的系统能够持续达到适合普通患者健康沟通的阅读水平，也没有任何一个单一模型能在所有评估标准上始终优于其他模型。此外，在不牺牲科学准确性和全面性的前提下，需要改进以提高大语言模型生成响应对于医疗保健用户的可读性。总体而言，尽管大语言模型在支持患者教育和参与方面前景广阔，但准确的诊断和适当的牙周疾病治疗方案规划仍然依赖于临床检查和专业评估。
