AI聊天机器人牙科问答能力的多维评估：四种大语言模型在临床准确性、可读性与适用性上的比较研究

《Diagnostics》：Quality, Readability, Understandability, and Actionability of AI Chatbots’ Responses to Dental Patient Questions: A Comparative Evaluation

　　摘要背景/目的：人工智能（AI）聊天机器人越来越多地被用于获取口腔健康信息，但既往牙科研究已对准确性、质量、可读性、可理解性和可操作性等重叠领域进行了评估。本研究应用并扩展了一种多维评估方法，对AI生成的牙科患者问题答案进行比较，重点考察土耳其语可读性、标准PEMAT-P适用性、效应量与不确定性报告以及评分者间信度。方法：将33个由AI辅助、专家精选的问题分别提交至ChatGPT 5.2、Gemini、DeepSeek V3和Grok 3，共获得132份回复。三名牙科评估者独立评估了临床准确性、全局质量评分（GQS）、可理解性（PEMAT-U）和可操作性（PEMAT-A）。PEMAT-P评分采用标准项目结构和项目特定适用性规则计算，被编码为不适用（N/A）的项目从分母中排除。可读性通过Ate?man公式的确定性、基于规则的实现方式计算。模型间比较采用Friedman检验、Bonferroni校正的Wilcoxon符号秩检验、效应量、bootstrap置信区间以及双向随机效应组内相关系数。探索性Pareto分析在不对任意权重进行设定限制的情况下评估多维优势。结果：所有五个维度均观察到显著的模型差异（均 p ≤ 0.002）。Gemini的平均GQS、临床准确性、PEMAT-U和PEMAT-A评分最高，但其Ate?man可读性评分显著低于ChatGPT、DeepSeek和Grok。后三者之间未发现显著的可读性差异。GQS和临床准确性的平均测量信度较差，PEMAT-U和PEMAT-A的信度为中等水平。没有任何一种模型在所有五个维度上均优于其他模型。结论：这些聊天机器人展现出各自特有的优势，而非全面占优。其表现应结合效应大小、不确定性及评分者间信度进行多维解读，而非仅依据单一总体排名进行评判。