人工智能聊天机器人在儿童牙髓治疗问题中回答准确性与可重复性评估

《BMC Oral Health》：Accuracy and reproducibility of AI chatbots in answering guideline-based questions on pulp therapy in primary and immature permanent teeth

　　

摘要

背景

人工智能在牙医学教育和临床信息检索中的集成应用日益增加，但人们对人工智能生成回答的准确性和可重复性仍存顾虑。本研究旨在评估人工智能聊天机器人在回答乳牙和年轻恒牙牙髓治疗指南相关问题时的回答准确性和可重复性。

方法

共设计了20道关于乳牙和年轻恒牙牙髓治疗的文本临床问题，采用选择题和二分题型两种格式。对七个人工智能聊天机器人（ChatGPT 4o、ChatGPT 4.1、DeepSeek R1、Gemini 2.5 Flash、Copilot、Claude 4 Sonnet和Perplexity AI）在连续三天内进行测试。回答准确性采用偏倚校正的logistic广义估计方程进行分析，以临床问题作为聚类变量。可重复性采用完全一致率、Fleiss' kappa、Cochran's Q检验以及Holm校正的确切McNemar检验进行评估。

结果

所评估的人工智能聊天机器人之间回答准确性无具有统计学意义的总体差异（p?=?0.190）。测试日期对回答准确性有显著影响（p?=?0.016），第1天、第2天和第3天的准确率分别为77.9%、85.0%和83.6%。按问题类型（p?=?0.057）或临床问题类别（p?=?0.429）划分均未观察到具有统计学意义的总体差异。所评估的人工智能聊天机器人之间可重复性存在显著差异（p?=?0.041），完全一致率范围为45.0%至85.0%，Fleiss' κ为?0.025至0.567；但在Holm校正后，无成对比较保持统计学显著性。

结论

所评估的人工智能聊天机器人在标准化儿童牙髓治疗场景中表现出较高的回答准确性，且各聊天机器人之间无显著的总体差异。然而，回答准确性在不同测试日期之间存在波动，且各聊天机器人的可重复性存在差异，这表明相似的总体回答准确性可能并不代表随时间推移性能的一致表现。在人工智能聊天机器人被用于更广泛的临床实践之前，仍需要进一步的验证。