编辑推荐：
为评估 AI 聊天机器人在口腔外科复杂患者临床决策中的作用，研究发现其有潜力但需改进，意义重大。
在口腔外科的世界里，医生们常常面临着棘手的挑战，尤其是在处理患有多种系统性疾病的复杂患者时。想象一下，一位患者既有心脏病，又在服用抗凝药物，此时进行口腔手术，医生必须小心翼翼，因为任何一个小失误都可能引发严重的并发症。传统上，医生需要花费大量时间查阅资料、咨询专家，才能制定出安全有效的治疗方案，这个过程不仅耗时费力，而且由于不同医生之间的沟通不畅，还可能导致诊断延误、治疗不当等问题。
随着人工智能（AI）技术的飞速发展，它逐渐渗透到医疗领域，给口腔外科带来了新的希望。其中，基于 AI 的聊天机器人（chatbots），也就是大型语言模型（LLMs），凭借其强大的自然语言处理（NLP）和机器学习（ML）能力，能够理解人类语言并不断学习优化回答，在医疗领域展现出巨大的潜力。然而，在口腔外科，尤其是在处理复杂患者时，聊天机器人能否真正成为医生的得力助手，提供可靠的信息和决策支持，还存在很大的疑问。
为了揭开这个谜团，来自土耳其哈米迪耶牙科医学院口腔颌面外科的 Alanur ?ift?i ?i?man 和伊斯坦布尔梅德尼耶特大学牙科学院口腔颌面外科的 Ahmet Hüseyin Acar 等研究人员展开了一项研究。该研究成果发表在《BMC Oral Health》上。
研究人员采用了一系列严谨的研究方法。首先，他们请三位经验丰富的口腔颌面外科医生，根据系统性疾病和口腔手术中常见的问题，全新设计了 89 个问题。这些问题经过 10 位志愿者口腔颌面外科医生的评估，运用 Lawshe 内容效度指数（CVI）筛选，最终确定了 64 个具有临床相关性的开放式问题。随后，研究人员选择了 ChatGPT 3.5 和 Claude-instant 这两款聊天机器人进行评估。通过在线方式，在两个不同的时间段，向它们提出相同的问题，并记录回答。最后，由两位未参与问题设计的资深口腔颌面外科医生，分别使用改良的 DISCERN 工具（mDISCERN）和 Likert 量表，对聊天机器人的回答在质量、准确性和完整性方面进行评估，并运用多种统计学方法对结果进行分析。
研究结果令人眼前一亮。在质量方面，ChatGPT 在第一和第二阶段分别有 86% 和 79.6% 的回答被评为高质量，Claude-instant 在这两个阶段的高质量回答比例分别为 81.25% 和 89%。准确性上，ChatGPT 第一和第二阶段完全正确的回答比例分别为 92% 和 93.4%，Claude-instant 则为 95.2% 和 89%。完整性方面，ChatGPT 在两个阶段被评为足够或全面的回答比例分别为 88.5% 和 86.8%，Claude-instant 为 95.2% 和 86%。由此可见，两款聊天机器人在回答问题时，大多表现出色。不过，它们也并非完美无缺。在关于颌骨药物相关性骨坏死（MRONJ）相关问题上，回答的准确性最低。而且，在一些复杂的临床决策场景中，聊天机器人虽然能给出建议，但偶尔会过度简化决策过程，忽略关键因素。
在讨论部分，研究人员指出，该研究首次在口腔外科领域对比了两款不同聊天机器人在两个阶段的表现，且由专业人员评估其用于专业用途的性能，具有重要意义。虽然聊天机器人在临床应用中前景广阔，如辅助分诊、提供个性化健康建议等，但也面临诸多挑战。从监管层面看，需要确保患者安全、数据保护和信息透明，明确责任归属。从技术层面讲，问题的表述方式会影响聊天机器人的回答，且其回答存在可变性，还可能出现 “幻觉” 现象，即生成看似合理但实际错误的信息。此外，该研究也存在一定局限性，如单中心研究、评估专家数量有限、仅针对两款通用聊天机器人、问题数量有限等。
总的来说，这项研究表明，AI 聊天机器人在支持口腔外科复杂患者的临床决策方面具有一定潜力，但目前还不能完全依赖它们。未来，随着技术的不断进步，聊天机器人有望提供更准确、更全面的信息，真正成为医生的得力助手，为患者提供更优质的医疗服务。同时，后续研究需要进一步解决当前存在的问题，推动 AI 技术在口腔外科领域的更好应用。
