人工智能在鼻牙槽塑形治疗信息准确性评估中的突破性研究

《BMC Oral Health》：What artificial intelligence (AI) can tell us about Nasoalveolar Molding (NAM)?

本研究针对人工智能(AI)在提供鼻牙槽塑形(NAM)治疗信息时的准确性问题，系统评估了ChatGPT-4、Gemini和Copilot三大AI模型在11个专业领域的表现。研究人员通过129个专业问题测试发现，虽然三大模型整体回答准确率无显著差异(57-70%)，但在特定领域如"软组织"领域ChatGPT-4表现最佳。该研究为AI在医疗信息传播中的可靠性提供了重要证据，对改善唇腭裂(CLP)患者家属的信息获取途径具有重要临床意义。

　　

当一对父母迎来唇腭裂(cleft lip and palate, CLP)宝宝时，他们往往面临着巨大的信息焦虑。从喂养困难到手术时机，从治疗流程到预后效果，无数问题困扰着这些家庭。在数字化时代，越来越多的家长转向人工智能助手寻求专业医疗建议，但这些AI提供的答案是否可靠？特别是在鼻牙槽塑形(nasoalveolar molding, NAM)这一专业性极强的治疗领域，AI的语言模型能否给出准确、全面的指导？

这项发表在《BMC Oral Health》的研究由Hatipoglu团队开展，他们针对ChatGPT-4、Gemini和Copilot三大主流AI模型进行了系统性评估，揭示了AI在提供专业医疗信息方面的真实表现。

为了全面评估AI模型的性能，研究人员设计了严谨的方法学框架。研究团队首先构建了包含11个专业领域、129个问题的评估体系，这些问题覆盖了NAM治疗的各个方面。四位专业医师（包括两名经验丰富的NAM治疗正畸医师和一名口腔颌面外科医师）共同参与了问题设计，确保评估内容的专业性和全面性。

关键技术方法包括：采用横断面内容分析设计，对三大AI模型（ChatGPT-4、Gemini、Copilot）的回答进行系统性评估；使用五级Likert量表（包括"客观真实"、"选择性事实"、"最小事实"、"错误"和"完全错误"五个等级）进行准确性评分；采用群体评分策略，由四位专家独立评分后通过讨论达成共识；使用IBM SPSS 27进行统计学分析，根据样本量情况选择Pearson卡方检验或Fisher精确检验。

研究结果

AI模型整体表现比较

统计分析显示，三种AI模型在整体回答准确性方面没有统计学显著差异（p>0.05）。ChatGPT-4的"客观真实"回答比例为69.8%，Gemini为61.2%，Copilot为56.6%。在错误回答方面，Gemini的"错误"回答率为7.8%，而ChatGPT-4和Copilot均为4.7%。这一结果表明，虽然不同AI模型在整体表现上趋于一致，但在具体回答质量上仍存在细微差别。

各领域特异性表现

在"软组织"领域，研究人员发现了显著差异（p=0.013）。ChatGPT-4在这一领域表现出色，全部回答都被评为"客观真实"，而Gemini则主要提供"客观真实"和"选择性事实"的回答。这一发现提示，不同AI模型在处理特定专业内容时存在明显的能力差异。

各AI模型的领域特异性表现

当分别评估每个AI模型时，研究人员发现了更有趣的模式。在"知识/信息"领域，所有模型的回答都与其他领域存在显著差异（ChatGPT-4：p=0.003，Gemini：p=0.044，Copilot：p<0.001）。ChatGPT-4和Copilot主要提供"选择性事实"类回答，而Gemini则多数回答被归类为"错误"。

对于"功能"和"其他"领域，ChatGPT-4大多给出"错误"回答。Copilot仅在"满意度"领域主要提供"客观真实"回答，而在"微生物/生理学"领域则完全给出"错误"回答。

研究结论与意义

本研究通过系统性的评估揭示了AI语言模型在提供专业医疗信息方面的真实能力。尽管三大主流AI模型在整体准确性方面表现相当，但在特定专业领域的表现存在显著差异。这一发现对临床实践具有重要指导意义：医疗专业人员需要意识到AI工具在专业信息提供方面的局限性，特别是在像NAM这样的专业治疗领域。

研究结果强调，虽然AI模型能够提供中等准确度（57-70%）的通用信息，但患者和家属仍需要从专业医疗人员处获取最准确的NAM治疗信息。AI模型目前更适合作为背景信息查询工具，而非个性化医疗建议的来源。

该研究的创新之处在于首次系统评估了AI模型在NAM这一专业领域的信息提供能力，为未来改进AI在医疗信息传播中的表现提供了重要基准。随着AI技术的持续学习和发展，这类评估需要定期更新，以反映AI模型性能的最新变化。

从更广阔的角度看，这项研究为医疗AI的发展指明了方向：专业医疗信息的准确传播需要医疗专业人员与AI开发者的紧密合作，通过优化训练数据和验证机制，才能确保AI成为患者获取可靠医疗信息的有力工具。