基于AI的聊天机器人与人类参与者在辐射知识评估中的比较研究

《Scientific Reports》：AI chatbots showed higher response accuracy than dentists, medical doctors, and the general public on radiation safety questions

　　

摘要

辐射在日常生活中通过自然源和人工源存在，也应用于医学诊断和治疗领域，其暴露可能导致不良健康效应。本研究旨在评估牙医、医生和公众的辐射相关知识，并将他们的作答准确率与基于AI的聊天机器人系统进行对比。研究对344名参与者（包括牙医、医生和公众成员）施行了一个包含25道多项选择题的问卷，内容涉及辐射风险和辐射安全。同时将相同的问题输入了七个选定的基于AI的聊天机器人系统（Claude、DeepSeek、Microsoft Copilot、Gemini、Perplexity AI、ChatGPT-5和ChatGPT-4o）。将聊天机器人的作答准确率与人类参与者的准确率进行了比较。此外，还对不同用户和时间段之间的表现一致性进行了对比分析。基于AI的系统总体表现出比人类参与者更高的准确率。AI系统的准确率在80%至90.67%之间，而人类参与者的准确率为32%至60%。在所评估的聊天机器人系统中，Microsoft Copilot的表现最佳，Perplexity AI的表现最低。在人类参与者中，牙医和医生的表现显著优于公众，但两组医疗专业人员之间无显著差异。大多数AI系统在整个上午、中午和傍晚的评估中表现保持稳定；然而，ChatGPT-5显示出显著的时间差异（p?<?0.001）。在本研究采用的评估条件下，基于AI的系统比人类参与者获得了更高的作答准确率。人类参与者群体的总体表现表明辐射安全教育仍有改进空间。虽然基于AI的工具可作为有价值的教育资源，但其表现不应被解读为具有更优的临床判断或决策能力的证据。