解剖学教育文献的AI检测与摘要能力对比研究：ChatGPT与ScholarGPT的表现差异

这篇研究对比了ChatGPT和ScholarGPT在解剖学教育文献检索与摘要生成中的表现。研究发现，随着查询复杂度增加，两种AI模型的检索准确率（ChatGPT：100%/60%/0%；ScholarGPT：100%/60%/40%）和摘要准确率（ChatGPT：60%/20%/0%；ScholarGPT：80%/60%/40%）均显著下降，且存在偏向虚拟现实（VR）教育干预的偏倚。结果表明当前AI尚不能可靠支持解剖学教育研究，但ScholarGPT在学术场景中展现相对优势。

　　

Highlight

材料与方法

三位解剖学教育专家协作设计问题集，用于评估ChatGPT-4（https://chatgpt.com/）和ScholarGPT（https://chatgpt.com/g/g-kZ0eYXlJe-scholar-gpt）在解剖学教育文献检测与摘要生成的能力。研究聚焦虚拟现实（VR）技术这一被广泛研究三十年的解剖学教育领域，该技术除教学价值外还可能展示...

结果

对于每项检测到的研究，两个平台均提供了标题和对应链接（全部正确导向摘要及作者信息）。具体表现为...

讨论

在基础层级的VR解剖教育研究检索中，ChatGPT和ScholarGPT均100%成功识别文献标题，摘要准确率分别为60%和80%。但模型普遍存在偏倚——尤其ChatGPT倾向于强调VR的积极效果而忽略中性/负面结果。当查询复杂度提升至"涉及用户交互的立体VR"时，ChatGPT完全失效（0%检出率），ScholarGPT保持40%检出率。这种表现滑坡揭示出现有AI在处理专业学术查询时的局限性。

结论

总体而言，ChatGPT和ScholarGPT在解剖学教育文献（特别是VR领域）的检测与摘要表现不尽人意，尽管ScholarGPT稍占优势。平台仅能在最简单查询层级保持可用性，随着查询复杂度增加性能急剧下降，且摘要准确性普遍不足。这些数据表明，当前AI尚不能实质性辅助解剖学教育研究者的文献工作。