AI工具与PRISMA方法在青光眼系统综述中的文献检索、数据提取与研究构建效能评估：内容分析

本研究针对AI工具在系统文献综述（SLR）撰写过程中的应用效能开展实证分析。研究人员以青光眼领域已发表的PRISMA标准SLR为基准，对比测试Elicit、Connected Papers、ChatPDF及Jenni AI四款主流AI平台在文献检索、数据提取和文本构建三个核心环节的表现。结果显示AI工具在检索完整性（最高仅覆盖50%文献）、数据准确率（60.33%）、及学术写作规范性方面均显著逊于PRISMA标准方法。研究强调AI虽能提升效率，但学者深度参与仍是保障SLR质量的核心，为智能学术工具开发提供了关键实证依据。

　　

在当今知识爆炸的时代，系统文献综述（Systematic Literature Review, SLR）作为证据等级最高的学术成果形式，已成为推动医学领域发展的重要基石。然而传统的SLR制作过程极其繁琐——研究者需要遵循PRISMA（Preferred Reporting Items for Systematic reviews and Meta-Analyses）标准，完成文献检索、筛选、数据提取和结果合成等复杂环节，整个过程往往耗时数月且对研究者的方法学素养要求极高。随着人工智能技术的迅猛发展，越来越多学者开始尝试利用AI工具加速SLR制作流程，但这些工具是否真能媲美传统方法的严谨性？它们在专业医学领域的实际表现如何？这些问题亟待科学验证。

针对这一知识空白，由Laura Antonia Meliante领衔的研究团队在《JMIR AI》发表了一项开创性研究。该研究以青光眼领域为切入点，选取四款主流AI平台（Elicit、Connected Papers、ChatPDF和Jenni AI）作为测试对象，通过与其团队已发表的四个PRISMA标准SLR进行直接对比，首次全面评估了AI工具在文献检索、数据提取和研究构建三个关键阶段的综合效能。

研究团队采用多维度评估框架：在文献检索阶段，分别使用Connected Papers和Elicit平台输入与原始研究完全一致的关键词，统计其检索到的文献与PRISMA方法所得文献的重合率；在数据提取阶段，将全部纳入研究的PDF文献上传至Elicit和ChatPDF，要求AI生成与原始SLR相同的证据表格，并从准确率、不精确率、缺失率和错误率四个维度进行量化评分；在文本构建阶段，利用Jenni AI的文献库功能上传所有研究文献，指令其生成完整SLR文稿，并由两位研究者采用5分量表从语言流畅度、技术专业性、引文规范性、方法学严谨性等8个维度进行独立评价。

在技术方法层面，研究团队建立了严格的对照实验设计：首先通过Survey of Ophthalmology期刊筛选出三个最新青光眼SLR，结合团队已发表的一个SLR构成四个测试案例；使用语义相同的检索策略在AI平台与传统数据库间进行平行检索；开发了标准化的数据准确性评估体系；采用双人背对背评价机制确保结果客观性。所有分析均基于平台2023年2月15日的版本性能开展。

研究结果呈现出显著的技术差距：

文献检索环节：Connected Papers的表现令人失望，在四个SLR测试中分别仅能找回23%、0%、0%和0%的原始文献，最佳情况下也仅能覆盖不到四分之一的必要文献。Elicit平台稍胜一筹，检索成功率分别为50%、6%、49%和10%，但布尔运算符在其系统中完全失效，且过滤功能存在严重缺陷——即使明确设置排除条件，无关文献仍会出现在结果中。

数据提取环节：Elicit的整体准确率仅为51.40%（标准差31.45%），且有22.37%的关键数据完全缺失，12.51%的内容存在事实性错误。ChatPDF表现略优，准确率达60.33%（标准差30.72%），但仍有14.70%的错误率和17.56%的缺失率。值得注意的是，当向包含多篇文献的文件夹提问时，AI的失误率显著高于单篇文献查询，说明当前技术对复杂查询的处理能力有限。

学术写作环节：Jenni AI生成的内容在语言流畅度（4/5分）和技术术语使用（4/5分）方面获得认可，但在核心学术要素上全面溃败：引文数量极度匮乏（最高仅3篇），方法学描述模糊不清，结果章节缺乏关键数据报告，讨论部分缺乏深度分析。虽然能在30分钟内快速产出文稿，但内容完全达不到SLR的学术标准。

这些发现揭示了AI工具在学术研究中的应用边界。研究团队在讨论中指出，当前AI的核心局限在于缺乏真正的批判性思维——它们能够模仿语言模式却无法理解学术内涵，能够提取数据却难以判断证据质量。特别是在处理嵌套在表格、图表中的复杂信息时，AI的解析能力明显不足。更重要的是，过度依赖AI可能导致研究者丧失在文献梳理过程中形成学术洞察的关键机会，而这正是SLR研究的核心价值所在。

该研究的结论明确而审慎：PRISMA方法在系统性、透明度和可重复性方面仍然具有不可替代的优势。AI工具可以作为辅助手段提升效率，但必须置于研究者的严格监督之下。团队特别建议学术期刊应强制要求作者披露AI工具的使用情况和具体环节，以维护学术透明性。

这项研究的意义远超青光眼领域本身——它为整个医学研究社区提供了首个AI辅助SLR制作的实证路线图，既指出了技术应用的现实瓶颈，也为未来开发更专业的学术AI工具指明了方向。在人工智能与学术研究深度融合的时代浪潮中，这项研究犹如一座灯塔，提醒着学者们：技术永远应该是服务的工具，而非替代思考的主体。