两种代理型AI工具在系统综述文献筛选中的表现比较：Loon Lens与Catchii评估研究

《Health and Quality of Life Outcomes》：Comparing artificial intelligence versus human screening in systematic reviews

　　

摘要

背景

系统综述对于指导健康政策与实践至关重要。人工智能（AI）能够自动化文章筛选流程并节省时间，但与传统人工筛选相比，AI筛选的表现仍有待确定。我们开展这项研究，旨在比较两款代理型AI工具——即Loon Lens^TM和Catchii——在标题与摘要筛选层面的相互表现以及与人工筛选的对比。此外，我们还比较了Loon Lens与人工在全篇全文筛选层面的表现。

方法

我们开发了一个关于三种环境空气污染物（一氧化碳、臭氧、二氧化氮）与帕金森病发生或加重之间关联的de novo研究问题。一位健康科学图书馆员制定了文献检索策略，随后我们进行了人工与AI筛选。筛选结果使用灵敏度、特异度、阳性预测值、阴性预测值、一致性、Kappa值和F1分数进行比较。我们将这些统计量与通过随机猜测获得的统计量进行了对比，并将一致性（与人工参考标准的一致或不一致）对Loon Lens提供的置信度分数进行回归分析，Loon Lens为其每次筛选决策分配了一个置信度等级（"极高"、"高"、"中等"或"低"）。人工筛选是两个AI工具的参考标准；Catchii是Loon Lens的参考标准。

结果

在标题与摘要筛选中，当以人工为参考标准时，Loon Lens的表现优于Catchii（Loon Lens与人工对比：灵敏度=0.66，Kappa=0.74，F1=0.76；Catchii与人工对比：灵敏度=0.49，Kappa=0.46，F1=0.50）。在全文筛选中，大多数不一致之处集中在Loon Lens纳入而人工排除的文章上。在两个筛选层面，较高的置信度分数与Loon Lens和人工筛选者之间较低的不一致几率相关。

结论

鉴于可用的AI筛选工具种类繁多且其表现各不相同，加上AI技术快速演变的特性，研究人员应在每次综述开始时对其所选工具进行试点测试。灵敏度、Kappa值和F1分数是最适合采用的性能统计量，尤其是在标题与摘要筛选阶段，因为纳入与排除文献的比例失衡可能会高估一致性和阴性预测值。