编辑推荐：
在健康经济学和卫生政策领域，科学文献数量剧增使文献综述困难重重。研究人员开展了 “Machine Learning?Assisted Health Economics and Policy Reviews: A Comparative Assessment” 的研究，发现 ASReview 这一机器学习（ML）工具能高效筛选标题和摘要。该研究为 ML 工具在文献综述中的应用提供了依据。
在当今医学和健康研究领域，海量的文献如同一片浩瀚无垠的知识海洋，让研究者们在进行文献综述时感到力不从心。在健康经济学和卫生政策这两个重要领域，文献数量更是呈爆发式增长。这给负责文献综述的研究者带来了极大挑战，不仅会使他们进行全面综述的积极性受挫，还可能导致因时间限制而采用过于狭窄的检索策略，影响综述质量。而且，相关文章在检索结果中占比极低，有时可能仅有 1% ，从构思到完成综述的时间间隔又较长，等到综述发表时，内容可能已经过时。
为了解决这些棘手问题，来自意大利博科尼大学 SDA 博科尼管理学院健康与社会护理管理研究中心（Center for Research on Health and Social Care Management，CERGAS）以及英国约克大学卫生经济中心（Centre for Health Economics）的研究人员 Ludovico Cavallaro、Vittoria Ardito、Michael Drummond 和 Oriana Ciani 开展了一项极具意义的研究，相关成果发表在《Applied Health Economics and Health Policy》上。
研究人员选择了 ASReview 这一开源机器学习工具进行研究。该工具自 2021 年开发以来，已在多个领域有所应用，但在健康经济学和卫生政策领域的应用效果还需进一步探究。研究旨在回顾性评估 ASReview 在标题和摘要筛选中的性能，与人工筛选进行对比，评估其可靠性以及对未来文献综述流程优化的潜力。
在研究方法上，研究人员将 ASReview 设置为 “Simulation Mode”。从 PubMed/MEDLINE、Scopus 和 Web of Science 数据库中检索并导出 2010 年至 2023 年 7 月期间的 11,939 条记录，经过去重和排除不符合标准的记录后，最终得到 10,246 条独特记录组成数据集。这些记录被标注好相关信息后用于训练 ASReview 工具。研究设置了三种不同先验知识（Prior Knowledge，PK）水平的场景，即分别使用 5、10 和 15 条相关 / 不相关记录作为先验知识，每种场景进行 100 次模拟。同时，采用两种停止准则：采样准则（screening until a prespecified percentage of titles and abstracts has been screened）和启发式准则（screening until a series of consecutive irrelevant articles have been found）。通过 “Insights” 扩展获取 “Recall”（表示筛选阶段特定点的相关记录发现百分比，用于评估采样准则下 ML 工具的性能）和 “Time to Discovery”（TD，指在遇到相关记录之前需要筛选的不相关记录数量，用于评估启发式准则下 ASReview 的性能）等指标来分析数据。
研究结果方面，在采样准则下，随着筛选样本百分比的增加，相关记录发现率（RRF）不断提高。当筛选 25% 的样本时，中位数 RRF 值稳定在 97% ，继续增加到 50% 样本时，RRF 值稳定在 99% 左右，75% 样本时达到 100%。这表明仅筛选 25% 的样本，该工具就能提供高度可靠的结果，识别出几乎所有相关记录。在启发式准则下，当连续无关记录（Consecutive Irrelevant Records，CIR）阈值为 100 时，RRF 值变化较大；阈值增加到 250 时，RRF 值有所提高，但仍存在变化；当阈值达到 1200 时，RRF 值在不同 PK 水平下都集中在 97 - 99%；阈值为 2800 时，RRF 值达到 100% 且无变化，说明此时基于 ML 的筛选与人工筛选在识别所有相关记录方面基本等效。此外，较高的 PK 水平在筛选较少样本时能略微提升性能，但随着筛选的进行，PK 的影响逐渐减小。
综合研究结果和讨论，该研究表明机器学习在优化文献综述过程、提高资源效率和确保研究综合准确性方面具有巨大潜力。使用 ASReview 工具，研究人员能在减少筛选工作量和时间的同时，有效识别相关记录。然而，不同类型的文献综述对准确性要求不同，如系统评价通常需要更高的准确性。而且，目前在机器学习辅助文献综述方面缺乏明确的指导，研究人员建议相关机构应制定全面的协议和指南，确保这些工具符合严格的科学标准。该研究为机器学习工具在健康经济学和卫生政策文献综述中的应用提供了重要依据，有助于推动相关领域研究方法的革新，促进更高效、更科学的研究成果产出，最终为健康政策制定和医疗实践提供有力支持。
