自动化辅助筛选中工作流诱导的评估目标:对研究综合中累积证据的启示

《Research Synthesis Methods》:Workflow-induced evaluation targets in automation-assisted screening: Implications for cumulative?evidence in research synthesis

【字体: 大 中 小 】 时间:2026年09月22日 来源:Research Synthesis Methods 8.0

编辑推荐:

  自动化辅助的标题-摘要筛选通常使用召回率(recall)、精确率(precision)和工作量缩减(workload reduction)等指标进行评估,且结果日益被跨研究汇总。综合(synthesis)预设评估结果指向可比较的目标量。本文考察了在不同自动化辅

  
自动化辅助的标题-摘要筛选通常使用召回率(recall)、精确率(precision)和工作量缩减(workload reduction)等指标进行评估,且结果日益被跨研究汇总。综合(synthesis)预设评估结果指向可比较的目标量。本文考察了在不同自动化辅助工作流下产生的筛选评估结果能否有意义地支持累积推断,以及在什么条件下跨研究比较是合理的。这篇概念性文章将筛选评估目标视为工作流诱导的(workflow-induced),而非任务固有的。评估设计被分解为四个工作流维度(表征[representation]、推断[inference]、治理[governance]和评估[evaluation])加上所产生或指定的参考决策集(reference-decision set)。这些要素上反复出现的选择模式定义了评估配置(evaluation configurations)。文章示例了两种研究层面配置和一种综合层面模式:内生裁决(endogenous adjudication)、继承裁决(inherited adjudication)和异质目标聚合(aggregation of heterogeneous targets)。在各种配置中,评估目标由工作流特定的参考决策集诱导,在某些设计中由基于模型的目标域诱导,而非由共同的参考集诱导。因此,名义上相似的指标在不同研究中可能估计不同的量,表面上的累积性可能源于对不同量的估计的合并。标准异质性统计无法区分方法有效性的变异与被估计量的变异。只有在合并前目标对齐时,比较才是合理的。筛选评估之间的差异可能反映被估计量的差异,而非围绕共同估计量的统计异质性。当评估目标在框架上未对齐时,汇总摘要可以描述所报告的结果,但不能支持累积推断。改善聚合需要更好的研究层面评估目标规范,以及在综合时明确关注配置变异。
论文解读:自动化辅助筛选中工作流诱导的评估目标与累积证据

研究背景与问题:系统综述和元分析是累积科学的核心,但已发表文献的快速增长使人工筛选大规模候选记录变得资源密集。自动化因此被引入研究综合的检索、筛选和数据提取环节。随着自动化应用日益普遍,评估成为核心方法论问题。现有评估通常采用召回率(recall)、精确率(precision)和工作量缩减(workload reduction)等指标,且结果日益被跨研究汇总,以支持关于自动化可靠性的累积结论。然而,即使评估针对相似任务并报告相似指标,跨研究比较或聚合仍面临挑战。不同工作流中的评估可能估计不同的量,而标准异质性统计如I2和τ2无法区分方法效果变异与被估计量的变异。因此,需要明确评估目标究竟指什么,以及何时跨研究比较是合理的。

研究内容与结论:该概念性文章提出,筛选评估目标是由工作流诱导的,而非任务固有的。文章将评估设计分解为四个工作流维度(表征、推断、治理、评估)加上所产生或指定的参考决策集,并指出这些要素上的选择模式定义评估配置。通过两个假设性评估的例子,文章说明即使两个研究都报告召回率为0.95,其分母、裁决程序和度量定义集可能不同,因而估计的是不同量。文章定义了评估目标(evaluation target)或估计量(estimand),并识别了两种研究层面配置(内生裁决、继承裁决)和一种综合层面模式(异质目标聚合)。结论是,跨研究累积取决于报告结果是否估计可比较的量;度量标签本身不建立可比性。框架使每个指标背后的操作规范明确化,并提供了评估对齐的基础。该框架不是反聚合,而是为合理聚合设定条件,表征工作流诱导目标是累积推断的前提。

关键技术方法:本文为概念性文章,采用有目的阅读筛选评估文献的方法,而非正式的范围审查或系统综述。阅读材料来自Systematic Reviews、BMC Medical Research Methodology、Research Synthesis Methods、Journal of Clinical Epidemiology等主要方法学期刊,重点关注2006年以来的出版物,并通过参考文献追溯和引文前向/后向检索补充。文章通过理想类型方法识别反复出现的评估配置,没有定量数据提取或统计分析。

研究结果(按小标题):
1. 引言(Introduction):通过自动化学者常使用的评估指标引出问题,并以两个均报告召回率0.95的假设研究说明相同指标可能对应不同估计量。
2. 问题陈述(Problem statement):定义评估目标和估计量,区分两种失败模式:参考标准构建依赖被评估方法,以及可观测性受工作流影响。
3. 分解筛选评估目标(Decomposing screening evaluation targets):阐述四个工作流维度及参考决策集,并说明其与PRISMA 2020流程中Identification和Screening阶段的正交关系。
4. 示例配置(Illustrative configurations):介绍内生裁决、继承裁决和异质目标聚合三种模式,并说明其来自有目的阅读而非正式综述。
5. 内生裁决(Endogenous adjudication):参考标签由被评估工作流自身产生,如Wallace等人在半自动引用筛选中使用主动学习管线,性能估计的是与工作流产生标签的一致性,而非独立参考标准。
6. 继承裁决与停止条件可观测性(Inherited adjudication with stopping-conditioned observability):结合继承标签与停止规则,如Callaghan和Müller-Hansen的统计停止设计、Boetje和van de Schoot的SAFE启发式规则,以及Yao等人对Covidence AI的前瞻性评估,均使参考决策集受停止截断影响。
7. 异质目标聚合(Aggregated heterogeneous targets):跨研究合并时,如Marshall和Wallace使用不同来源数据集、van Dinter等人综述41项研究、Feng等人进行诊断准确性元分析,将不同参考决策集的估计量合并,产生的是异质目标的平均,而非共同目标。
8. 综合的限制与条件(Limits and conditions of synthesis):未对齐目标时,聚合无法区分方法性能与目标变异;对齐要求表征、推断、治理、评估和参考决策集五方面条件均满足。
9. 方法学意义(Methodological implications):治疗效应综合中指定估计量是前提,筛选评估应类比此做法;继承标签时工作流本身定义目标,需显式化。
10. 实践指导(Practical guidance):给出应用框架的七个步骤,包括识别表征制度、终止规则、裁决治理、评估选择、参考决策集,以及跨研究比较和选择聚合策略(分层、敏感性分析、指标归一化、描述性合并)。
11. 未来研究方向(Implications for future research):提出结构化综述应表征评估配置而非仅汇总性能;新兴评估如使用语言模型生成全文摘要作为表征,需明确文档记录。
12. 局限性(Limitations):框架是概念性的,不估计文献中配置的普及率;配置不穷尽;报告不完整时对齐判断可能需要解释;框架不裁决哪个目标本质上正确。
13. 结论(Conclusion):跨研究累积取决于报告结果是否估计可比较的量。度量标签不保证可比性。框架使操作规范显式化,提供评估对齐的评估基础;对齐时比较和综合适当,未对齐时需报告、归一化或限制。

讨论与结论:讨论部分强调,标准异质性统计如I2和τ2不能区分方法效果差异与被估计量的差异。框架在解释这些统计量之前诊断目标变异。结论翻译如下:跨研究累积取决于报告结果是否估计可比较的量。度量标签本身不建立可比性。本文框架使每个指标背后的操作规范显式化,并提供了评估跨研究对齐程度的依据。在对齐成立之处,比较和综合是恰当的;在对齐失效之处,错位点指示了在聚合前必须报告、归一化或限制的内容。该框架不是反聚合,而是为合理聚合设定条件。表征工作流诱导目标是关于自动化辅助筛选的累积推断的前提。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号