JBI定性系统评价中基于批判性评估的研究纳入与排除实践分析：方法学异质性及其对证据合成的影响

《Research Synthesis Methods》：The inclusion or exclusion of studies based on critical appraisal results in JBI qualitative systematic reviews: An?analysis of practices

本研究针对JBI定性证据合成中批判性评估结果如何影响研究纳入/排除决策这一方法学空白，系统分析了2018-2022年间45篇JBI定性系统评价。研究发现这些评价在处理方法上存在显著差异：24%纳入所有研究，36%设定特定标准，11%采用截断值，9%使用多重方法，且报告透明度不足。结果表明不同方法对ConQual评分无显著影响，强调需要方法学指导提升证据合成的可信度与可重复性。

　　

在循证医疗卫生领域，定性系统评价通过整合患者、照护者、医护人员等利益相关者的观点和经验，为实施全面、以人为本的照护提供关键证据。然而，在定性证据合成过程中，一个长期存在的争议是如何处理批判性评估（critical appraisal）的结果——特别是是否应该基于研究方法学质量来排除某些研究。尽管批判性评估是JBI（Joanna Briggs Institute）定性证据合成的核心步骤，旨在帮助判断对合成结果的信心程度，但关于是否、何时以及如何根据评估结果排除研究，目前缺乏明确的指导。这种不确定性导致不同评价作者在实践中采取各异的方法，可能影响合成结果的可靠性、透明度和可重复性。

为了深入理解当前实践状况，Romy Menghao Jia和Cindy Stern对2018至2022年间发表在JBI Evidence Synthesis上的45篇JBI定性系统评价进行了系统分析。研究人员提取了这些评价中关于如何处理批判性评估结果的方法及其理由，并比较了应用排除标准与不排除研究的评价在ConQual（Confidence in the Findings from Qualitative Research Synthesis，定性研究合成结果可信度评估）评分上的差异。

研究发现，JBI定性系统评价在处理方法学质量评估结果方面存在显著差异。约24%的评价选择纳入所有研究而不考虑其方法学质量，而其他评价则采用了基于特定评估条目（36%）、截断值（11%）或多种方法结合（9%）的排除标准。值得注意的是，许多评价对其所采用的方法提供的理由有限且不够充分，仅有少数评价引用了方法学文献来支持其决策。此外，18%的评价在方案与最终报告之间或报告内部不同章节之间存在不一致的描述，另有18%的评价描述模糊不清。

在理由分析方面，选择纳入所有研究的评价主要提出了五个方面的考虑：确保对现象的全面理解、缓解领域内研究数量有限的困境、在分析过程中处理方法学质量问题、承认评估过程本身的局限性，以及考虑定性研究的内在特性。而采用排除标准的评价则更关注确保参与者的声音得到充分体现、遵循定性研究报告标准，以及优化对合成结果的信心。

一个特别值得关注的发现是，应用排除标准的评价与纳入所有研究的评价在ConQual评分上没有显示出明显差异。这一结果挑战了“排除低质量研究会提高合成结果可信度”的常规假设，表明需要更深入的方法学研究来探讨不同处理方式对证据合成质量的实际影响。

从报告质量的角度看，本研究揭示了JBI定性系统评价在批判性评估结果处理方面的报告存在显著的不一致性和不透明性。这种报告质量的不足可能严重影响评价的透明度和可重复性，进而影响证据使用者对合成结果的信任和运用。

本研究采用了系统性的内容分析方法，首先从JBI Evidence Synthesis期刊获取了2018-2022年间发表的所有定性系统评价清单，最终纳入45篇符合条件的评价。数据提取采用了标准化工具，由两位研究者独立进行，并通过多次预提取确保工具的信度。提取的数据包括评价的基本特征、处理方法学质量评估结果的具体方法及其理由、以及ConQual评分等。

分析方法结合了描述性统计和归纳性内容分析。描述性统计用于展现评价的基本特征和方法使用的分布情况；归纳性内容分析则用于探索不同评价中采用的方法类型及其理由的主题模式。对于报告不一致的情况，研究团队制定了明确的处理原则：以最终报告的结果部分为最可靠的信息来源。

在ConQual评分分析方面，研究计算了每种方法下高、中、低、极低信心的合成结果的数量和比例，以探讨不同处理方法对合成结果可信度的潜在影响。

评价的特征

在2018至2022年间，JBI Evidence Synthesis共发表了47篇定性系统评价，其中45篇被纳入最终分析。这些评价大多由加拿大（12篇，27%）、澳大利亚（10篇，22%）和英国（8篇，18%）的研究者完成。从发表时间看，2022年发表数量最多（13篇），2021年最少（6篇）。

所有45篇评价都使用了JBI定性研究检查表（JBI Checklist for Qualitative Research）进行批判性评估，这是JBI方法学指南的要求。其中44篇（98%）在评价中说明了他们处理方法学质量评估结果的方式，但只有一篇没有在任何地方说明其方法。

方法报告的章节分布

关于如何处理批判性评估结果的方法描述出现在评价的不同章节中：78%在方法部分，64%在结果部分，40%在补充材料中，56%的评价在多个章节中报告了这一信息。在结果部分中，47%的评价在“方法学质量”小节中报告方法，20%在“研究纳入”小节中报告。有18%的评价在不同章节间存在不一致的报告。

处理方法学质量评估结果的方式

评价作者采用了多种方式来处理批判性评估结果：24%的评价选择纳入所有研究而不考虑其方法学质量；56%的评价采用了基于排除的方法，其中最常见的是要求满足检查表中的特定条目（36%），其次是应用截断值（11%）或多种方法结合（9%）；另有18%的评价描述不够清晰，无法确定具体方法。

纳入所有研究的理由

选择纳入所有研究的11篇评价中，有8篇提供了理由，主要归纳为五个主题：确保对现象的全面理解、缓解研究数量有限的困境、在分析过程中处理方法学质量问题、承认评估过程的局限性，以及考虑定性研究的内在特性。这些评价中，有些引用了JBI指南或其他方法学文献来支持其决策。

排除方法的具体应用

在采用排除方法的25篇评价中，最常见的是将检查表中的特定条目视为必需条件（16篇）。在这些评价中，几乎所有（15篇）都将Q8（关于研究结论是否源自对数据的解释）列为必需条件，Q2（研究方法论与研究问题是否一致）和Q4（研究者是否恰当呈现了参与者的观点）也常被要求。要求的条目数量从1到8个不等（平均4.1个，中位数3.5个）。

关于什么样的回答算作满足条件，大多数评价（9篇）没有具体说明，5篇明确要求“是”，2篇也接受“不清楚”作为满足条件。提供理由的评价强调了确保参与者声音被充分捕捉、遵循定性研究报告标准，以及优化对合成结果的信心等因素。

采用截断值的5篇评价中，要求的项目数从5到8个不等，多数要求只有“是”的回答才被接受。采用多种方法的4篇评价结合了截断值和团队讨论等方法，但只有一篇提供了理由。

ConQual评分与方法的关系

分析显示，应用排除标准的评价与纳入所有研究的评价在ConQual评分上没有明显差异。在36篇方法明确分类的评价中，共有158个合成结果。基于特定条目排除方法的评价有最高比例的高信心合成结果（15%）；采用多种方法的评价有最高比例的中等信心结果（58%）和低信心结果（42%）；而采用截断值方法的评价有最高比例的极低信心结果（20%）。

本研究揭示了JBI定性系统评价在处理方法学质量评估结果方面存在的显著异质性。这种多样性反映了定性证据合成领域关于批判性评估作用的持续方法论争议。一方面，有评价作者认为应当纳入所有研究以确保对现象的全面理解，特别是在证据有限的情况下；另一方面，也有作者强调需要通过排除低质量研究来保证合成结果的可靠性。

研究发现，不同处理方法对ConQual评分没有产生明显影响，这与“排除低质量研究会提高合成结果可信度”的直觉假设相悖。这一发现提示，需要更精细的方法学研究来探讨批判性评估结果处理方式对证据合成质量的实际影响。

本研究的局限性包括只纳入了截至2022年的发表物，且仅限于JBI框架内的定性评价，因此结果可能不适用于其他方法论框架下的证据合成。此外，一些评价中方法报告的不清晰也给数据提取和分类带来了挑战。

JBI定性系统评价在批判性评估结果处理方面存在显著的方法学异质性和报告不透明问题。这种多样性不仅反映了该领域的方法论争议，也可能影响证据合成的透明度和可重复性。尽管不同处理方法对ConQual评分没有显示出明显影响，但这更凸显了需要进一步方法学研究来明确最佳实践。未来研究应当探讨不同处理方式对证据合成质量的实际影响，并加强方法学指导，以提升定性系统评价的严谨性和可靠性。