《Journal of Emotional and Behavioral Disorders》：A Quality Review of a Peer Tutoring Umbrella Review Focused on Students With Emotional and Behavioral Disorders
编辑推荐：
本质量评价旨在评估Bowman-Perrott等人（2023）所开展的伞形综述中纳入的综述的方法学质量。Bowman-Perrott等人开展了一项伞形综述，总结了16篇聚焦于情绪与行为障碍（emotional and behavioral disorders,
本质量评价旨在评估Bowman-Perrott等人（2023）所开展的伞形综述中纳入的综述的方法学质量。Bowman-Perrott等人开展了一项伞形综述，总结了16篇聚焦于情绪与行为障碍（emotional and behavioral disorders, EBD）学生的同伴辅导元分析、系统综述和文献综述。研究人员将乔安娜·布里格斯研究所（Joanna Briggs Institute, JBI）的11项关键评估标准应用于Bowman-Perrott等人所纳入的综述。本质量评价作为一项探索性分析，旨在探讨如何在特殊教育领域的伞形综述中应用此类质量评价。结果显示，44%的综述被评为高质量，44%被评为中等质量，13%被评为低质量。总体而言，高质量综述的作者更可能报告评分者间信度（interrater reliability, IRR）、社会效度（social validity）和实施保真度（fidelity of implementation）。他们也更可能在其综述中评估原始研究的质量。此外，近期发表的综述更可能具有高质量。所有综述作者，无论质量水平如何，均明确陈述了研究问题和文献检索程序。本文讨论了研究的局限性和相关建议。
### 研究背景与开展原因
同伴辅导（peer tutoring）是一种被广泛使用的干预措施，其研究历史已超过30年，被归类为同伴介导干预。大量研究表明，该方法对残疾与非残疾学生、英语学习者及母语为英语的学生均具有积极效果，并在特殊教育、普通教育和替代性学校环境中得到成功实施。研究一致证实，同伴辅导对辅导者和被辅导者在学业、行为和社会性方面均带来益处，例如在阅读、拼写、写作、科学、数学和社会研究等基础技能与核心内容领域取得进步，同时提高学业投入度，改善任务行为和社会技能。学生情绪与行为障碍（emotional and behavioral disorders, EBD）群体常伴随学业困难、行为与社会挑战，并面临学业保留、停学、开除和辍学等不良教育后果，因此针对该群体实施有效干预尤为关键。
伞形综述（umbrella review）是证据金字塔上层的证据综合形式，通过总结和整合多个文献综述来评估干预效果并指导研究与实务。尽管伞形综述在医学和健康科学领域较为常见，近年来也开始应用于特殊教育领域。然而，对于纳入伞形综述的文献综述本身进行方法学质量评估至关重要。Bowman-Perrott等人（2023）发表了目前唯一一项聚焦于EBD学生同伴辅导干预的伞形综述，但其中纳入的16篇综述的方法学质量尚未被系统评估。因此，本研究旨在应用JBI关键评估清单对这16篇综述进行质量评价，以探讨该综述领域的研究严谨性和潜在偏倚风险。
### 研究开展内容与结论
研究人员针对Bowman-Perrott等人（2023）伞形综述中的16篇同伴辅导元分析、系统综述和叙述性文献综述，应用了JBI系统综述与研究整合关键评估清单（共11个条目，记为Q1–Q11）。两名学校心理学博士生在第一作者的培训下独立对每篇综述进行编码，并采用House等人（1981）的公式计算评分者间信度（interrater reliability, IRR），结果为97.7%。根据预先设定的标准，满足JBI条目80%及以上评为高质量，50%至80%评为中等质量，低于50%评为低质量。研究的主要发现是：44%的综述为高质量，44%为中等质量，13%为低质量。高质量综述更有可能报告实施保真度、社会效度、评分者间信度，并评估综述中原始研究的质量。此外，近期发表的综述更可能达到高质量标准。
### 关键技术与方法
本质量评价采用的主要方法是应用JBI关键评估清单对Bowman-Perrott等人（2023）伞形综述中纳入的16篇综述进行方法学质量评估。该清单包含11个条目，涵盖综述问题陈述、纳入标准、检索策略、质量评估、独立审查、数据提取方法、综合方法、发表偏倚评估、政策与实践建议以及新研究指导等维度。研究者在编码时独立评定每项标准为“是”“否”或“不清楚”，并计算满足条目的百分比。样本队列来源为Bowman-Perrott等人（2023）伞形综述，其纳入了16篇综述，共涵盖超过2404名EBD学生，涉及73项未重复的独立研究。
### 研究结果
#### 研究问题1：综述满足JBI质量指标的程度
所有16篇综述（100%）均满足Q1（综述问题清晰明确）。14篇综述（88%）满足Q2（纳入标准适当）、Q3（检索策略适当）和Q4（检索来源充分）。仅有6篇综述（38%）满足Q5（评估原始研究质量）。5篇综述（31%）满足Q7（采用方法减少数据提取错误）。所有16篇综述（100%）均满足Q8（综合方法适当）。6篇综述（38%）满足Q9（评估发表偏倚）。10篇综述（63%）满足Q10（报告政策与实践建议）。15篇综述（94%）满足Q11（提出新研究建议）。总体来看，7篇被评为高质量，7篇为中等质量，2篇为低质量。因此，88%的同伴辅导综述具有低或中等偏倚风险。
#### 研究问题2：综述类型与发表年份对质量的影响
##### 综述类型
7篇高质量综述全部为系统综述（n=5）或元分析（n=2），没有叙述性文献综述。中等质量综述包括5篇文献综述和2篇系统综述，不含元分析。低质量综述为2篇叙述性文献综述。
##### 发表年份
2篇综述发表于2000年之前，6篇发表于2000至2012年，8篇发表于2013至2019年。JBI得分达到90%及以上的5篇综述全部发表于2013至2019年。高质量综述发表于2007至2019年，中等质量综述发表于1985至2017年，低质量综述发表于1986年和2013年。
#### 研究问题3：综述质量与实施保真度、社会效度、IRR及原始研究质量评估的关系
##### 实施保真度与社会效度
实施保真度在所有高质量综述（n=7）和1篇中等质量综述中均有报告，低质量综述中均未报告。社会效度在5篇高质量综述、3篇中等质量综述和1篇低质量综述中被报告。
##### 评分者间信度（IRR）
在综述层面，IRR在7篇综述中报告，其中5篇为高质量，2篇为中等质量，低质量综述中无报告。在原始研究层面，IRR仅在4篇综述中由综述作者报告，且这4篇全部为高质量综述。
##### 原始研究质量评估
6篇综述的作者评估了其综述中原始研究的质量，这6篇全部为高质量综述。所采用的质量标准包括What Works Clearinghouse (WWC)、Council for Exceptional Children (CEC)、Horner等人（2005）、Horner和Kratochwill（2012）以及Gersten等人（2005）等。总体而言，原始研究质量在各项质量指标下被报告为中等至高。
### 讨论与结论
讨论部分指出，本质量评价基于JBI关键评估清单确定了Bowman-Perrott等人（2023）伞形综述中文献综述的质量。大多数综述为中等或高质量，且随时间推移，满足JBI标准的综述数量有所增加。这一趋势可能与群体研究和单一被试实验研究质量标准的发展有关。高质量综述更可能报告IRR、实施保真度和社会效度，并评估原始研究质量。Q1（研究问题清晰）和Q8（综合方法适当）是全部综述均满足的两项标准，而Q7（减少数据提取错误）和Q5（评估原始研究质量）是最少满足的标准。发表偏倚（Q9）在文献综述中通常不报告，在系统综述中也不常见，因此低比例并不意外。
研究局限包括：使用单一质量评价工具（其他工具如AMSTAR2可能产生不同结果）；原始研究的局限可能传递给综述；部分数据缺失可能源于综述作者未编码相关变量；以及文献检索时间范围（2021年截止）与发表之间的时间差可能导致遗漏相关综述。建议综述作者评估综述中研究的质量，清晰报告独立数据提取过程，并报告IRR计算公式；原始研究作者应报告实施保真度并计算IRR，以增强方法学严谨性。
研究结论部分翻译如下：总结EBD学生参与同伴辅导干预结果的综述大多为中等或高质量。被认定为高质量的综述作者更可能报告实施保真度、社会效度、IRR和原始研究质量。此外，近期发表的综述更可能具有高质量。尽管JBI质量评分存在一定差异，希望未来综述能延续这一趋势。综述作者明确陈述了研究问题和文献检索程序，但IRR的报告和原始研究质量的评估频率较低。这可能是因为原始研究缺少信度数据（而非综述作者遗漏报告）。在这种情况下，原始研究的质量对于生成关于该学生群体的高质量同伴辅导文献综述至关重要。
