综述:三项关于经颅直流电刺激(tDCS)与运动学习研究的元分析的验证报告
《European Journal of Neuroscience》:A Verification Report of Three Meta-Analyses in Transcranial Direct-Current Stimulation—Motor Learning Research
【字体:
大
中
小
】
时间:2026年05月18日
来源:European Journal of Neuroscience 2.4
编辑推荐:
摘要
随着经颅直流电刺激(tDCS)在运动学习研究和作为商业产品中的普及,评估其有效性的证据质量变得尤为重要。应特别关注元分析,因为它们通常对研究和临床实践有重大影响。本验证报告的目的是了解估计tDCS对运动学习影响的元分析的方法学质量。为此,我们主要关注了三个元分析的可重复性
摘要
随着经颅直流电刺激(tDCS)在运动学习研究和作为商业产品中的普及,评估其有效性的证据质量变得尤为重要。应特别关注元分析,因为它们通常对研究和临床实践有重大影响。本验证报告的目的是了解估计tDCS对运动学习影响的元分析的方法学质量。为此,我们主要关注了三个元分析的可重复性,并次要考察了报告质量和出版偏倚控制方面。我们验证的三个元分析在很大程度上遵循了PRISMA报告指南,并报告了他们计算的主要效应量和抽样方差/置信区间,从而能够成功再现汇总的效应量估计。然而,与之前具有类似目的的元研究类似,我们发现元分析的方法和结果部分报告严重不足,这影响了对其采用的方法学程序的合理性及其可重复性的判断。尽管应用了出版偏倚检测方法,但所选择的方法无法充分了解出版偏倚的存在或程度。这些结果再次强调了在元分析中透明报告方法的必要性,并在发表前后仔细评估其质量。
1 引言
1.1 tDCS及其应用
经颅直流电刺激(tDCS)是一种非侵入性脑刺激技术,通过固定在头皮上的电极向大脑传递恒定、低电流(Gazzaniga等人,2018年)。尽管普遍认为tDCS是安全的,并且几乎不会引起副作用(Gianni等人,2021年;Nitsche等人,2008年),但一些研究(例如Bertrand等人,2024年)报告了可能影响盲法的副作用,如瘙痒和其他身体感觉。tDCS协议的典型设置只需要少数低成本组件和相对简单的步骤(Gebodh等人,2019年;Woods等人,2016年)。参与者要么接受tDCS治疗,要么将设备放置在头上而不施加任何电流(安慰剂/对照条件,但由于上述副作用,盲法往往受到破坏)。考虑到tDCS的物流优势,其普及并不令人惊讶(Buch等人,2017年)。在临床研究中,已经研究了tDCS在治疗或缓解抑郁症(Brunoni等人,2016年)、阿尔茨海默病患者的记忆缺陷(Bennabi等人,2014年)、疼痛(Luedtke等人,2012年)和精神分裂症(Liu等人,2021年)等方面的效果。对tDCS的兴趣不仅限于临床环境:还进行了针对健康受试者的研究,以测试其对认知能力(如语言和记忆,Horvath等人,2015年)、情绪状态(Austin等人,2016年)以及运动技能(如手术,Hung等人,2021年)和音乐表现(Rosen等人,2016年)的影响。
tDCS作为一种研究工具已经非常成熟,已经在世界多个国家获得临床使用批准(尽管有一些限制,Fregni等人,2015年)。此外,市场上出现了越来越多种类的商业tDCS产品(Davis,2016年;Wexler,2018年;Zettler,2017年),这促使专家(例如Wurzman等人,2016年)对这种“自己动手”使用tDCS的日益普遍表示担忧。在Wexler(2018年)调查的449名此类家庭tDCS消费者中,52%(237人)是为了增强目的而使用。tDCS设备也作为商业产品在许多国家上市,尽管往往缺乏科学证据支持其使用。所宣传的好处包括缓解抑郁症状、提高体力和灵活性。同时,技术实现的异质性(例如刺激强度和持续时间)以及出版偏倚和不可重复性等问题困扰着tDCS文献(Buch等人,2017年)。这些问题可能会影响关于这一主题的元分析,而这些元分析往往是临床决策的基础。
1.2 元分析的方法学质量
tDCS的普及可能部分是由于元分析显示了其使用的积极效果。元分析通常被认为是“证据层次结构”的顶端(Evans,2003年):它们比关于相同主题的原始研究被引用得更频繁,通常被认为提供了最准确的效应估计,并对理论发展以及政策和临床实践有重大影响(Gopalakrishnan和Ganeshkumar,2013年;G?tzsche等人,2007年;Ioannidis,2016年;Lakens等人,2017年;Morganti,2007年)。许多关于在研究和临床中使用tDCS的指南都广泛引用了元分析(Charvet等人,2020年;Fregni等人,2015年;Lefaucheur,2016年)。因此,关于tDCS效果的元分析可能会影响其在许多领域的应用。鉴于此,评估这些元分析的方法学质量非常重要,因为它们可以为临床实践提供信息。可以考虑方法学质量的不同方面,如研究搜索的全面性、研究筛选程序的质量以及所使用统计方法的适当性。在这里,我们重点关注报告质量、可重复性和出版偏倚控制。
1.3 元分析的报告质量
元分析者在选择搜索哪些数据库、使用哪些搜索字符串、选择和排除原始研究、数据提取、统计方法等方面面临许多决策(Ada等人,2012年;Guzzo等人,1987年;Valentine等人,2010年;Voracek等人,2019年)。尽管这些方法学变化对元分析结论的影响程度并非完全无争议,但普遍认为透明报告这些决策非常重要(Aguinis等人,2011年),因为很难评估无法获取的信息的质量和可靠性(Page, McKenzie等人,2021年)。存在一些进行和报告元分析的指南,例如Cochrane手册(进行系统评价和元分析的全面指南,Higgins等人,2019年)或系统评价和元分析的优先报告项目(PRISMA,进行系统评价和元分析时应报告的方法学检查清单,Moher等人,2000年,2009年;Page, McKenzie等人,2021年)。尽管这些指南已经存在了二十多年,但对PRISMA和其他指南的元科学评估表明,元分析的报告标准通常不尽如人意,而且这些指南很少被完全遵守(Page和Moher,2017年;Polanin等人,2020年;Schalken和Rietbergen,2017年)。例如,虽然Page和Moher(2017年)编码的80,000多篇系统评价中有超过80%提供了他们的评价理由,但不到60%进行了偏倚风险分析或披露了资金来源。当然,PRISMA或其他任何报告指南都没有完全涵盖元分析中应报告的所有内容,但未能包含基本信息(例如搜索策略)表明报告不足。
1.4 元分析的可重复性
鉴于普遍缺乏对报告清单的遵守,尝试再现元分析常常失败也就不足为奇了;元分析者提供的关于他们程序的信息越少,再现就越困难(Aguinis等人,2011年)。事实上,即使完全遵守报告指南也远不能保证可重复性(Weissgerber等人,2021年)。可重复性至关重要,因为它使其他研究人员能够发现错误并评估主观选择的合理性(例如,原始研究的资格标准)。它还有助于随着更多相关原始研究的出现而更新元分析(Lakens等人,2016年)。关于元分析可重复性的回顾(例如Ford等人,2010年;G?tzsche等人,2007年;Lakens等人,2017年;Maassen等人,2020年)强调了不同的方法学方面(例如,完整报告与计算正确性),但主要关注数据提取和效应量(ES)的计算(包括原始和汇总)。他们关于元分析可重复性的结论也相似——由于报告不足和错误,元分析的可重复性受到严重限制——尽管后果各不相同。例如,在Ford等人(2010年)回顾的八个元分析中,有四个的汇总ES估计不再显著。同样,G?tzsche等人(2007年)回顾的一个元分析后来被撤回,两个在重新生成的版本中也不再显著。
1.5 出版偏倚控制
出版偏倚描述了发布报告假设方向显著结果的研究的倾向,而忽略发布非显著结果或与假设不符的结果。这对元分析来说是一个主要问题。元分析者可以尝试预先减轻出版偏倚,例如,通过搜索“灰色文献”中的未发表研究,以及事后应用统计出版偏倚检测和调整方法。在过去三十年中,已经开发了许多用于此目的的程序,根据所做的假设和数据的性质,这些程序的表现各不相同(参见Harrer等人,2019年的详细回顾)。除了普遍认为传统方法如Fail-Safe N和Trim-and-Fill信息量不大之外,对于在哪些条件下应使用哪些具体方法几乎没有共识(Carter等人,2019年;McShane等人,2016年;Renkewitz和Keiner,2019年)。这需要透明地讨论每个测试的假设以及在当前的一组原始研究中这些假设在多大程度上得到满足。另一个常见的建议是同时使用多种方法进行敏感性分析(见支持信息S1:注释1),而不是作为检测或调整方法本身(例如,Vevea等人,2019年)。
1.6 研究目标
总之,有三项主要前提激发了这项工作:(1)tDCS作为研究工具在基础研究和临床研究以及商业产品形式中都非常受欢迎;(2)关于tDCS对运动学习影响的元分析可能会对研究和临床实践产生重大影响,进一步影响tDCS作为商业产品的采用;(3)元分析的可信度和信息量取决于它们的方法学质量。我们的目标是了解tDCS运动学习文献中元分析的方法学质量,包括(1)可重复性(主要目标)以及(2)遵守PRISMA指南和(3)评估和控制出版偏倚(次要目标)。
2 方法
该项目最初是作为TA的硕士论文的一部分构思的。尽管我们的方法学方法主要遵循了论文提案中预定义的计划(可在论文的开放科学框架[OSF]项目osf.io/xyhf5上访问),但在可重复性测试方面存在重要偏离。列出这些偏离及其原因的文档可以在OSF项目(osf.io/8w4v6)上找到。对于数据处理、分析和可视化,我们使用了R(R核心团队,2021年)和以下包:dmetar(Harrer等人,2019年)、dplyr(Wickham等人,2021年)、ggplot2(Wickham,2016年)、MAd(Hoyt和T.,2014年)、Matrix(Bates和Maechler,2021年)、meta(Balduzzi等人,2019年)、metafor(Viechtbauer,2010年)、purrr(Henry和Wickham,2020年)和tidyr(Wickham,2021年)。数据是使用WebPlotDigitizer(https://wpd.starrydata2.org/,Rohatgi,2021年)从图表中提取的。我们如何在图表中提取数据的视频演示可以在我们的OSF项目上找到。我们的所有数据和代码都可以在项目的GitHub仓库中找到,github.com/TaymAlsalti/tDCS_meta-analysis。
2.1 元分析样本
为了选择元分析,我们在Google Scholar和Web of Science上进行了搜索,应用了以下资格标准:
- 定量综合多个(至少3个)关于tDCS对运动学习影响的原始研究的元分析研究。对原始结果(例如,如何测量速度或准确性)、原始研究的设计(例如,随机设计与交叉设计)、原始研究中的参与者(例如,临床或健康受试者)或元分析的任何其他方面没有限制。元分析以英语发表。
2.1.1 排除标准
- 任何类型的综述,如果没有定量综合
- 原始研究
- 没有报告“主要”元分析的综述,而是报告了多个子组研究的元分析。我们系统地选择了三个元分析(Kang等人,2016年,2018年;Hung等人,2021年),这些元分析首先满足我们的资格标准,并且(A)对临床实践有重要影响(所有三个元分析)或引用率很高(当时是第一个元分析),因此对该领域有重大影响。由于我们只验证了三个非系统性选择的荟萃分析,因此我们不会对整个领域进行广泛的概括,而是展示了该领域中著名荟萃分析的优点和缺点。
2.2 可重复性
我们根据美国统计协会(Broman等人,2017年)提出的可重复性的定义和原则来处理荟萃分析的可重复性问题:如果荟萃分析的作者提供了足够的信息来完成所有必要的步骤(搜索、筛选、数据提取、主要效应量(ES)的计算、合并效应量的计算等),从而得到相同的数值结果,那么这个荟萃分析就是可重复的。然而,尽管我们认识到所有这些步骤的重要性,但我们像G?tzsche等人(2007年)、Lakens等人(2017年)和Maassen等人(2020年)一样,主要关注数据提取和效应量估计的计算。对于每个选定的荟萃分析,我们提取了主要研究和荟萃分析层面的信息。在主要研究层面,我们提取了计算效应量及其标准误差(SE)所需的所有信息。这些信息包括比较组中结果测量的样本大小、均值和标准差。我们从主要研究和荟萃分析中提取了这些数据(如果有的话)。在荟萃分析层面,我们还提取了跨主要研究的合并效应量估计。
2.2.1 重新计算主要效应量
为了重新计算荟萃分析中的合并效应量,首先需要重新计算主要研究中的效应量(以及相应的抽样方差或SE)。为了对主要效应量的可重复性状态进行分类,我们构建了一个包含两个变量的方案(见表1):(A)主要效应量是否能够被成功地数值再现(结果可重复性,Goodman等人,2016年)。在这里,如果重新计算的效应量与荟萃分析中报告的效应量在小数点后第二位相同(例如,0.3334543 = 0.33),则认为效应量被成功再现(或可重复),因为前两个荟萃分析中就是这样报告的。如果重新计算的效应量值在荟萃分析报告值的±0.05范围内,我们认为效应量是近似再现的(但不是真正再现的)。这是因为我们必须从主要研究中提取一些值(例如,均值和置信区间),如果荟萃分析者也进行了四舍五入,这可能会导致偏差。以及(B)我们在重新计算效应量时遵循的程序是否严格对应于荟萃分析中给出的信息,或者是否至少对应于荟萃分析中包含的另外两个效应量的程序(方法可重复性)。这里的“程序”包括诸如使用p值或检验统计量结合样本大小、使用基线变化后的均值和标准差等分析决策,以估计给定主要研究的标准化平均差异。因此,分类系统中的第二个变量主要是为了捕捉荟萃分析者报告计算主要效应量的方式与他们实际计算方式之间的差异。
表1. 主要效应量的可重复性分类方案。
- 重新计算的效应量等于报告的效应量
- 重新计算的效应量不等于报告的效应量
- 严格遵循荟萃分析中给出的信息或至少另外两个成功再现(即可重复)的效应量所采用的标准化程序
1. 完全可重复的效应量
2. 完全不可重复的效应量
- 遵循的程序要么不完全对应于荟萃分析者报告采用的程序,要么不一定产生与至少另外两个可重复的效应量所采用的程序相当的结果
这里的“重新计算”和“可重复”之间的区别至关重要:“重新计算”意味着我们根据从主要研究中提取的数据计算了效应量,我们认为荟萃分析者可能使用了这些数据;而“可重复”的主要效应量是在数值上等于荟萃分析中报告的效应量。而“完全”和“暴力”指的是荟萃分析是否提供了足够的信息来计算主要效应量。根据这个方案,由于缺乏信息而无法再现的主要效应量无法进行数值可重复性测试,因此也无法完全可重复,尽管它们可以通过暴力方法再现。另外,请注意,如果我们将一个效应量分类为“完全不可重复”,这并不意味着它也一定是暴力不可重复的,因为在大多数情况下,如果我们选择测试完全可重复性时,我们收集的值非常清楚地对应于荟萃分析者对其程序的描述。可重复性测试是一个迭代过程,涉及多轮数据提取。最初的数据提取和可重复性测试只得到了少数可重复的效应量,因为大多数主要研究没有报告直接计算效应量及其抽样方差所需的值(例如,对于组间Cohen's d值,这需要组均值、标准差和样本大小)。因此,我们采用了较为宽松的数据提取程序,包括以下步骤:
对于每个主要效应量,我们首先查找荟萃分析者报告使用的结果的原始均值和标准差。如果主要研究报告了多组均值和标准差,这些组可以对应于荟萃分析中描述的结果(例如,荟萃分析中某个主要研究的结果是“Fugl-Myer测试”,但主要研究报告了“Fugl-Myer测试 - 上肢”和“Fugl-Myer测试 - 全部”的值),则提取所有组的数据。如果主要研究中没有报告相关结果的均值和标准差,则从图表中提取均值和标准差。如果没有报告包含均值和标准差(或标准误差[CIs],这些可以转换为标准差)的图表,以及/或相关结果的t值,这些值可以与样本大小结合转换为效应量。根据所有提取的值,我们使用荟萃分析者报告的估计器(Cohen's d或Hedges' g)计算每个主要效应量。如果荟萃分析中没有提供这些信息,我们尝试了两种公式,并在进一步分析中使用了更接近报告效应量的公式。如果没有任何提取的值能够再现给定的效应量,我们会重新检查提取数据的正确性,在某些情况下,会从主要研究中提取更多值(采用暴力方法),并基于这些值计算效应量。我们根据效应量和相应的样本大小计算抽样方差。因此,每个主要研究的数据提取具体程序各不相同。我们提取的所有值及其分析方法的详细描述可以在我们的OSF项目页面上的数据分析笔记本中找到。
2.2.2 重新计算合并效应量
为了获得合并效应量的估计,我们基于不同子集的主要效应量进行了三项分析:(a)使用荟萃分析中报告的主要效应量和抽样方差;(b)使用完全再现和近似再现的主要效应量以及暴力再现的主要效应量;(c)仅使用完全再现的主要效应量。这使我们能够调查报告的合并效应量与再现的合并效应量之间的差异在多大程度上是由于再现主要效应量的问题,以及在多大程度上是由于荟萃分析程序描述的问题。
2.3 遵守PRISMA报告指南
我们评估了荟萃分析对PRISMA报告指南(Liberati等人,2009年;Moher等人,2009年)的遵守情况,因为这是最广泛采用的荟萃分析报告标准。为此,我们编码了荟萃分析是否按照每个项目的建议报告了相关信息,无论荟萃分析是否声称遵守了任何报告指南。使用PRISMA检查表,我们扫描了每个荟萃分析的全文,搜索与每个项目相关的关键词(例如,搜索“搜索”项目),并记录了报告的项目,无论其描述得如何。
2.4 发表偏倚
我们通过(a)评估识别未发表研究的措施,以及(b)评估是否使用了哪些统计方法来调查发表偏倚的存在,来研究我们研究中的荟萃分析如何考虑发表偏倚的可能影响。我们还编码了荟萃分析者是否:
- 搜索了临床试验注册库(例如,ClinicalTrials.org)
- 搜索了论文和学位论文存储库(例如,ProQuest)
- 联系了该领域的已知研究人员以询问未发表的结果
- 联系了纳入研究的作者以请求原始数据或未发表的结果
除了编码是否使用了任何统计方法以及使用了哪些方法外,我们还使用三种不同的发表偏倚方法来测试每个荟萃分析中的发表偏倚,以评估其结论的稳健性(见支持信息S1:注释1)。
2.5 额外编码/分析
我们检查了荟萃分析是否提供了数据分析代码、共享了他们提取的数据,或者是否已经预先注册。由于异常值可能对合并效应量估计产生重大影响,我们编码了荟萃分析是否以及如何测试了纳入研究中的异常值的存在,并根据从荟萃分析的森林图中提取的数据,我们使用留一法(Harrer等人,2021年;Tobias 1999年)自己测试了异常值对结果的影响。
3 结果
3.1 荟萃分析样本
表2概述了选定的三个荟萃分析。荟萃分析1和2旨在估计tDCS改善中风后患者运动功能的效果,尽管荟萃分析2专门关注了阴极tDCS的效果。荟萃分析3调查了tDCS改善外科手术培训生手术表现的效果。第一个荟萃分析综合了13个随机对照试验(RCT)和四个交叉试验的结果,第二个荟萃分析综合了六个RCT和九个交叉试验的结果,第三个荟萃分析综合了五个RCT和一个交叉试验的结果。
表2. 经验证的荟萃分析。一般信息和PRISMA遵守情况
- 可重复性
- 发表偏倚
- 异常值分析
| 荟萃分析 | 研究数量 | 效应量数量 | 平均样本大小 | 报告的PRISMA项目 | 完全再现的效应量 | 完全可重复的效应量 | 近似再现的效应量 | 报告的合并效应量 | 再现的合并效应量 | 预防措施 | 用于调查发表偏倚存在的统计方法 | 得出的结论 | 我们的分析 |
|---------|---------|-----------|------------|-----------------|-----------------|-----------------|-----------------|-----------------|-----------------|-----------------|-----------------|-----------------|
| Kang等人(2016)| 17 | 21 | 26 | 18/27 | 17/21 | 6/21 | 4/21 | 0.59 | — | 凸轮图,Fail-Safe N,修剪和填充 | ‘轻微’ | 无 | 去除3个异常值后的合并效应量:0.67 |
| Kang等人(2018)| 15 | 20 | 24 | 19/27 | 18/20 | 1/20 | 4/20 | 0.62 | — | 凸轮图,修剪和填充,Egger's测试,Begg和Maxumdar的等级相关测试 | ‘最小’ | 无 | 去除4个异常值后的合并效应量:0.73 |
| Hung等人(2021)| 6 | 6 | 32 | 25/27 | 2/6 | 0/6 | 1/6 | 0.66 | 0.42* | 搜索ClinicalTrials.gov和ProQuest,联系了主要研究的作者,不限于英语 | 凸轮图,Egger's测试 | 未得出结论 | 去除1个异常值后的合并效应量:0.81 |
注:重新计算的合并效应量基于荟萃分析模型A,即仅包括完全再现的效应量。
* 荟萃分析3的重新计算的合并效应量并不显著大于0,因为它仅基于两个主要研究。在应用±0.1范围而不是±0.05时,三个荟萃分析中的另外四个效应量被视为近似值。所有三个荟萃分析都以标准化平均差异的形式报告了效应量,尽管没有一致地说明使用了哪些组均值(例如,术前和术后均值之间的差异与组间均值之间的差异)。对于一些主要研究,荟萃分析1和2在荟萃分析中包含了多个效应量。在荟萃分析1中,这些效应量代表了阴极与假对照和阳极与假对照的对;而在荟萃分析2中,同一研究中的不同效应量基于两个不同的结果。三个荟萃分析都没有预先注册、共享数据或提供数据分析代码。荟萃分析3表示数据“在合理请求时可用”(第11页),但该荟萃分析的通讯作者没有回复我们请求更多信息/数据的电子邮件。另外两项元分析的通讯作者指出,所有数据已经包含在元分析报告中。
3.2 可重复性
3.2.1 主要效应量的可重复性
我们仅报告主要效应量的可重复性。需要注意的是,一般来说,当相应的主要效应量可以重复时,其抽样方差在数值上也是可重复的。在元分析1和2中,大多数主要效应量(分别为17/21或约81%和18/20或约85%),以及在元分析3中2/6或33%的主要效应量可以被准确再现(见表2)。也就是说,(a)元分析中提供了足够的信息或可以推断出这些信息;(b)相应的主要研究中报告了看似适当的数据,从而可以尝试重新计算出三项元分析中大约77%的主要效应量。在这些效应量中,有10个(约48%)、5个(25%)和1个(16%)能够被数值上准确再现或近似再现。我们在尝试再现所有三项元分析的主要效应量时遇到了相当大的困难,主要是由于这些研究的方法部分报告不足。这一过程需要多次提取和测试数据。在大多数情况下,从论文中无法知道元分析者是如何计算每个主要效应量的,我们不得不通过试错来找出主要研究中使用了哪些数值。表3列出了三项元分析中报告或缺失的相关信息。从表3可以看出,虽然所有三项元分析都报告了样本量和比较的组别,但没有一项报告了足够的信息来确保结果和计算方法的明确性。
表3. 与可重复性相关的元素以及每项元分析是否提供了这些信息。
元分析1
元分析2
元分析3
提取的数据
—
—
—
—
数据分析代码
—
—
—
—
主要效应量(例如,在树状图中)
+
+
+
+
效应量的抽样方差
—
—
—
—
效应量的置信区间
+
+
+
+
汇总效应量
+
+
+
+
计算的效应量类型(例如,Hedges' g)
—
—
+
样本量
+
+
+
+
每个效应量的结果测量(例如,“JHFT中的总潜伏期得分”)
+
+
+
—
关于结果的足够细节,以避免歧义(例如,当主要研究同时报告“上肢FMA”和“总FMA”时,使用“上肢FMA”)
—
—
—
—
选择该特定结果测量的理由
—
—
+
两个比较的组别是什么(例如,“CG:干预前的假手术,TG:干预后的ctDCS”)
+
+
+
+
主要研究设计(例如,RCT,交叉设计)
—
—
—
—
不同设计的效应量和抽样方差/标准误差公式
+
—
—
—
根据研究设计,报告的样本量代表什么(例如,组别与总N)
—
—
—
—
用于计算每个效应量的值类型(例如,均值和标准差与p值和样本量)
—
—
—
—
—
使用了哪些确切的值以及在哪里找到的(例如,p值报告在第x页第y行,或者均值和标准差报告在图z中)
—
—
—
—
—
用于运行元分析的软件
+
+
+
+
固定效应模型与随机效应模型
+
+
+
+
使用了哪种研究间异质性估计方法
—
—
—
—
—
注:+ 表示相应信息在所有主要研究中都有报告,但在某些主要研究中没有报告。在大多数情况下,我们不清楚为什么无法再现某个特定的主要效应量,但我们对某些主要效应量进行的大量尝试最终成功再现了报告的效应量,这让我们对无法准确再现这些效应量的原因有了一些了解:例如,所有三项元分析使用的值属于不同的结果,并且使用了非参数检验的p值(例如,中位数检验)。表S1–S3列出了所有三项元分析中所有再现的报告的主要效应量对、它们的相应可重复性分类以及如果适用的话,不可重复性的潜在原因。图1展示了三项元分析中报告的所有主要效应量及其再现对应值。在所有三项元分析中,再现的效应量平均比报告的值小0.18(最大值=1.08,最小值=-2.99)。平均绝对差异为0.37(最大值=2.99,最小值=0)。
3.2.2 汇总效应量的可重复性
由于所有三项元分析都报告使用Comprehensive Meta-Analysis软件拟合了随机效应模型,并且该软件默认通过Der-Simonian-Laird方法(DerSimonian和Laird 1986)估计研究间异质性,我们也使用了这些设置进行所有分析。虽然我们使用元分析中报告的主要效应量和从漏斗图提取的抽样方差或从置信区间转换得到的抽样方差来计算的总效应量是可重复的,但基于准确再现的主要效应量计算出的总效应量平均比报告的值小0.15点。受影响最大的是已经较小的元分析3,其基于两个准确再现的主要效应量计算出的总效应量并不显著。当将通过暴力方法再现的效应量加到准确再现的效应量上时,三项元分析的总效应量分别为0.70、0.40和0.65。
3.3 PRISMA合规性
所有三项元分析都报告遵守了PRISMA指南中的大部分条款。元分析1和2没有报告遵守任何报告指南。尽管如此,它们分别报告了27项PRISMA条款中的18项和19项内容。元分析3报告遵守了最新的PRISMA指南(Page, McKenzie等人,2021年),但我们评估了其对2009年版本条款的遵守情况,以确保与其他元分析的可比性。元分析3报告了27项条款中的25项内容。需要强调的是,所有三项元分析都充分描述了它们的资格标准,但没有一项描述了如何执行这些标准的具体过程。
3.4 发表偏倚
表2概述了元分析者为调查或控制发表偏倚所采取的措施。所有三项元分析都提到了发表偏倚,并应用了多种不同的测试来调查发表偏倚的存在。它们要么得出几乎没有偏倚的结论,要么根本没有得出结论。元分析1的作者得出结论,他们使用的测试“支持存在轻微的发表偏倚”(Kang等人,2016年,第348页)。同样,元分析2的结论是“所用研究中发表偏倚最小”(Kang等人,2018年,第5页)。元分析3没有提供明确的结论。在所有三项元分析中,只有元分析3报告采取了预防性措施来减轻其影响。这些措施包括多种旨在识别未发表研究的不同方法。
3.5 额外编码/分析
只有第三项元分析提到了异常值或有影响力的研究。他们进行了留一法分析,并报告称移除他们包含的六项研究中的任何一项都不会改变主要结果。我们的留一法分析表明,在所有三项元分析中都存在有影响力的研究(见图S2–S4)。尝试再现元分析时发现了进一步的方法学问题,这些问题并不直接涉及我们调查的主要方法学方面:所有三项元分析不加区分地结合了不同设计的主要研究。例如,它们使用相同的公式来计算控制组和交叉设计的效果量,这种做法忽略了在估计交叉研究的抽样方差时未考虑的偏倚或时间点之间的相关性(Borenstein和Hedges 2019;Madeyski和Kitchenham 2018;Morris和DeShon 2002)。此外,元分析者使用交叉试验的总样本量来代替治疗组和对照组的样本量,这可能会夸大这些成对比较的功效(这对发表偏倚测试尤其相关)。元分析者还忽略了一个问题,即效应量依赖性(Gleser和Olkin 2009),这在前两项元分析中尤其关键,因为它们从单个研究中得出了多个效应量。
4 讨论
本研究的目的是评估我们从tDCS-运动学习研究领域选出的三项有影响力的元分析的方法学质量。我们发现,尽管这些元分析在很大程度上满足了PRISMA(Moher等人,2009)等报告要求,但它们的报告内容过于简略,无法顺利进行再现。虽然基于从表格或图表中提取的值(以及异质性估计器的默认软件设置)可以再现汇总效应量,但相当数量的主要效应量无法再现。报告的主要效应量平均比再现的值要大。因此,当我们按照它们描述的程序进行操作时,无法在数值上再现所有元分析中报告的汇总效应量估计。关于发表偏倚的控制,只有元分析3报告搜索了灰色文献。虽然所有三项元分析都使用了几种发表偏倚检测方法,但它们大多使用了“传统”的方法,而没有讨论这些方法的假设或适用性。最显著的发现可能是元分析者在报告计算单个效应量的方式与其实际计算方式之间存在很大差异。这些差异通常与使用的结果有关。例如,有多个案例中,元分析报告使用了结果X,而它们似乎使用的是从基线开始的结果变化。当主要研究中同时报告了结果和结果变化时,这种情况尤其令人困惑。总体而言,所有包含在元分析中的主要研究都报告了多个结果的值/测试,而元分析3是唯一一个提供了理由的,尽管这个理由很模糊(即,他们使用了主要研究定义的主要结果)。在大多数情况下,我们无法推断出这些情况是如何发生的,因为元分析1和2的作者没有回应我们关于数据或数据分析代码或协议的要求,元分析3的作者根本没有回应我们的电子邮件。总的来说,我们在可重复性方面的努力与Lakens等人(2017年)和Maassen等人(2020年)遇到了类似的困难。尽管我们使用较少的主要效应量计算了所有三项元分析的汇总效应量(由于方法学上不可再现的效应量),但我们的任何再现都没有像G?tzsche等人(2007年)或Ford等人(2010年)的综述那样导致汇总效应量估计的显著变化。例如,没有一个汇总效应量估计在再现版本中被完全否定或改变符号。然而,我们记录了一些主要效应量计算的随意方式以及一些错误。鉴于此,遵循方法学指南进行再现可能比试图忠实于元分析者的工作流程会得到不同的结果。有一些迹象表明,元分析者对其程序的偏离导致了汇总效应量的高估。
4.1 建议
尽管我们审查的元分析在某些方面是适当的(例如,它们都报告了显示所有效应量及其置信区间的树状图),但显然还有改进的空间。为了弥补报告质量和可重复性的不足,需要更详细的方法学程序描述,理想情况下应附有原始数据和数据分析代码(Lakens等人,2016年;Page, Moher等人,2021年)。由于发表偏倚可能严重影响元分析的结果,我们建议(a)采取措施控制发表偏倚(Vevea等人,2019年);(b)应用更广泛的测试程序,包括使用不同方法和不同参数设置进行敏感性分析,并讨论相应的假设。在处理高度异质性的效应量集合时,van Aert等人(2016年)建议根据理论和方法学考虑将集合分成子组,然后再进行偏倚测试。Inzlicht等人(2015年)建议根据不同的发表偏倚测试(使用不同的假设)展示一系列可能的汇总效应量。对于与元分析合成相关方面的缺陷,无法提供显而易见的解决方案。原始研究的报告质量存在巨大差异,元分析者通常别无选择,只能使用原始研究中报告的数据(即,当联系原始研究的作者以获取更多数据不可行或无果时,参见Higgins等人2019年的研究)。因此,元分析者有时不得不采用替代方法来计算某些指标,这是完全可以理解的。然而,也有更好的方法可以做到这一点,而不是元分析者似乎选择的方法。例如,元分析者本可以基于中位数及其相应的四分位数范围来估计均值和标准差,然后根据这些均值和标准差来计算效应量(ES),这样得到的结果将与基于实际均值和标准差计算出的ES更为可比(参见Hozo等人2005年;Wan等人2014年的研究)。同样,在处理交叉研究时,也有方法可以计算ES及其相应的抽样方差(参见Madeyski和Kitchenham 2018年的研究)。使用针对被试内设计的公式来估计ES会考虑到时间点之间的相关性(参见Borenstein和Hedges 2019年的研究)。
4.2 限制
我们的研究存在几个限制。首先,我们根据主要是实际考虑来定义排除标准。这些标准的高度限制性可能导致所选的元分析样本不能代表整个领域的情况。我们的非系统性文献搜索和研究选择策略可能加剧了这一问题。此外,我们的资格标准可能与我们审查的元分析的质量有关。显然,由于我们只验证了三个非系统性选择的元分析,因此无法将其结果推广到整个领域。尽管如此,这些结果仍为我们提供了关于该领域某些元分析可重复性的信息。其次,尽管我们采取了措施来最小化我们在评估可重复性时可能出现的数据提取错误,但不能排除在提取其他变量数据时(例如,PRISMA依从性)的潜在错误影响了我们的结果,因为数据提取和编码没有经过其他人的检查(参见Buscemi等人2006年;Jones等人2005年的研究)。第三,我们关注的是数据提取和计算的可重复性,而我们的研究没有调查原始研究搜索的可重复性。然而,这也是可重复性的一个重要方面。第四,在整个ES再现过程中,我们必须做出主观决策,这些决策不可能保证完全没有错误。值得注意的是,判断我们用来再现某个原始ES的程序是否严格遵循了元分析者声称使用的程序并不总是那么简单。例如,我们通过平均两个结果的均值和标准差来近似计算元分析3中的ES No. 5,并根据平均值计算了ES。随后我们将这个ES归类为可以忠实再现的,因为元分析者报告说他们使用了每个原始研究定义的主要结果,而这个特定的原始研究也将这两个结果都定义为主要结果。然而,由于元分析者没有提供关于他们如何计算ES的任何信息,也没有表明他们进行了平均处理,因此几乎可以肯定他们的计算方法有所不同,否则我们本可以像再现其他可重复的ES那样精确到小数点后三位。其他类似的例子可以在项目的GitHub仓库中的可重复性报告中找到(taymalsalti.github.io/tDCS_meta-analysis/02_reproducibility_report.html)。未来的类似工作可能会致力于更细致和深入地评估报告质量,超越报告指南设定的最低要求;进行更全面的可重复性测试,不仅限于数据提取和ES计算;以及彻底调查对分析决策(特别是数据选择和结果使用)变化的鲁棒性;并采取更原则性的方法来评估出版偏倚。
4.3 含义
总的来说,我们的结果表明,在研究tDCS对运动学习影响的元分析中,也存在着与邻近领域元分析中普遍存在的方法学限制。鉴于元分析在“证据层次结构”中的高地位(Evans 2003),它们可能在科学出版的有限范围内以及更广泛的领域内都具有影响力。例如,临床医生可以依赖它们来做出治疗患者的决策。我们验证的三个元分析被引用了超过350次(截至2025年11月28日,分别被引用了333次、31次和18次,根据Google Scholar的数据),这表明它们可能已经对研究人员和其他对tDCS效果感兴趣的方面产生了重大影响。第一个元分析被Lefaucheur等人(2017年)引用,这是我们上面提到的概述tDCS临床使用指南的论文之一。我们认为,需要谨慎看待这类元分析的结果,并考虑到它们的局限性。引用这些元分析所报告证据的临床指南应该适当地对实践者进行警告,并详细讨论这些局限性所带来的不确定性。元分析者透明地报告和讨论其局限性将有助于评估它们所提供的证据的强度。
4.4 结论
我们希望为tDCS-运动学习研究的消费者提供动力,以便在决定使用tDCS时更批判性地评估元分析,并为未来的元分析者提供需要考虑的方面。我们绝不是想暗示上述解决方案很容易实现。尽管有关如何进行透明和可重复元分析的指南和教程非常丰富和全面(例如,Moreau和Gamble 2022年;Quintana 2015年),但不可否认的是,严格遵守指南并使元分析具有可重复性需要大量的时间和努力。同样,也不能期望实质性研究人员能够精通与进行元分析相关的每一个方法学/统计方面。包括控制出版偏倚的统计程序进步在内的指南,可能有助于研究人员进行元分析(例如,Vevea等人2019年)。更加重视开放科学实践,如预注册和数据及代码共享(Maassen等人2020年;Page, Moher等人2021年),也可能有助于推进元分析的发展。提供数据和代码有助于重新分析数据,并允许研究不同方法学决策对结果的影响及其敏感性(Taylor和Munafò 2016年;例如,Voracek等人2019年)。建议期刊要求元分析进行预注册或雇佣专业的统计审稿人(Hardwicke等人2019年)。最后,由于元分析结果的稳健性与它综合的原始研究的质量有关,因此不能期望元分析者承担所有的改进责任(Aguinis等人2011年;Borenstein等人2009年)。在追求可靠的累积科学的过程中,也必须支持努力来抵消或减轻tDCS原始文献中发现的方法学问题(例如,忽视了使用的tDCS参数的异质性,由于报告不完整而导致可重复性受损;Buch等人2017年)。这些努力包括列出在报告tDCS研究结果时应披露的所有方面的检查清单(Buch等人2017年),以及可以根据具体环境系统地确定最佳tDCS参数的统计模型(Lipka等人2021年)。更连贯的原始文献体系可能会导致更有信息量的综合分析。
作者贡献
Taym Alsalti:概念化、数据整理、形式分析、调查、方法论、项目管理、软件、可视化、初稿撰写、审阅和编辑。Ian Hussey:概念化、可视化、撰写、审阅和编辑。Malte Elson:概念化、撰写、审阅和编辑。Robert Krause:概念化、形式分析、撰写、审阅和编辑。Steffi Pohl:概念化、形式分析、验证、撰写、审阅和编辑。
致谢
我们感谢Esther Maassen在这个项目的各个阶段给予的慷慨支持和投入。开放获取资金由Projekt DEAL提供和组织。
伦理声明
作者没有需要报告的内容。
利益冲突
作者声明没有利益冲突。
数据可用性声明
数据可在https://github.com/TaymAlsalti/tDCS_meta-analysis/tree/main/data获取。
同行评审
本文的同行评审历史可在https://www.webofscience.com/api/gateway/wos/peer-review/10.1111/ejn.70533查看。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号