Science质疑实验重复性失败研究

　　

——两项关于心理学与经济学的研究指出实验重现性并不是那么可靠

生物通报道：去年一项重现100项心理学研究发现的结果令人担忧，实验数据表明其中仅有39项公开发表的研究可以重现，而且一些早期研究表明，癌症生物学和药物发现方面的可重复性也很低。然而3月3日发表在Science杂志上一篇文章指出，去年发现这篇研究论文存在方法学上的缺陷。

“当你听说有人重复了一项研究的时候，不要轻信，”文章作者，来自哈佛大学的心理学研究员Daniel Gilbert说，“这需要仔细观察，看看他们 是否真的重现了实验”。

去年，Science杂志发表了题为“Estimating the reproducibility of psychological science”的文章，指出尽管研究人员能够重复出最近的100项心理学研究的原始实验，但是其中仅有不到一半的重复实验结果与原研究结果一致。

而且这项研究的作者还给出了为什么重复实验会与原始结果不同的原因分析，他们认为实验样品的差异、实验设定的差异以及实验完成的质量差异是造成无法重复的原因。

然而最新文章中，Gilbert等人认为这一重复性项目存在三个重大错误：误差——构建“重复性”实验并没有真正重现原有实验；低能量设计——只进行了一次尝试，而没有进行多次尝试；偏见——采用的是倾向于失败的实验方法。

由此Gilbert等人指出低估了这项研究的研究方法设计糟糕，不恰当地应用和引入了错误的统计数据，因此结果严重高估了失败率，“它导致了许多科学期刊的政策变化，导致基金捐助机构优先级的变化，也严重破坏了心理学的公众认知。”

他们指出此前的研究并非随机选择需要复制的研究，而是创建一个特殊的、随机的抽样规则列表，该列表从样本中排除大部分心理学分支学科，排除那些在研究方法上可能是最好的一类研究。

但原有项目的弗吉尼亚大学心理学家Brian Nosek则认为，“如果从原始研究中观察到了不同的结果，那么就代表原始研究是错误的，复制失败，或者说两者都是正确的，只是不同结果解释存在差异而已。”

此外，上周发表在Science的另外一项复制影响力大的经济学杂志中发表的实验室结果的研究中，研究人员发现能复制原案例中61%的结果。

这些研究人员重复了2011年至2014年间发表于《美国经济评论》和《经济学季刊》等刊物上的18项实验研究，为了确保一致性，所有的复制和分析计划都在项目网址上公开而且也送交给原作者进行核实。

最终结果表明，他们能复制11项研究中的原来的结果（即61%的结果）。另外还有3项研究相对接近于能被复制。

（生物通：张迪）

原文摘要：

Comment on “Estimating the reproducibility of psychological science”

A paper from the Open Science Collaboration (Research Articles, 28 August 2015, aac4716) attempting to replicate 100 published studies suggests that the reproducibility of psychological science is surprisingly low. We show that this article contains three statistical errors and provides no support for such a conclusion. Indeed, the data are consistent with the opposite conclusion, namely, that the reproducibility of psychological science is quite high.