Nature关注：半数顶级癌症研究不能复制

模糊的实验方案是研究人员遇到的复制障碍之一。

　　

           

一项耗资200万美元、历时8年、试图复制有影响力的临床前癌症研究论文的研究终于公布了它的最终结果——而且令人不安。

eLife的再现性项目：癌症生物学（RPCB）团队报告说，经评估的实验中只有不到一半经得起审查。该项目是迄今为止进行的最稳健的再现性研究之一，它记录了包括模糊的研究方案和不合作的作者在内的障碍如何将该倡议推迟了五年，并将其范围缩小了一半。

“这些结果并不令人惊讶。同时，他们令人震惊，”Brian Nosek说，他是RPCB的调查员和弗吉尼亚州夏洛茨维尔开放科学中心的执行主任。虽然团队最初计划重复53篇论文中的193个实验，但最终只跑了23篇论文中的50个实验。

再现性:对科学论文的期望更少

没有参与这项研究的肿瘤学家、马萨诸塞州剑桥帕台农治疗公司(Parthenon Therapeutics)联合创始人格伦·贝格利(Glenn Begley)说，这种低复制率“坦率地说，令人无法容忍”。但他也认为这并非意外。2012年，Begley的团队在安进公司(Amgen)帮助引起了人们对“再现危机”越来越多的证据的关注，即人们担心许多研究发现无法被复制。在过去的十年里，他的血液学和肿瘤学团队评估了53篇具有里程碑意义的论文，尽管与论文的原作者一起工作，但只有6篇论文的结果得到了证实。

其他分析报告了在药物发现、神经科学和心理学领域的低复制率。

RPCB是开放科学中心和科学交流中心(位于加州帕洛阿尔托的一个研究服务市场)之间的合作伙伴关系，于2013年启动。在总部位于德克萨斯州休斯顿的慈善投资基金阿诺德风险投资公司的资助下，合作者开始系统地重现实验，他们在2010 - 2012年发表了53篇备受瞩目的论文，这些论文发表在《自然》、《科学》和《细胞》等顶级杂志上。

该项目专注于临床前癌症研究，因为早期的低再生率暗示来自太空——特别是动物研究，似乎很难复制。通过选择高影响力的论文，该团队将重点放在最能塑造该领域的研究上。

RPCB于2017年开始发表其研究结果，这些结果暗示着未来会出现混乱的结果。研究人员在12月7日发表的两篇论文中总结了他们的总体发现。

第一篇论文对研究人员遇到的障碍进行了分类。例如，对于他们所关注的每一个实验，他们都需要联系作者以获得实验设计方面的建议，因为原始论文缺乏数据和细节。他们认为26%的作者“非常乐于助人”，有时要花几个月的时间寻找答案并分享试剂。但32%的人“一点帮助都没有”——经常完全忽略查询。

“每个人都在谈论这个问题。但在这里，我们实际上得到了关于它有多普遍的数据，”Manoj Lalu说，他是一位在加拿大渥太华医院研究所研究数据再现性的临床研究员。

首项癌症再现性研究发布结果

这种缺乏合作，加上实验开始后需要修改或彻底修改协议，造成了损失。平均而言，该团队需要197周的时间来重复一项研究。由于每项实验的成本总计达5.3万美元——大约是该团队最初分配的两倍——该项目的预算无法满足其最初的雄心。

第二项研究详细研究了这些实验的总体结果。根据一项分析，只有46%的重复实验证实了原始结果。平均而言，研究人员观察到的效应大小比最初报道的要小85%。

影响大小最大的实验是那些最有可能被复制的实验。动物实验表现最差，主要是因为体内实验产生的效果比体外实验小。

并不是所有人都相信这项研究有价值。反对的声音尤其来自那些发现没有被成功复制的研究人员。

“我不确定这些一次性实验有多大价值，”加州拉霍亚市桑福德伯纳姆Prebys的癌症生物学家Erkki Ruoslahti说。2017年，RPCB团队报告说，它无法证实Ruoslahti团队的发现，但Ruoslahti反驳说，外部实验室至少重复了20次有争议的结果。这项工作产生的一种候选药物目前正处于二期试验阶段。“我很难相信有一半的文件是无效的，”他说。

纽约布法罗罗斯威尔公园综合癌症中心的癌症生物学家Dean Tang也持谨慎态度。RPCB在2019年报告说，它无法复制他的实验室的一些工作。但是，他认为，复制者偏离了他们的实验计划，依赖的细胞系更少，与原始研究中使用的细胞系不同，并且没有重复检查他们自己的工作。“我们相信所有已发表的作品在被打折之前至少应该有3次尝试复制，”Tagn和一位同事在2019年回应该项目的发现时写道。

但是，巴西再生计划的协调人、巴西里约热内卢联邦大学的神经科学家Olavo Amaral说，复制极其困难。他说，你永远不可能做到完全一样。如果你上下摇晃管子而不是左右摇晃，这有关系吗?你如何解释不同的基线读数?他说，弄清楚何时以及如何遵守实验规程是新兴复制科学的一部分。

 

理解可再现性改革失败的真正原因

Nosek说，仅仅复制失败并不一定会引起关注。一些初步的发现是令人分心的，但相互矛盾的后续结果可能导致更深入的科学见解。Nosek补充说，建立RPCB不是为了呼吁或使特定的研究无效。复制，就像科学一样，是关于所有的证据。相反，他说，目标是捕捉驱动因素和重现性危机的规模，着眼于系统级解决方案。

RPCB的项目负责人、开放科学中心的研究主任Tim Errington说，真正的问题在于，在噪音中寻找信号浪费了时间、金钱和精力。“我们如何利用我们的资源?我们是如何学习新知识的?在这里，我们可以不断推动跨学科发展。

提出的解决办法并不缺乏:例如，体外和动物研究可以受益于盲法、更大的样本、更严格的统计和预先登记的研究计划。研究人员建议，论文应该少做声明，多提供证据。数据共享和报告要求需要纳入科学过程。

但是，利益相关者还需要解决阻碍复制的激励机制和研究文化，Nosek说。他指出，那些发表过备受瞩目的论文的研究人员，参与验证性分析没有什么好处，反而会损失很多。他说，复制尝试通常被视为威胁，而不是赞美或进步的机会。这种文化无助于这种自我纠正的风气。我们真的是在改变整个研究文化。

Lalu说，目前也很少有人支持那些表明某些方法不起作用的研究人员，或者那些专注于实验室之间差异的原因的研究人员。“希望这能让一些清醒的人重新思考我们将如何处理这一问题。”

部分人的态度已经发生变化的证据。“当我第一次展示我的发现时，人们非常不友好。现在，人们接受了这个问题，并询问需要发生什么来改变这一现状。”

1.Errington, T. M., Denis, A., Perfito, N., Iorns, E. & Nosek, B. A. eLife 10, e67995 (2021).

2.Errington, T. M. et al. eLife 10, e71601 (2021).

3.Yan. X. et al. eLife 8, e43511 (2019).