《Advances in Methods and Practices in Psychological Science》:This Is the Reason for External Replication: Response to Aungle et al.
编辑推荐:
Aungle和Langer(2023)曾支持一种心身疗愈的形式,并以一项关于观察到的轻微损伤愈合与时间感知流逝之间关系的新研究以及先前发现类似效应的实验文献综述作为证据。在Gelman和Brown(2024)的文章中,研究人员表达了怀疑态度,指出了Aungle
Aungle和Langer(2023)曾支持一种心身疗愈的形式,并以一项关于观察到的轻微损伤愈合与时间感知流逝之间关系的新研究以及先前发现类似效应的实验文献综述作为证据。在Gelman和Brown(2024)的文章中,研究人员表达了怀疑态度,指出了Aungle和Langer实验数据在分析和推断方面存在的问题,以及他们对过往文献的引用存在不准确和误导之处。作为回应,Aungle等人(2026)答复了研究人员的批评,认为即使在修正其数据分析错误之后,其统计证据仍然有力,同时辩称研究人员对其所引用文献的描述是草率的。研究人员撰写2024年那篇文章的理由主要并非针对心身疗愈本身,而是为了考察研究者可能欺骗自己和他人方式:其一,高估自身研究证据的强度;其二,错误地从文献中获得确认(Gelman & Brown, 2024)。就心身疗愈的理念能够被发现、分离并变得有用而言,研究人员认为这最好通过具有明确定义的治疗和仔细测量的实验来完成,并通过外部复制(external replication)加以验证。研究人员获得本刊提供的回应Aungle等人(2026)的机会,在此以研究人员认为适合当前讨论阶段的最简短形式进行回应。研究人员2024年的文章提出了两个研究人员仍然坚持的关键观点(Gelman & Brown, 2024):第一,研究人员认为Aungle和Langer(2023)实验的数据并没有提供令人信服的心身疗愈证据,研究人员也不认为该理论具有说服力——除模糊地提及安慰剂效应(placebo effect)之外,尚未提出任何机制来解释时间操纵如何加速瘀伤恢复——这使研究人员质疑过往证据。第二,研究人员并未试图概述这一领域的全部文献,甚至没有涵盖Aungle和Langer引用的所有文章。研究人员仔细审阅了其中被用作支持其论点的三项引用,但没有一项符合Aungle和Langer的描述。Aungle等人(2026)的文章文笔出色,可被解读为为心身疗愈效应在总体上、在Aungle和Langer(2023)的实验中以及在所引文献中的存在提供了一个强有力的论据。然而,这向研究人员表明的主要是语言的延展性——Aungle等人即使在缺乏任何可靠证据的情况下,仍能写出有说服力的论证。语言论证是有价值的——如果研究人员不这样认为,就不会撰写2024年的文章(Gelman & Brown, 2024)或当前的再回应——但在评估科学理论时,外部复制(external replication)无可替代。
## 论文解读:外部复制的必要性——对心身疗愈研究证据的再审视
### 一、研究背景与问题
心身疗愈(mind–body healing)的理念认为心理因素能够直接影响生理结果,这一主张在心理学和医学领域有着悠久的历史,同时也伴随着持续的争议。Aungle和Langer(2023)发表了一项实验研究,声称通过操纵参与者对时间流逝的感知可以加速轻微损伤(如瘀伤)的愈合速度。该研究结合文献综述,试图为心身疗愈提供综合证据。然而,这些主张的强度和可靠性引发了学术界的质疑。Gelman和Brown(2024)对此进行了批评性分析,指出实验统计分析和文献引用两方面均存在严重问题。Aungle等人(2026)随后发表回应文章,声称已修正数据分析错误并认为统计证据仍具说服力,同时批评Gelman和Brown对文献的讨论不够全面。本文是Gelman和Brown对Aungle等人回应的再回应,旨在澄清研究人员的立场,并进一步论证外部复制在科学理论评估中的核心地位。
### 二、研究目的
本研究的核心目的并非仅针对心身疗愈这一具体理论,而是借此案例考察科学研究中普遍存在的两个问题:一是研究人员如何通过未预注册的分析决策(即"研究者自由度",researcher degrees of freedom)高估自身证据的强度;二是如何通过错误描述和选择性引用过往文献来获取虚假的文献支持。研究人员旨在强调,在缺乏外部复制验证的情况下,任何统计推论和文献引用都不能作为科学结论的可靠基础。
### 三、关键技术方法
本研究的分析基于对两项数据的系统性评估。第一项是Aungle和Langer(2023)的实验数据(样本来源于公开的实验报告),第二项是与其相关的3篇引用文献的审读,分别涉及皮肤刺激反应、毒藤接触实验和酒店客房服务员运动与健康研究。与既往研究中未使用原始队列数据,采用了针对统计推断的再分析框架,并结合了关于研究者自由度(即数据分析中不可避免的灵活性)的研究(Gelman & Loken, 2014)。在人种学背景下对样本来源的说明:Aungle和Langer(2023)的实验样本来源为公开报告中的大学心理学研究参与者。此外,Aungle等人(2026)在其回复中引用了一项基于美国国家健康与营养调查(National Health and Nutrition Examination Survey, NHANES)的数据研究(Zahrt & Crum, 2017),该数据为公开的二级观测数据。本研究基于公开文献数据进行批判性再分析,不涉及直接人体实验参与。
### 四、研究结果
**关于实验证据的评估**
研究人员不认为Aungle和Langer(2023)提供的数据构成心身疗愈的有力证据。尽管在矫正数据后,56分钟条件对比14分钟条件的t值为3.0,28分钟条件对比14分钟条件的t值为0.9,但这些结果不能被视为有效证据。根本原因在于:研究者自由度未被有效控制,且统计显著性本身无法支持特定机制解释(如心身疗愈预期下的时序假设),这与测量偏差或心理因素与拔罐机制的交互的解释在统计上并不能区分。此外,尚未控制的多种潜在比较在经典框架或贝叶斯框架中都不会产生一致效应。
**关于文献审读**
Aungle等人(2026)在回应中指出研究人员仅讨论了引用列表中的3篇文献(而非28篇),但研究人员澄清其目的并非做传述性综述。研究人员逐一检查了这三篇被用来支持心身疗愈主张的引文,均发现以下事实与原文不符:(1)关于"皮肤刺激后,医师保证加速愈合"的实验,存在研究者自由度问题,且仅以z = 1.96(p = .05)为边界条件。(2)所谓"毒葛"实验(即Ikemi & Nakagawa, 1962),实际为对13名男孩的定性研究,实验材料并非真正的毒葛,而是一个未经控制的定性研究,并且据2015年的综述从未被重复。(3)酒店客房服务员运动研究,实际上并未表明实验组保持相同饮食和体力活动;自报运动增加,且评估期间是否保持饮食与活动不变,并未得到有效控制。因此,三项引用均被证实为不准确,这直接动摇了心身疗愈假说在文献层面的基础。
**统计问题的进一步澄清**
关于Aungle等人(2026)对Gelman和Brown(2024)"可能测试了多种影响愈合并仅报告了显著结果的因素"的理解,研究人员指出并非暗示该实验存在问题。研究人员陈述的是:在大量分析路径未登记(nonpreregistered)的情况下,若分析依据观察到的数据决定,则路径灵活性本身就足以解释许多显著结果(Gelman & Loken, 2014)。在Aungle和Langer(2023)的实验中,个体层面的斜率方差尤其大(一个条件下约为均值的2倍,另一条件约为8倍),这意味着即使总体平均结果符号稳定,个体水平的影响也极不稳定。即便以贝叶斯分层模型或其他统计工具处理,结果也不足以支持存在稳定效应的结论。
### 五、讨论与结论翻译
讨论部分是研究人员的核心论点:外部复制(external replication)是评估科学主张的唯一可靠标准。Aungle等人(2026)的连贯书面论证并未提供所短缺的证据,反而展示了语言在缺乏实证时的可塑性。在本案背景下,一个"大而惊人"的主张若为真("big if true"),其意义远远超出某一小组实验。然而,鉴于缺乏可重复性和明确的理论机制——除了模糊的安慰剂效应外——该主张的科学地位不应当被强调。论文还指出,如果心身疗愈在生理学上确实存在显著效果,则应能转化为可重复的研究结果,并能经受预注册复制研究。相反,现实中未见此类转化。研究人员也指出,无法保证这一主张必然为假,但强调其证据并未达到科学接受的标准。
翻译研究结论部分:研究人员就此得出的结论是——数据与文献支持均不足以确认心身疗愈理论的真实性。Aungle和Langer(2023)对自身研究的过度解读、数据处理过程中的自由度以及对过往文献的不准确引用,以及Aungle等人(2026)在回应中对有偏引文继续依赖的做法,共同构成了一种"驶过式研究"文化的示例,在这类研究中,为了支持所声称的效果,数据的复杂性、噪音以及分析的选择被忽视,使研究结果呈现为确定且可重复的科学发现,而实际上并没有经过独立验证。本研究呼吁以严格的预注册复制和机制研究取代事后推理,作为科学判断的基础。