《Advances in Methods and Practices in Psychological Science》：Exploring the Impact of Nonlinearity on Effect Heterogeneity in Experimental Data
编辑推荐：
异质性（heterogeneity）已被提出作为改进心理与行为科学的一个框架，通过识别能够解释效应在多次重复研究（replications）之间差异的机制来推进学科发展。对此类差异的典型回应是寻找相关调节变量（moderators）——但通常收效甚微。研究人员
异质性（heterogeneity）已被提出作为改进心理与行为科学的一个框架，通过识别能够解释效应在多次重复研究（replications）之间差异的机制来推进学科发展。对此类差异的典型回应是寻找相关调节变量（moderators）——但通常收效甚微。研究人员认为，即便不存在调节变量，当基线水平（baseline levels）存在差异时，单调非线性关系（monotonic nonlinear relationships）也可能在多次重复研究之间产生异质性效应。为评估这一可能性，研究人员引入了四个异质性描述指标：效应异质性（effect heterogeneity）、对照组异质性（control-group heterogeneity）、截距-斜率相关（intercept-slope correlation，ISC）以及对照组均值与处理组均值之间的等级相关（rank correlation）。这些指标可刻画与线性、凹形（concave）或凸形（convex）函数关系相一致的模式。研究人员将该分析框架应用于初始的55个元分析多实验室数据集（meta-analytic multilab data sets）。所有呈现效应异质性的数据集同样表现出对照组异质性，且若干数据模式与凹形函数关系相符。在某些案例中，基线与效应之间的关联解释了效应异质性的相当大比例。此外，仅有少数数据集与单调非线性函数形式直接相悖。研究结果还表明，多实验室研究中的效应异质性反映了多样化的数据模式，而非支持将调节变量视为效应异质性的典型解释。研究人员讨论了该发现对多实验室与元分析实践、研究设计以及效应异质性解释的启示，并主张将异质性框架的解释对象从仅关注效应量分布（effect-size distribution）转向对异质性更细致的描述。
论文解读
一、研究背景与问题提出
在心理与行为科学领域，元分析（meta-analysis）通常以异质性（heterogeneity）指标来报告综合证据的一致性，即各重复研究效应在扣除抽样误差后仍未解释的方差。这种不一致性通常被研究者视为进一步探索和细化理论的契机，最常见的做法是寻找潜在的协变量或调节变量（moderators）来解释效应异质性。然而，大规模多实验室项目（multilab projects）的实证结果表明，心理学研究中的异质性往往超出预期，而寻找调节变量的尝试却收效甚微。例如，Many Labs系列项目（Klein等，2014，2018）以及多项注册重复研究报告均显示，即使排除了研究间的概念差异和发表偏倚等典型来源，效应异质性依然显著存在，而试图通过调节变量解释这种异质性的努力大多未能成功。
研究人员指出，习惯性地寻求调节变量来解释效应异质性可能产生误导性结果，因为其他因素——如测量误差、范围限制（range restrictions）、残差方差异质性或量表选择——也可能对异质性有所贡献。更重要的是，自变量（independent variable，IV）与因变量（dependent variable，DV）之间的非线性关系可能是效应异质性的另一潜在来源。Bauer和Cai（2009）已在观察性设计中证明了这一机制：当模型未反映非线性关系时，会诱发虚假的效应异质性。然而，在比较两个独立实验组均值的被试间设计（between-subjects designs）中，研究者可用的信息仅为参与者的分类组别归属，无法通过拟合非线性模型来考察潜在的函数关系，因此非线性作为效应异质性的贡献因素在实验性组间比较中鲜少被考虑。
基于上述背景，本研究的核心目标是阐明并探索实验性独立组比较中IV与DV之间的函数关系如何影响效应异质性及相关元分析模型参数。通过将函数形式与这些参数的特定模式相关联，研究人员旨在发展一种分析实践，使效应异质性的探索性解释能够紧密联系实证证据。
二、研究设计与技术方法
研究人员首先从概念层面论证了单调非线性函数关系如何在不同基线水平下产生异质性效应，并提出了四个异质性描述指标。随后，研究人员利用DRIPHT存储库（可在OSF平台获取，
https://osf.io/g2fzq/）中的公开数据开展实证分析。该存储库包含2023年之前发表的大型元分析多实验室项目的55个数据集，涵盖Many Labs 1（ML1）、Many Labs 2（ML2）、Many Labs 3（ML3）、多个多实验室注册重复报告项目以及心理科学加速器（Psychological Science Accelerator，PSA）的四个项目。这些项目均在不同数据收集站点实施了高功效的直接重复研究。
在分析方法上，研究人员采用两阶段元分析（two-stage meta-analyses）评估效应异质性和对照组异质性，使用基于残差异质性Q统计量的零假设显著性检验来分类效应和对照组均值是否异质。对于截距-斜率相关（ISC）和等级相关的估计，研究人员采用基于brms接口（Version 2.22.0）调用Stan的一阶段元分析（one-stage meta-analyses）方法。所有分析均在R（Version 4.3.2）环境中实现，两阶段元分析使用metafor包，分析代码已公开在GitHub和OSF存储库中。
三、研究结果
数据筛选与分类结果
在55个数据集中，有35个数据集的效应同质性假设未被拒绝，剩余20个数据集被判定为效应异质。经设计一致性评估后，9个数据集因实验条件的操纵属于类别性差异而非数量性差异而被排除，最终11个数据集纳入Q1和Q2的分析，其中3个为对照组设计（control-condition designs），8个为参照组设计（reference-condition designs）。对于Q3，研究人员将范围限定为对照组设计，在12个被归类为同质非零效应的数据集中，经排除后保留3个数据集。
Q1：异质性描述指标的模式
研究结果显示，所有呈现效应异质性的数据集均同时表现出对照组异质性，没有任何一个数据集在效应异质的同时对照组均值同质。这一发现与非线性函数关系作为效应异质性潜在来源的前提条件一致——对照组异质性是非线性关系诱发效应异质性的必要条件。在纳入分析的11个数据集中，多个数据集的模式与凹形函数关系相符，即对照组均值与效应量呈负相关。仅有少数数据集的模式与单调非线性函数形式直接相悖。
Q2：非线性函数对效应异质性的解释比例
研究人员利用ISC2作为估计指标，考察凹形或凸形函数关系能够解释的效应异质性比例。对于IV与DV之间呈指数函数关系的情形，ISC2可直接估计函数形式所解释的效应异质性比例；对于其他凹形或凸形函数，ISC2至少提供了该比例的粗略估计。结果表明，在某些数据集中，基线与效应之间的关联解释了效应异质性的相当大比例，说明非线性函数关系可能是这些数据集中效应异质性的重要贡献因素。
Q3：对照组异质但效应同质的情形
在Q3的分析中，研究人员考察了对照组均值异质但效应同质的数据集，这种模式与线性函数关系一致，因为凹形或凸形函数会预期基线变异伴随效应变异。在纳入分析的3个数据集中，这种模式的出现表明线性关系在多实验室数据中具有一定程度的合理性。然而，这类数据集的数量相对有限，提示线性关系并非多实验室数据的普遍特征。
四、讨论与结论
研究人员的分析框架将异质性描述从仅关注效应量分布扩展到更丰富的描述维度，包括对照组异质性、截距-斜率相关以及对照组与处理组均值之间的等级相关。这些描述指标并非对非线性的检验，而是提供信息以评估不同异质性生成机制的合理性。研究结果表明，多实验室研究中的效应异质性反映了多样化的数据模式，而非为将调节变量视为效应异质性的典型解释提供支持。
研究人员特别指出，等级相关指标有助于识别某些人为异质性来源。例如，天花板效应（ceiling effects）在前三个描述指标上可能产生与凹形关系相似的模式，但等级相关趋向于零，从而有助于区分真实非线性关系与测量范围限制造成的人为模式。
在实践层面，研究人员主张从仅将效应量分布作为异质性框架的解释对象，转向对异质性更细致的描述。这一转变对多实验室研究实践、元分析方法以及研究设计均有重要启示。对于研究设计而言，对照组设计（control-condition designs）比参照组设计（reference-condition designs）更有利于异质性描述指标的解释，因为前者提供的对照组均值可直接解释为未受操纵的基线水平。研究人员同时提醒，在参照组设计中，若操纵极为有效，凹形关系可能使参照组均值趋于异质而处理组均值趋于同质，凸形关系则可能产生相反模式，这些情况可能影响描述指标的解读。
综上所述，研究人员认为，非线性单调函数关系为效应异质性提供了一种不同于调节变量的解释机制，而所提出的四个异质性描述指标为评估这种机制在实证数据中的合理性提供了分析工具。研究结果不支持将寻找调节变量作为解释效应异质性的默认策略，而是呼吁研究者更全面地描述和解释异质性结构。
