《Cortex》：False discovery rate correction promotes confounded neuroimaging designs
编辑推荐：
错误发现率（False Discovery Rate, FDR）校正是神经影像研究中处理多重比较问题的流行且实用的方法。本研究描述FDR校正的一个潜在问题。具体而言，FDR的使用倾向于促进控制不佳的实验发表。这是因为脑内某些区域的显著假设检验结果会降低其他区域
错误发现率（False Discovery Rate, FDR）校正是神经影像研究中处理多重比较问题的流行且实用的方法。本研究描述FDR校正的一个潜在问题。具体而言，FDR的使用倾向于促进控制不佳的实验发表。这是因为脑内某些区域的显著假设检验结果会降低其他区域的显著性阈值。通常，这种自适应阈值设定是FDR的一个特征。然而，当混淆设计产生虚假激活时，该特征可能成为问题，因为相对于控制良好的研究，这些虚假激活会降低脑内其他区域的显著性阈值。研究人员使用蒙特卡洛模拟演示了这一基本现象，并进一步模拟估计该现象如何影响更真实的混淆场景以及如何与发表偏倚相互作用。最后提出了缓解方法。
多重比较问题（Tukey, 1953）是大多数功能性磁共振成像（functional magnetic resonance imaging, fMRI）研究必须解决的问题。这些研究通常需要对数百个区域或数十万个体素同时进行假设检验（Holmes et al., 1996; Johnson et al., 2010）。在这些研究中，多重比较校正被广泛认为是必要的（Bennett et al., 2009），且实际上是发表的最低方法学要求。已发展出多种技术来解决这一问题。本研究聚焦于两类算法：族错误率（Family-Wise Error Rate, FWER）校正和FDR校正。通过模拟，本研究表明FDR校正的一个特征——其自适应阈值——在存在混淆实验设计时会变成缺陷。进一步模拟显示，如果这一缺陷与发表偏倚相互作用，可能导致混淆设计的优先发表。
FWER和FDR校正在控制假阳性率的方式上存在差异。FWER校正试图控制一族检验中任何假阳性的风险（Nichols & Hayasaka, 2003）——通常将该概率控制在传统的p < .05水平。相比之下，FDR校正采用不同的标准：与其避免一族检验中的任何假阳性，FDR接受所检测到的阳性结果中可能有一部分是假阳性，而是旨在限制假阳性所占的比例（即错误发现）（Benjamini & Hochberg, 1995）。同样，FDR最常见的目标比例是q < .05的假阳性，但这一惯例 arguably 不如p < .05阈值周围的惯例严格，使用户在适当时有更多自由裁量权来选择替代目标。
FDR本质上是一种自适应校正方法，其严格程度取决于总体阳性率。阳性结果越多，设定的阈值越宽松；阳性结果越少，阈值越保守。在一个极端，当阳性结果趋近于零时，FDR渐近地接近FWER的严格程度。在所有其他情况下，FDR在某种程度上比相同的FWER校正更宽松。在另一个极端，当大比例检验产生阳性结果时，自适应FDR所隐含的逐检验阈值可能 paradoxically 变得比甚至未校正的p < .05阈值更不严格（Reiss et al., 2012）。与FWER相比，FDR的自适应特性能更好地扩展到更大的多重比较问题，而FWER可能变得过于严格（Logan & Rowe, 2004）。值得注意的是，本研究关注的FDR方法实际上是最不具自适应性的——Benjamini-Hochberg（BH）方法（Benjamini & Hochberg, 1995）。两阶段变体（Benjamini et al., 2006）和Storey程序（Storey, 2002）更具自适应性，在神经影像研究中提供更优的检验力（Chen et al., 2009）。研究人员在此关注BH程序作为三者中最不具自适应性的，以表明这一问题在一定程度上影响所有FDR校正的变体。
FDR的自适应性被许多人视为其主要特征，因为它有助于更恰当地平衡假阳性和假阴性的风险（Lieberman & Cunningham, 2009）。不幸的是，混淆变量可能将这一特征变成缺陷。这是因为FDR校正无法辨别显著检验的原因。在实践中，特定体素或脑区可能显示显著效应，这可能是由实验操作 genuinely 引起的，但也可能是由实验设计中的混淆变量导致的。FDR校正无法区分这两种情况：无论哪种方式，每个额外的显著结果都会边际降低脑内其他区域的显著性阈值。这一点的含义似乎是不可取的：
设想两个研究团队独立设计fMRI实验来检验关于高级认知过程（如心理理论）涉及区域的相同假设。A团队设计了一个非常干净的实验，没有任何主要混淆变量。B团队设计了一个稍混乱的实验，无意中在其条件之间引入了视觉混淆变量。在两个实验中，真实任务效应在大小和空间范围上完全相同。两个团队都对其结果应用FDR校正。A团队未观察到显著效应。然而，在B团队的案例中，由于视觉皮层中大量显著体素的存在，显著性门槛降低，因此他们也在视觉皮层之外观察到了（真实的）任务效应。两个团队都提交了稿件，相同的审稿人被分配审稿。审稿人表现出对显著结果的有据可查的偏好（Jennings & Van Horn, 2012; A. Thornton & Lee, 2000），这导致了发表偏倚。B团队的论文被接受，而A团队的论文被拒绝，尽管B团队设计了比A团队更差（即混淆）的实验。此外，B团队的论文以其混淆变量污染了文献，不恰当地夸大了视觉皮层在心理理论中作用的元分析估计。相比之下，如果两个团队都使用FWER校正，这一切都不会发生：无论视觉皮层其他部位可能存在什么混淆效应，结果要么对两个团队都显著（如果真实效应较大），要么对两个团队都不显著（如果效应较小）。
以下模拟定量说明了这些问题。首先，使用任意数据，研究人员展示了在使用FDR校正时，真实阳性率如何被混淆变量夸大。这些结果记录了上述基本现象，并说明了其在广泛模拟参数范围内的功能形式。其次，使用来自Neurosynth（Yarkoni et al., 2011）的元分析图谱，研究人员模拟了更现实的混淆场景，其中高级构念如奖赏、社交性和工作记忆与低水平任务/刺激属性（如条件之间的视觉、听觉或运动差异）相混淆。这些结果提供了原则上这一问题可能影响真实神经影像实验的证据。第三，研究人员模拟了混淆变量的这一效应如何与发表偏倚相互作用。这证明了FDR的使用可能促进混淆文献的产生，相对于无发表偏倚的假设情景，或相对于有发表偏倚但使用FWER而非FDR校正的假设情景。最后，研究人员讨论了这些模拟的局限性、如何估计这一问题在现有文献中的实际幅度，以及可以应用的各种缓解策略以限制这一问题的影响。
本研究聚焦于错误发现率（False Discovery Rate, FDR）校正在神经影像研究中的潜在问题，即其自适应阈值特征可能促进混淆实验设计的发表，进而污染科学文献。
**研究背景与问题**
功能性磁共振成像（functional magnetic resonance imaging, fMRI）研究通常需要同时对数百个脑区或数十万个体素进行假设检验，因此多重比较问题是该类研究必须面对的核心方法学挑战（Holmes et al., 1996; Johnson et al., 2010）。目前，族错误率（Family-Wise Error Rate, FWER）校正和FDR校正是两类主流的多重比较校正方法。FWER校正试图控制一族检验中任何假阳性的风险，通常维持p < .05的水平（Nichols & Hayasaka, 2003）；而FDR校正则接受部分阳性结果可能为假阳性，转而限制假阳性所占的比例，常见目标为q < .05（Benjamini & Hochberg, 1995）。FDR的自适应特性使其在阳性结果较多时设定更宽松的阈值，在阳性结果较少时更严格，这一特性被认为有助于平衡假阳性和假阴性的风险（Lieberman & Cunningham, 2009）。然而，研究人员指出，当实验设计存在混淆变量时，FDR的自适应特性可能转化为严重缺陷：混淆变量产生的虚假阳性结果会降低其他脑区的显著性阈值，而由于FDR无法区分真实效应与混淆效应，这将导致混淆研究比控制良好的研究更容易获得显著结果。在发表偏倚（publication bias）的背景下，这一机制可能系统性促进混淆实验的发表，从而污染神经影像文献。
**主要技术方法**
本研究全部基于蒙特卡洛模拟方法，使用Python 3.9.23编程实现。研究采用三组递进式模拟：第一组为任意数据模拟（arbitrary data simulation），模拟100,000次独立检验，通过向非重叠的检验子集注入真实信号和混淆信号，检验FDR与FWER校正下混淆变量对真实阳性率的影响；第二组为神经混淆模拟（neural confounding simulation），利用Neurosynth数据库获取三类高级认知任务（reward、social、working memory）和三类低水平混淆（auditory、motor、visual）的元分析z图谱，通过Schaefer 400分区图谱（Schaefer et al., 2018）进行分区水平的统计检验，添加独立高斯噪声、空间自相关噪声和网络水平噪声以增强现实性，模拟5,000项研究以考察现实混淆场景；第三组为发表偏倚模拟（publication bias simulation），基于前述神经混淆模拟的结果，模拟10,000次元分析，通过将纳入概率设定为FDR校正后的整合真实阳性率（integrated true positive rate）来模拟发表偏倚，比较FDR与FWER校正下混淆效应幅度的差异。
**研究结果**
**任意数据模拟结果**：模拟显示，在FDR校正下，混淆变量的存在与真实阳性率之间存在明确的正相关关系，即研究越混淆，其真实效应的检出率越高。这一关系的形态受真实效应大小、真实效应范围和样本量等正交因素的调节。当统计检验力（statistical power）处于中等水平时，混淆变量对真实阳性率的绝对影响最大；当检验力极高或极低时，混淆变量的影响相对较小。与之形成鲜明对比的是，在FWER校正下，混淆变量的存在与否对真实阳性率无任何影响，仅样本量和真实效应大小产生预期的独立效应。这表明FDR校正可使研究从混淆变量的纳入中"获益"，而FWER校正则免疫于此类影响。
**神经混淆模拟结果**：基于Neurosynth元分析图谱的现实模拟进一步验证了上述发现。在所有任务-混淆组合中，FDR校正均获得高于FWER校正的整合真实阳性率。在大多数情况下，混淆效应大小与FDR-FWER差异之间呈现正相关关系，即随着混淆效应增大，FDR的优势逐渐增加。然而，部分组合（如工作记忆-视觉、工作记忆-运动）呈现更复杂的上升后下降模式，这主要由两个边界条件导致：一是任务效应与混淆效应在空间上重叠时，两者同向叠加会同时提升FDR和FWER的真实阳性率，从而压缩两者差异；二是FDR真实阳性率在某些参数下达到渐近线，而FWER真实阳性率因重叠效应持续上升，导致差异反而缩小。这一发现明确了该问题主要适用于任务与混淆变量空间分离的情境。
**发表偏倚模拟结果**：发表偏倚模拟量化了FDR校正污染文献的机制。在FDR校正的发表偏倚条件下，元分析中混淆效应的平均估计值出现适度但系统性的膨胀。这一现象在所有九种任务-混淆组合中均有体现。尤其值得注意的是，在仅因使用FDR而非FWER而被纳入元分析的研究子集中，混淆效应的膨胀幅度在大多数情况下更为显著。不过，该偏倚的具体幅度在不同组合间存在变异，反映了前述神经混淆模拟中FDR-FWER差异随混淆效应变化的非线性关系。
**讨论与结论**
研究人员在讨论部分指出了若干重要边界条件和实际考量。首先，即使研究者并非故意设计混淆实验，无意识的混淆变量仍可通过发表偏倚机制产生文献污染效应；某些旨在提升外部效度的自然主义设计（naturalistic designs）中的必要混淆亦属此列。其次，若混淆变量方向随机或与任务效应空间重叠，其负面影响可能减弱甚至抵消。关于实际影响幅度，模拟显示FDR相关发表偏倚导致的元分析层面混淆效应膨胀中位数Cohen's d ≤ .05，但真实文献中的实际幅度仍需通过原始FDR校正研究与FWER校正研究的对比元分析加以验证。
本研究提出数种缓解策略：最直接的方法是改用FWER校正并配合预设的宽松阈值；若继续使用FDR，可通过提升统计检验力（增大样本量或效应量）、聚焦感兴趣区域（Regions of Interest, ROIs）并排除已知混淆区域、在预处理阶段回归掉低水平刺激特征、避免跨对比的FDR校正、以及采用注册报告（registered reports）等方法降低风险。研究人员特别强调，随着自然主义神经影像研究的兴起，广泛但必要的混淆变量日益增多，使这一问题愈发凸显，评估其实际影响并实施缓解策略应成为优先事项。
综上所述，该研究表明FDR校正的自适应阈值特征在存在混淆变量时可能系统性促进低质量研究的发表，通过与发表偏倚的交互作用污染神经影像文献。这一发现对当前神经影像研究的方法学实践具有重要警示意义，论文发表于《Cortex》期刊。
