交叉验证可纠正脑全广度体素水平单变量关联研究中效应量的高估

《Translational Psychiatry》：Counteracting the overestimation of effect size in mass-univariate brain-wide association studies using cross-validation

　　

背景：在精神疾病神经影像研究中，脑全广度关联效应常被高估，导致研究结果的可重复性与可推广性较低，并最终影响其向临床应用的转化。交叉验证目前在单变量神经影像分析中尚未成为标准做法，但可能成为应对该问题的潜在措施。方法：研究人员以体重指数（BMI）作为灰质预测变量的示例，系统评估了交叉验证流程在暴露基于体素的脑全广度单变量分析中效应量估计膨胀方面的价值。研究使用来自一个精神疾病队列的共 n = 3401 例 MRI 扫描，考察了在不同样本量及具有一系列潜在合并效应量的不同定位下应用交叉验证对效应量估计的影响。结果：BMI 与灰质密度呈负相关，最大潜在效应量为 R2p = 0.036（在 n = 3401 的全样本中）。然而，在不使用交叉验证的情况下，小样本中的效应被大幅高估，效应量最高可达 R2p = 0.535。即使在潜在无效应的条件下，n = 25 的样本中效应量估计也可达到 R2p = 0.429。应用交叉验证显示，这些小样本中被膨胀的效应无法推广至新数据。最大的脑全广度效应开始能够推广所需的最小样本量为 n = 100，而较小的效应则需要 n = 400 的样本才能推广。对于潜在无效应的情形，即使使用可获得的最大样本 n = 3401，也未达到这一“初始可推广点”。结论：结果表明，交叉验证是暴露小样本中效应高估的有效措施，因而有助于应对脑全广度单变量关联研究中可重复性与可推广性低的问题。研究提供了开源代码以供实际应用。

研究背景方面，神经影像方法如磁共振成像（MRI）已被用于探究心理表型的神经生物学基础，大量文献报道了精神健康障碍的影像学生物标志物，并寄望于借助此类方法辅助临床决策。然而，由于可重复性低的报道不断累积，神经影像与心理表型之间关联发现的有效性受到质疑。此类重复危机虽非神经影像研究所独有，但该领域分析灵活性高、统计检验数量庞大，可能放大发表偏倚，使相关因素的作用尤为突出。小样本导致效应量估计高度不稳定，这类估计在方向上并无系统性偏倚，若不加选择地报告，平均而言会收敛于真实效应；但小样本更大的抽样变异会产生更极端的数值，从而高估效应量的绝对幅度，且与效应方向无关。按统计显著性筛选结果会进一步加剧该问题，因为只有最极端的估计才能通过阈值，导致所报告效应被系统性高估；悖论式的是，显著性阈值越严格，这种偏倚越强，因为需要越来越极端的估计才能通过阈值。神经影像研究常使用小样本，这很可能进一步损害可重复性。Marek 等（Marek et al.）证明，即使不存在发表偏倚，心理与脑表型之间的关联也只有在纳入数千名参与者时才可重复。该研究引发了关于神经影像领域可重复性、样本量与效应量的热烈讨论。综上，已有证据强调亟需提高精神疾病神经影像发现可重复性的解决方案，其中被反复建议的一种方案是通过交叉验证在独立数据中验证脑效应。交叉验证在多变量脑分析中已作为识别和对抗过拟合、确保模型可推广性的标准方法，但很少用于单变量脑效应，部分原因可能是常用神经影像分析软件包不提供交叉验证选项。然而，恰恰在神经影像研究领域，即便对单变量模型，交叉验证也可能有用，因为上述效应高估可视为在该领域高分析灵活性与大量检验并存情况下模型的过拟合。因此，研究人员考察了交叉验证在基于体素的单变量脑分析中准确估计效应量的效用。研究以体重指数（BMI）作为示例预测变量，原因在于既往报道其与脑结构具有较好的可重复性，且其与多种精神障碍密切相关。由于即便在大样本中 BMI 与脑结构关联的效应量估计也相对较大（最大效应量约对应 2.7% 的解释方差），该预测变量适于在较宽的效应量范围内考察交叉验证的影响，而其他预测变量在各脑模态中的效应量估计要小得多。为评估交叉验证对效应量可推广性随样本量变化的相关性，研究人员在不同样本量下开展了分析。鉴于目前脑分析软件缺乏相关实现，研究人员提供了开源 Python 代码，以便其他研究者将交叉验证应用于基于体素的脑分析。

研究人员开展的研究为：采用既定的脑全广度单变量基于体素的形态学分析（VBM）方法，考察 BMI 与灰质脑结构的关联。以 BMI 作为预测变量进入一般线性模型（GLM）预测逐体素灰质密度，模型中纳入年龄、性别、总颅内体积（TIV）及四个虚拟编码的扫描仪变量作为 nuisance 参数以控制扫描仪硬件差异。检验 BMI 的双侧全脑效应，并以偏 R²（R²_p）作为效应量指标。为评估样本量与交叉验证对基于体素效应量估计的影响，研究依次进行了以下步骤：第一，在最大可获样本（n = 3401）中不进行自助法（bootstrapping）而实施经典的非交叉验证分析，所得逐体素 BMI 解释方差用作现实潜在效应量的估计（下称参考效应量），随后选取覆盖不同代表性效应量范围的体素，包括脑全广度参考效应量最大的体素，并另选取脑全广度参考效应量最小的体素以考察基于潜在无效应的效应量估计；可视化时采用未校正显著性阈值 p < 0.001 与范围阈值 k > 200。第二，基于 Marek 等的研究结果，进一步考察样本量对非交叉验证效应量的影响，通过 18 种不同样本量（n = 25、35、50、70、100、150、200、300、400、600、800、1000、1300、1600、2000、2400、2900、3401）操纵样本量，对每个预选体素在每个样本量下进行 k = 500 次自助重抽样，得到效应量的自助重抽样分布，并计算各样本量下全部自助运行的均值效应量及 95% 置信区间（CI）。第三，在按上述重抽样流程生成的样本中考察交叉验证对所选体素效应量估计的影响：采用 5 折交叉验证，在各自训练集中用上述 GLM 估计线性效应，再将所得线性系数应用于相应测试集，即把训练集模型估计得到的 beta 系数应用于测试集的设计矩阵（个体预测值，即对已训练线性模型而言的新数据）；通过在有和无 BMI 作为预测变量的模型中基于残差计算解释方差来评估 BMI 预测变量的预测价值，随后计算五个测试集上 BMI 的平均 R²_p，用以量化训练集所得 BMI 逐体素线性系数在未知测试数据中解释方差的程度（即效应向未见数据的推广）。需注意，R²_p 通常范围为 0–1，但在将线性系数应用于未见数据时可为负值（甚至低于 -1），因为其效应量可能低于同样本内以均值预测的基线参照（通常对应效应量 R²_p = 0）。研究将“初始可推广点”定义为在测试集中获得正效应量（即 95% CI 下限高于 R²_p = 0）所需的最小样本量，该点可解释为在 5 折交叉验证框架下给定效应量的线性效应推广至未知样本所需的最小样本量。选择 5 折而非更多折是为了能够模拟非常小（但常用）的样本量。为考察该交叉验证在不同样本量下对效应量估计的影响，研究人员对基于交叉验证的效应量估计也应用了上述自助法，得到各样本量下平均测试集效应量的重抽样分布（95% CI 基于这些自助运行）。为实现交叉验证与自助法的结合，研究人员先对总样本进行 5 折划分，再对每个样本量分别从各折内单独有放回抽样，即仅允许折内有放回而不跨折，以避免训练集与测试集之间的数据泄漏。需指出，全样本所得参考估计与重抽样分析所得效应量估计并非独立；在本框架中，它作为潜在总体效应的替代指标，而重抽样子集代表来自该总体的抽样，用以考察效应量估计在不同样本量下的行为。全部分析在 Python（版本 3.9.12）中完成，使用 nilearn 包（版本 0.9.1）进行基于体素的 GLM，使用 sklearn 包（版本 1.1.1）中的 k-Fold 进行交叉验证，完整分析代码在线提供。

样本队列来源方面，研究共纳入 n = 3401 名参与者，来自三个独立的德国队列：Marburg-Münster 情感障碍队列研究（MACS；n = 1655）、Münster 神经影像队列（MNC；n = 722）以及 BiDirect 队列（n = 1024）。三个队列均包含重性抑郁障碍（MDD）患者及无任何终生精神障碍诊断的健康对照（HC）。BMI 依据参与者自报身高和体重计算；T1 加权高分辨率解剖脑图像均在 3 T MRI 扫描仪上采集，其中 MACS 样本在两个招募点使用两台不同 MRI 扫描仪（Marburg：Tim Trio，Siemens，Erlangen，Germany，联合 12 通道头矩阵 Rx 线圈；Münster：Prisma，Siemens，Erlangen，Germany，联合 20 通道头矩阵 Rx 线圈），MNC 与 BiDirect 样本数据使用同一台 Gyroscan Intera 扫描仪（后经 Achieva 升级；Philips Medical Systems，Best，The Netherlands）采集。图像预处理使用 CAT12 工具箱（https://neuro-jena.github.io/cat/），所有样本均采用默认参数：图像经偏倚校正、组织分类，并在包含高维测地线发射归一化的统一模型中，通过线性（12 参数仿射）与非线性变换归一化至 MNI 空间；调制后的灰质图像以 8 mm 全宽半高（FWHM）高斯核平滑；所有二阶分析采用阈值 0.2 的绝对阈值掩模，符合 VBM 分析推荐；图像质量通过目视检查及 CAT12 工具箱中的均匀性检查功能评估。

研究结果方面，第一，在 n = 3401 中识别参考效应量：非交叉验证标准分析显示 BMI 与灰质密度的关联，在未校正 p < 0.001、k > 200 的宽松阈值下，全脑出现广泛簇；显著体素中的效应量最高达 R²_p = 0.036，且以 BMI 与灰质的负相关为主。研究人员选取了覆盖较宽效应量范围的显著簇峰值体素坐标以及脑全广度效应量最小的体素用于后续分析：按效应量从大到小依次位于小脑（R²_p = 0.036，p < 0.0001，x -24，y -72，z -60）、后侧内侧眶额皮层（mOFC；R²_p = 0.024，p < 0.0001，x -4，y 25，z -30）、丘脑（R²_p = 0.016，p < 0.0001，x 6，y -12，z 10）、前侧 mOFC（R²_p = 0.005，p < 0.0001，x 4，y 69，z -6）与距状裂（R²_p < 0.0001，p = 0.999，x -3，y -80，z 12）。第二，样本量对非交叉验证效应量估计的影响：小样本中效应量被系统性高估。在 n = 25 的全部自助样本中平均而言，五个体素的效应量均被膨胀约 0.06 个 R²_p 单位，使参考效应量最大的体素膨胀 2.5 倍（R²_p = 0.091 而非 R²_p = 0.036），使参考效应量为 R²_p = 0.005 的体素膨胀 11.9 倍。n = 25 样本中最大效应量估计高达 R²_p = 0.734；即便是脑全广度参考效应量最低（无效）的体素，在 n = 25 的样本中最大效应量也达到 R²_p = 0.429（平均 R²_p = 0.056）。平均效应量估计（以及最大估计）随样本量增加呈非线性快速下降。偏相关系数（保留效应方向）的检查显示，各自助样本间效应存在明显的符号（S 型错误）与幅度（M 型错误）不稳定，尤其在小样本中：对于脑全广度参考效应量最大的体素（全样本中负相关 r = -0.19），n = 25 的样本中关联从负相关 r = -0.73 到正相关 r = 0.60 不等。需注意估计值分布高度偏斜并存在极端离群值。第三，交叉验证对效应量估计的影响：在所有样本量与所有体素上，平均测试集效应量估计在描述性上均低于非交叉验证效应量（在全部样本量的 93.83% 自助样本中如此）。这种差异在小样本中尤为明显，此时非交叉验证效应量最大而测试集效应量多为负值（提示线性效应未能推广至未知样本）。最大参考效应量的初始可推广点在 n = 100 后达到，而效应量较小的体素需要更大样本：R²_p = 0.024 为 n = 100，R²_p = 0.016 为 n = 150，R²_p = 0.005 为 n = 400。对于脑全广度效应量最小的体素，该初始可推广点从未达到，这与潜在无效应的预期一致；事实上对该体素而言，应用交叉验证时在任何样本量下其均值和 95% CI 上限均始终低于零效应量，表明对假阳性具有有效防护。非交叉验证分析与交叉验证测试集所得估计在大样本中趋于收敛：在 n = 3401 的样本中，二者仅略有差异（各体素平均差异 R²_p = 0.001）；但二者从未达到完全收敛，即即使在最大样本量下置信区间也不重叠。

讨论部分总结如下：研究人员以 BMI 为示例预测变量，考察了交叉验证对单变量脑全广度关联效应量准确估计的效用。与既往发现一致，若不应用交叉验证，小样本中的效应量估计会被高度高估且不可靠；交叉验证可揭示这些小样本中被高估效应向新数据的可推广性较差（表现为负的效应量估计）。在较大样本中，交叉验证所得测试集效应量开始变为正值，提示存在一个初始可推广点，可解释为获得在独立数据中具有任何可推广性价值的模型估计所需的最小样本量。重要的是，只要潜在效应量足够大，数百名参与者的样本量可能足以准确估计脑全广度关联。交叉验证方法有助于区分人为膨胀的大效应与稳健的“真实”大效应，应在常规报告显著性与传统效应量估计之外，考虑将交叉验证标准化地用于评估脑全广度效应的可推广性。交叉验证用于促进神经影像发现的可推广性此前已在多变量机器学习分析领域得到广泛研究，且也有研究者反复呼吁在单变量 MRI 分析中应用交叉验证，例如用于对抗双重 dipping 与循环推断，以及更普遍地评估给定效应的样本外预测效用并对抗不可重复性；但据研究人员所知，本研究首次系统考察交叉验证在脑全广度单变量分析中效应量估计的效用，并提供了可供他人应用于自身分析的具体可操作框架。小样本中效应量高估与既往文献一致。Marek 等证明，即使复合认知与精神病理变量同脑结构功能的最大脑全广度关联也仅对应不足 0.5% 的解释方差，而在小样本中可被膨胀至约 40% 的解释方差，作者据此认为该研究领域需要数千名个体才能获得稳健可重复的估计；这一结论受到多位学者质疑，主要批评在于理想条件下真实效应量可能明显更高，从而使准确估计效应所需样本量更小。Winter 等在逾 1800 名成人中考察健康对照与终生 MDD 个体的单变量脑全广度、跨模态脑差异，认为最大效应量可达 1.7% 解释方差，并进一步报告健康对照与慢性或急性 MDD 个体比较可产生高达 2.7% 的解释方差（n > 900）；研究还提示其他诊断组如精神病性障碍效应量更大，Repple 等报告跨诊断的结构连接组改变，最大效应量见于精神分裂症患者，可能使较小样本足以检出效应。本研究将 Marek 等的结果扩展至基于体素的分析框架及更宽的效应量范围，并提供证据表明对于较大效应量（在特定条件下可能出现），数百名参与者可能足以准确估计线性脑全广度效应；当假定效应量较小时，本研究结果与 Marek 等高度可比，即基于合并样本约 0.5% 解释方差的潜在参考效应量需要非常大的样本才能获得稳健效应估计，尽管交叉验证可能使在相对较小样本（n > 400）中即可稳健检出准确估计。围绕效应量与样本量的持续争论凸显了在发表中一致报告效应量、并结合样本量解释效应量的重要性。上述考虑可指导神经影像研究的样本量规划，但当“真实”效应量未知时会出现问题（小样本中的效应量膨胀使仅凭现有文献估计真实效应量尤为困难）。研究人员如何判断所得效应量是准确的还是膨胀的？在交叉验证框架下，研究人员证明，将识别出的线性效应应用于未见数据可用于识别膨胀的、不可推广的效应量；值得注意的是，该流程可应用于较小研究以验证假定的大效应量是否稳健，从而可能支持使用较小样本。重要的是，本研究结果与低测试集表现仅仅反映样本效能不足相一致，而不一定意味着效应不存在；换言之，即使 3.6% 解释方差的实质性效应，在小样本中仅凭交叉验证所得效应量也几乎无法与无效效应区分。然而，非交叉验证与交叉验证所得效应量之间的相对一致性可为稳健、可重复的线性关联及现实效应量估计提供有力论据，因此计算非交叉验证与交叉验证所得效应量并结合对二者估计相似性的细致检查可能具有信息价值。值得注意的是，交叉验证虽降低效应量膨胀的概率，但并不能消除它；如结果中某些极端离群值所示，即使在罕见情况下，不切实际的高效应量估计也可能推广至未见测试数据，尤其在小样本中。虽然难以基于交叉验证分析得出明确的样本量推荐，研究人员提出可将初始可推广点定义为线性效应开始解释未见数据方差（本框架中定义为 97.5% 自助样本中解释价值 > 0）时的样本量；重要的是，与统计显著性类似，该标准并不意味着实际或临床效用，即模型应在多大程度上解释新数据方差（1%、5% 或 10%）才被视为有用，取决于研究问题，值得讨论；但研究人员认为初始可推广点可作为探讨可推广性这一重要问题的有益起点，该方面可在传统功效分析框架之外，增加除显著性之外关于可推广性的问题，即传统功效分析回答给定效应达到显著所需样本量，而本研究结果为定义线性效应推广至未见数据所需样本量提供了可能。类似概念此前已有描述，如稳定点（相关系数估计稳定时的样本量）；二者概念相关但区别在于初始可推广点明确表达样本外预测效用。在实证上，测试集表现从未达到合并样本的潜在效应量，这反映了 k 折交叉验证已知的悲观偏倚，因为模型仅在部分数据上训练，其样本外表现往往略低于在全数据集上拟合的模型；然而在大样本中效应量变得高度稳定，无论是否应用交叉验证差异甚微，这提示若可获数千名个体（如联盟数据），样本内 k 折交叉验证可能几乎不改变结果，而与合并样本的潜在参考效应量无关。本研究存在若干重要局限：其一，本框架中可推广性概念指同一数据集内对未见个体的预测表现，而非跨独立收集数据集的可推广性，因此初始可推广点应解释为反映所研究人群内部的样本外预测，而非跨不同样本的外部重复；其二，尚不清楚本研究结果能否推广至其他交叉验证方法，本研究选择 5 折交叉验证以便纳入 n = 25 的小样本，其他划分（如 10 折）原则上也适用于基于体素的单变量脑分析，对不同交叉验证方法的系统比较超出本工作范围，可作为未来研究方向；其三，本研究结果对其他 MRI 模态（如功能 MRI 和基于脑区划分的分析）以及其他领域预测变量的可推广程度尚待讨论，研究人员认为对其他基于体素的影像模态和其他预测变量具有可推广性，因为结果总体模式不应为 BMI 的 VBM 效应所特有；就其他预测变量而言，没有理由认为其会呈现与 BMI 定性不同的模式，基于既往研究与本研究结果，真实潜在效应量是驱动效应量高估及交叉验证潜在获益的主要因素；就其他影像模态而言，基于脑区划分的脑分析方法也可从交叉验证中获益，但交叉验证在过拟合统计模型风险更高的情境中可能尤为有益，此类风险在更复杂模型、分析灵活性更高和统计检验数量更多的情境中可能更高（后者在基于体素的分析中高于基于脑区划分的分析）；有趣的是，交叉验证似乎并非在所有情境下都能最终防止效应量膨胀，已有研究表明在基于体素的复杂多变量精神病理关联建模中，即使基于交叉验证的表现指标在效能不足的研究中也会被膨胀；同样，本研究证明即使交叉验证所得效应量在小样本中也可能被膨胀，尽管与非交叉验证估计相比效应高估的概率更低。总之，应用交叉验证可带来两大益处：一是识别研究是否效能不足、相应效应量估计是否很可能被高度膨胀；二是证实效能充分研究的效应量估计的准确性（对潜在无效应的情形亦然）。因此，研究人员建议应用交叉验证流程以促进神经影像研究的可重复性并推动效应量的准确估计，并进一步提供了将交叉验证应用于脑全广度单变量基于体素分析的具体步骤及相应的开源 Python 代码。

研究结论部分翻译如下：结果表明，交叉验证是暴露小样本中效应高估的有效措施，因而有助于应对脑全广度单变量关联研究中可重复性与可推广性低的问题。研究提供了开源代码以供实际应用。