《Biometrical Journal》:A Novel Approach to the Design and Sample Size Planning of Animal Experiments Based on Effect Estimation
编辑推荐:
动物实验通常 purely 探索性,规划阶段几乎没有可用数据。尽管如此,伦理指南要求科学的规划,特别是基于生物统计学标准(如功效分析或效应估计精度)的样本量确定。实验设计通常复杂,涉及众多实验组和适应性步骤,这增加了统计规划的难度。迄今为止,动物实验的现有统计
动物实验通常 purely 探索性,规划阶段几乎没有可用数据。尽管如此,伦理指南要求科学的规划,特别是基于生物统计学标准(如功效分析或效应估计精度)的样本量确定。实验设计通常复杂,涉及众多实验组和适应性步骤,这增加了统计规划的难度。迄今为止,动物实验的现有统计方法在很大程度上忽视了这种复杂性。尽管人们普遍认识到动物研究中的效应量通常存在偏倚、可重复性差,且很少能很好地转化到临床试验中,但实验研究与统计规划之间的这一显著差距却未受到足够重视。研究人员证明,动物实验中的常见设计实践会引入效应量估计的 substantial 误差,即使对膨胀的Ⅰ类错误率和错误发现率进行了适当调整。为解决此问题,研究人员提出了一种基于模拟的方法来量化估计误差,并将其大小与参考设计进行比较分类。研究人员倡导采用包含筛选阶段和确认阶段的两阶段实验方法,使用稳健混合先验进行效应量估计。研究人员的模拟研究比较了各种设计的操作特征,并说明了如何选择最优设计。此外,研究人员还呈现了支持性软件工具,旨在促进与非统计学合作者的沟通。
研究背景与问题提出
在临床前生物医学研究中,动物实验在探索生理机制、疾病模型和治疗干预方面发挥着关键作用。仅2022年,欧盟就使用了超过900万只动物进行研究。由于动物实验涉及伦理考量,3R原则(替代、减少、精炼)具有重要影响。然而,动物实验中的组样本量通常较小,这些实验往往 purely 探索性,涉及大量实验组,实验组数量可能超过每组动物数量。此外,动物研究申请程序通常冗长,需要涵盖数年内的未来实验,导致大量子实验被打包进单一申请中。
在这种条件下的统计规划困难重重,往往是非正式的。研究人员通常依赖启发式方法或经验法则,而非进行正式的样本量计算,这导致研究功效不足,影响研究结果的可靠性。尽管方法学和文献中已广泛认识到这一问题,该问题仍然持续存在。ARRIVE 2.0指南将样本量论证列为其首要报告项目,PREPARE指南则强调实验偏倚与研究设计不良之间的密切关系。
目前动物实验样本量计算的主要方法似乎是直接将临床试验的标准方法移植过来,即在给定期望的Ⅰ类错误率和效应量的条件下,计算达到一定功效所需的样本量。然而,在大多数研究 purely 探索性的领域,经典的功率分析很少适用,因为即使定义主要终点也具有挑战性,更不用提设置适当效应量和进行多重检验调整的困难。为规避正式功效分析的问题,已有研究提出了简单的经验法则,如"资源方程法"和KISS原则,但这些方法从方法论角度来看并不令人满意。
研究方法与核心发现
为应对上述挑战,研究人员提出了一种基于效应估计而非假设检验的动物实验设计新框架,并开发了相应的模拟软件工具SimBA。该研究发表在《Biometrical Journal》上。
研究用到的主要关键技术方法包括:两阶段实验设计(包含筛选阶段和确认阶段)、贝叶斯稳健混合先验收缩估计量、基于均方误差(MSE)的交通灯分类系统、以及基于R语言和Stan的蒙特卡洛模拟框架。样本来源于模拟数据集,而非真实临床队列。
估计误差的产生机制
标准设计中的估计误差:研究人员首先分析了探索性动物实验中常见的"标准设计"所引入的估计误差。在多组连续结局的实验中,研究人员选择最小p值对应的效应进行估计,而不进行多重性校正。随着组数增加,所选效应估计趋于更加极端,真实效应处的概率密度实际上趋近于零。较大的组样本量虽能减小误差大小,但会增加错误估计的所谓精度。95%置信区间也受到实验复杂性增加的影响,当两两比较数量变大时,其覆盖率显著下降,且基本上不再围绕真实效应中心对称。
两阶段设计:研究人员还考虑了包含初步筛选阶段和后续确认阶段的两阶段设计,包括"重复并合并"设计(将两阶段数据合并估计)和"重复并替换"设计(仅使用第二阶段数据进行估计)。前者在实践中常见但存在统计缺陷,因为不同选择过程的数据被不当合并;后者消除了选择过程,但忽略了第一阶段数据,可能被认为效率低下甚至不符合伦理。
样本量的复杂考量:为公平比较单阶段和两阶段设计,研究人员在所有计算中假设两阶段设计的总样本量与单阶段设计相同或更低。
交通灯分类系统的建立
为对特定实验设计的估计误差量进行分类,研究人员提出了交通灯系统。该系统与临床可行性研究中的类似方法不同,其核心特征在于客观预设每个类别的阈值,而非由研究人员为每项研究单独定义。系统基于与参考设计(最简单的无偏两组比较设计)相比的MSE百分比增加进行分类:绿色区域表示误差小或为零,无需修改;黄色区域表示误差中等,建议讨论减少误差的可能性;红色区域表示误差大,必须对实验设计进行更改。黄色与红色区域的分界阈值参照了非确认性2
2设计(研究两个因素或两个实验组与对照组比较)。
贝叶斯收缩估计量的构建
针对两阶段设计中第一阶段数据可能受选择偏倚影响而第二阶段数据无偏的特点,研究人员提出了基于贝叶斯稳健混合先验的收缩估计量。该先验由两个成分组成:信息性成分(代表第一阶段数据中的效应估计信息)和怀疑性成分(以零效应为中心,提供向零的收缩)。这种混合产生了相对厚重的先验分布尾部,使其在先验-数据冲突时更加"稳健"——即给予数据更多权重。
具体模型设定中,效应量θ的稳健混合先验写作:
π(θ) = w · t_{ν?}(θ | θ??, σ?2_{θ??}) + (1-w) · t_{ν?}(θ | θ?, σ2?)
其中w为混合权重,t_{ν}表示自由度为ν的t分布。对于信息性成分,使用第一阶段数据t检验的残差自由度ν?;对于怀疑性成分,设定自由度为3以获得厚尾分布,避免过度收缩。研究人员建议默认使用w=0.5,并在模拟中测试期望的性能。由于解析解不可得,研究使用马尔可夫链蒙特卡洛方法(MCMC),通过Stan软件实现汉密尔顿蒙特卡洛采样,获得后验分布。
SimBA模拟框架的开发
为量化几乎任意复杂实验设计中的估计误差,研究人员开发了基于R语言的模拟软件SimBA(Simulation-Based Framework for Estimation Error Quantification in Animal Experiments),并构建了R Shiny应用界面。该框架需要用户输入:组数、每组样本量、感兴趣比较、各比较效应量、数据生成分布(正态、对数正态或柯西分布)、多重检验调整方法(包括Bonferroni、Holm、Hochberg、Hommel、Benjamini-Hochberg、Dunnett、Tukey、S2方法等),以及贝叶斯稳健混合先验中第一阶段数据的权重参数ω。输出包括:效应量分布、均方误差、置信区间分布、p值分布、拒绝率(Ⅰ类错误或功效),以及根据交通灯系统的分类(仅零假设下)。
模拟研究结果
研究设计比较:模拟研究比较了标准设计、重复并合并、重复并替换,以及采用贝叶斯估计量的两阶段设计。效应量场景设置为δ=0、1、2,组样本量n=6、12、18,组数k=2至10,共324个模拟场景,每场景10,000次模拟。
主要结果:零假设下,标准设计产生最大误差,随组数增加而增大。重复并合并设计通过减小双峰距离改善估计误差。重复并替换设计产生围绕真实零效应的单峰对称分布,但方差较大。贝叶斯稳健混合估计量同样对称且集中于真实零效应,但方差小得多。对于中等效应量δ=1,标准设计因通常能正确识别最强效应组而表现改善。对于大效应量δ=2,所有设计表现相似。从MSE来看,标准设计在零假设下对几乎所有场景产生最大误差;贝叶斯设计方法的所有规格均被分类为绿色,展示该方法在零假设场景下的优越效应估计。
交通灯应用:相对于参考设计(两组标准设计)的MSE,所有相对MSE小于1(含5%误差边际)的设计被分类为绿色;大于绿色阈值但小于三组标准设计阈值(含5%上误差边际)的为黄色;更大的为红色。重复并合并设计相比标准设计可在更多组数下保持可接受的MSE。重复并替换设计虽不受选择偏倚影响,但因仅考虑第二阶段数据未进行任何合并,导致估计方差高,MSE处于黄色甚至红色区域。
实例应用
研究人员分析了一个匿名化的实际伦理申请实例:该实验旨在评估化疗诱导副作用的神经机制,总样本量1067,分为13个子实验,最大子实验216只动物,24个处理组(6种物理操作×有无操作对照×化疗与对照,不分性别但可能存在交互)。基于报告效应量d≈0.8进行样本量计算,但由于探索性质,未进行多重性调整,计划报告所有两两比较的Cohen's d和置信区间,共276个效应估计量。根据交通灯系统,该设计处于红色区域,表明效应估计策略高度有问题。研究人员建议:若目标是确定最有益的物理操作,应采用多阶段方法配合贝叶斯稳健混合先验进行效应确认;若目标是研究交互作用,则可能更适合采用析因设计的显著性检验策略。
讨论与结论
研究意义与贡献:该研究首次提供了量化复杂探索性动物实验设计中效应估计误差的方法,填补了实验研究与统计规划之间的显著差距。交通灯系统为客观分类实验设计提供了直观工具,SimBA软件框架促进了与非统计学研究人员的有效沟通。
方法定位:该研究方法不替代经典的组样本量确定方法,而是作为补充,考虑整个实验设计的复杂性。组样本量仍需基于功效分析、置信区间宽度或领域标准确定,但模拟框架可用于复杂设计中的这些计算。
贝叶斯估计量的特性:基于稳健混合先验的收缩估计量在零假设下减少误差,在真实效应存在时产生适度的向零收缩。权重参数可灵活调整,以给予先验信息或怀疑性假设更多权重。该原理可灵活应用于任何效应估计,不仅限于第一阶段选择的最强效应。
局限性与未来方向:研究目前聚焦于连续结局和参数方差分析模型,尚未考虑聚类效应(同窝动物、同笼饲养、重复测量)、多终点多变量模型、历史对照的使用,以及非参数分析。临床研究中的组序贯设计、共享对照、贝叶斯决策规则等方法可能适用于动物实验。未来研究将扩展至这些因素,并探索析因设计在多重实验中的应用。