《Computational Statistics & Data Analysis》:Improved null proportion estimators for multiple discrete tests with plug-in FDR control
编辑推荐:
在多重假设检验中,当各检验统计量服从连续分布时通常使用Benjamini–Hochberg(BH)程序控制错误发现率(False Discovery Rate, FDR),并借助Storey或Pounds–Cheng等类型的零比例(null proportio
在多重假设检验中,当各检验统计量服从连续分布时通常使用Benjamini–Hochberg(BH)程序控制错误发现率(False Discovery Rate, FDR),并借助Storey或Pounds–Cheng等类型的零比例(null proportion, π0)估计器进行自适应改良。然而对于基于Fisher精确检验(Fisher's Exact Test, FET)、二项分布或泊松分布等产生的离散p值,其分布具有超均匀(super-uniform, 即P(p≤α)≤α)而非连续Uniform(0,1)的性质,导致常规π0估计器趋于保守(overestimate m0underestimate π0的分母效应),进而降低BH程序的检验效能(power)。本文提出三类针对离散p值的π0估计器修正方案——重标度(rescaled, 修正归一化常数ν(g))、条件均值(mean or deflated/mid-g(p))及期望随机化(expected randomized)估计器,证明其在BH plug-in框架下仍维持有限样本FDR控制且较原始估计器几乎必然(almost surely)更小(即更接近真实m0)。模拟研究与真实国际小鼠表型组学联盟(International Mouse Phenotyping Consortium, IMPC)数据分析表明,所提离散修正显著改善π0估计偏差与BH程序power,且在异质与同质null分布下均具稳健性。
研究背景与动机
在基因组学、转录组学等高通量筛选实验中广泛采用Benjamini–Hochberg(BH)程序控制错误发现率(False Discovery Rate, FDR)。实际应用中常通过估计零假设比例π0(或等价地m0=π0·m)构造自适应BH(plug-in BH)以提高检验效能,典型如Storey估计器(采用指示函数g(u)=1{u>λ})与Pounds–Cheng(PC)估计器(采用恒等函数g(u)=u)。此类估计器要求p值服从或近似连续Uniform(0,1)分布。但当检验基于离散统计量(如Fisher精确检验FET、二项检验、泊松检验)时,p值取有限离散值且服从超均匀分布(super-uniform: PH0(p≤α)≤α,严格不等号常在α取支撑点值时成立),导致g(p)的期望E0[g(p)]偏小,进而使π0估计器系统性高估m0(低估π0估计值被压缩向1),最终使BH阈值过于严格、丢失检验效能。此外不同检验可能有不同的离散零分布F0i(heterogeneity),进一步复杂化估计。现有文献中对离散多重检验下π0估计的系统理论分析及FDR保证尚不充分,本文旨在填补这一空白。
该研究由D?hler等发表于《Computational Statistics》,核心贡献为:在广义变换函数g∈G(非减左连续函数,ν(g)=EU~Unif(0,1)[g(U)])框架下统一Storey类与PC类估计器,针对离散p值提出三种修正的m0估计器变体并证明仍满足Theorem 1.1的BH plug-in FDR控制条件,通过理论推导与模拟/实证验证其优越性。
主要关键技术方法
研究人员基于两样本二项响应Fisher精确检验模拟数据集(m=500, m0=300, π0=0.6, 分组边际N∈{10,…,100}控制离散程度)及国际小鼠表型组学联盟(IMPC)真实FET数据集(m=3000),对比Storey(λ=0.5)与Pounds–Cheng(PC, new)基础估计器及其三种离散修正版本——重标度(resc: 修正归一化常数νiresc=E0[g(pi)])、条件均值(mean/deflated: 用g?Fi(pi)=E[g(U)|U∈(Fi(sk-1),Fi(sk)]]替代g(pi),对g(u)=u退化为mid-p值)、期望随机化(rand: 对随机化p值r(p,u)=p-u·P0(p(X)=p(x))取EU[1/m?0(r(p,U))]?1,蒙特卡洛近似rand-MC)。分别评估π0估计偏差/中位数及plug-in BH的FDR与power,并考察正依赖(Gaussian copula ρ=0.6)情形。理论部分给出Proposition 3.1–3.3证明FDR控制与估计器单调性(m?0rand≤m?0mean≤m?0a.s.)。
研究结果
Section 3.1 Rescaled Estimator(重标度估计器)
定义νiresc=E0[g(pi)]=∑kg(sk)·(F0i(sk)?F0i(sk-1))替代原ν(g),构造m?0resc。Proposition 3.1证明若原m?0∈F0则BH plug-in仍控制FDR且m?0resc≤m?0a.s.,消除原估计式中null贡献偏差。当各Fi异质(heterogeneous)且νiresc>ν(g)至少对一个i成立时严格改进,齐次(homogeneous)情形改进依赖于g的选择(g(u)=u可改进,g(u)=1{u>λ}在λ属共同支撑时不变)。
Section 3.2 Mean-value (Deflated g) Approach(均值/缩减函数法)
定义分段常数g?F(t)使E[g?F(p)]=E[g(U)],其中ak=∫F(sk-1)F(sk)g(s)ds / (F(sk)?F(sk-1))为g(U)在对应区间的条件期望。对g(u)=u得mid-p值g?F(sk)=(sk+sk-1)/2。构造m?0mean用∑g?Fi(pi)替代∑g(pi)。Proposition 3.2证BH plug-in控制FDR且m?0mean≤m?0a.s.。
Section 3.3 Expected Randomized Estimator(期望随机化估计器)
引入随机化p值r(p,u)=p?u·P0(p(X)=p(x)), U~Unif(0,1)m独立。定义m?0rand=(EU[1/m?0(r(p,U))] )?1。Proposition 3.3(a)(b)(c)证BH plug-in控制FDR,m?0rand≤m?0a.s.,且对m?0∈F0有m?0rand≤m?0meana.s.。实践中用Monte-Carlo近似m?0rand-MC,NMC=1000示例显示变异性小且与m?0mean极接近故常可互替。
Section 4 Results for Simulated Data(模拟数据结果)
独立与正依赖(Gaussian copula ρ=0.6)两种设定下,三种离散修正均显著降低π0估计偏倚(尤其小N即强离散时),减少m?0>m或>真值现象。对应plug-in BH程序FDR仍低于α=0.05标称水平,power较未修正版本提升(接近oracle BH)。Storey与PC基础估计器经修正后性能趋近。依赖情形下估计变异增大但FDR仍受控。
Section 5 Real Data Analysis(真实数据分析)
对IMPC Fischer's Exact Test数据集(m=3000),Storey与PC估计器及其discrete resc/mean/random版本显示离散修正降低π?0、增加拒绝数(discoveries),两类基础估计器修正后行为相似。rand版与mean版结果实际重合故图中省略。
Section 6 Choice of Transformation Function(变换函数选取讨论)
指出g∈G可用加权指示函数gw(p)=∑wj·1{p≥sj}参数化,在已知两组成分模型(π0, F1i)时可构建最小化bias或MSE的数值优化问题(二次约束线性规划);连续情形推导MSE(π?0)表达式并建议用grid λ与权重w的凸组合类G(λ)数值逼近最优g。
讨论与结论
本文在统一变换函数框架下证明:对离散p值通过重标度归一化常数、缩减函数取条件均值、或期望随机化三种途径修正Storey与Pounds–Cheng类π0估计器,所得到的BH plug-in程序仍维持有限样本FDR控制,且修正估计器几乎必然不大于原始估计器(即更接近真实m0),其中期望随机化估计器在最细粒度意义上最优(m?0rand≤m?0mean≤m?0a.s.)。模拟与IMPC实证表明修正显著缓解离散导致的保守性与power损失,在异质/同质null分布及轻度正依赖下均稳健。研究为离散多重检验中FDR自适应控制提供了理论保证与实践可行的π0估计改进方案,拓展了连续框架下经典估计器至离散检验场景。