《WIREs Computational Statistics》:The Functional Delta Method for Deriving Asymptotic Distributions
编辑推荐:
研究人员介绍了用于推导渐近分布的函数Delta方法(functional delta method)。假设研究人员关注的是T(θ0),其中θ0是未知的无穷维参数,T是一个已知泛函。与Delta方法类似,函数Delta
研究人员介绍了用于推导渐近分布的函数Delta方法(functional delta method)。假设研究人员关注的是T(θ0),其中θ0是未知的无穷维参数,T是一个已知泛函。与Delta方法类似,函数Delta方法允许通过以下条件立即获得插件估计量(plug-in estimator)分布的近似:基本统计量(θ?n)的渐近分布已知,并且T在θ0处存在适当的泛函导数。本文分类如下:
数据:类型与结构 > 时间序列、随机过程与函数数据
论文主体内容总结如下:
**1 引言**
本节首先指出,有限维参数的Delta方法实质上是定理而非方法,函数Delta方法亦然。其思想源于von Mises (1947),即通过考虑定义在概率分布空间上的泛函的解析性质来研究估计量(或检验统计量)。Hadamard可微性(Hadamard differentiability)在解析性质中的应用始于Reeds (1976)的未发表工作,后经Fernholz (1983)和Gill (1989)等进一步研究。其他可微性概念(如Fréchet可微性)也在相关文献中被讨论。为说明研究泛函解析性质及函数Delta方法的动机,论文给出了两个示例。第一个示例为α-修剪均值(α-trimmed mean),其定义基于经验分位数函数,该统计量可表示为泛函T
1(F
n),其中T
1是线性和连续的,因此通过连续映射定理可直接得到渐近正态性。第二个示例为变换模型下的α-修剪均值,此时泛函T
2(F
n) = α-修剪均值经变换后的版本,不再具有线性。这表明我们需要一种更一般的可微性概念来处理非线性泛函。本节还指出,若T在Banach空间上连续且线性,则基本统计量渐近正态即可推出插件估计量渐近正态;而函数Delta方法使用Hadamard可微性替代线性与连续性,允许得到相同结论。此外,还提及了弱于Hadamard可微性的Hadamard方向可微性(Hadamard directional differentiability),以及高阶展开的必要性。最后,本文结构概述:第2节介绍基于Hadamard可微性的函数Delta方法;第3节讨论方向可微性、二阶展开以及关于范数选择和定理改进的讨论。
**2 Hadamard可微性与函数Delta方法**
本节首先定义度量空间中的依分布收敛(convergence in distribution),使用外期望(outer expectation)处理非可测映射。定义2.1给出收敛条件:对任意有界连续函数f,E*[f(X
n)] → ∫f dL。接着定义Hadamard可微性(Definition 2.3):设D和E为度量线性空间,φ: D
φ ? D → E,若存在连续线性映射φ'
θ0,使得对任意满足t
n → 0和h
n → h (其中θ
0 + t
nh
n ∈ D
φ且h ∈ D
0)的序列,有[φ(θ
0+t
nh
n) - φ(θ
0)]/t
n → φ'
θ0(h),则称φ在θ
0处关于D
0是Hadamard可微的。基于此,给出函数Delta方法定理(Theorem 2.4):若φ在θ
0处关于D
0是Hadamard可微的,且√n(θ?
n - θ
0) 依分布收敛于L(取值于D
0),则√n(φ(θ?
n) - φ(θ
0)) 依分布收敛于φ'
θ0(L)。该定理的证明与Theorem 3.3相同。推论2.6指出,当D和E为赋范空间且L为高斯过程时,φ'
θ0的连续线性性保证极限φ'
θ0(L)也是高斯的。引理2.7给出Hadamard可微性的链式法则(chain rule)。示例2.8展示了定理的应用:对变换模型下的α-修剪均值,若变换函数连续可微,则泛函T
2是Hadamard可微的;对于独立同分布情形,√n(F
n - F)收敛于布朗桥,应用定理得到渐近正态性;对于长记忆序列,缩放序列为n
1-d,同样适用。示例2.9和2.10分别给出Cramér-von Mises检验统计量和对称性检验统计量,两者的一阶Hadamard导数在零假设下均为零,导致极限分布退化,需要高阶展开。示例2.10还强调了范数选择的重要性:在sup-范数下,为证明Hadamard可微性需限制分布的有界支撑;第3.3节将讨论其他范数。
**3 弱于Hadamard可微性的概念、高阶展开与改进**
**3.1 方向Hadamard可微性**
本节介绍比Hadamard可微性更弱的方向Hadamard可微性(Hadamard directional differentiability)。定义3.1允许导数映射不必线性或连续,仅要求φ'
θ0满足齐次性(degree 1)和连续性。示例3.2给出一个典型统计问题(不等式约束下的估计)中的泛函,例如T
3(F) = ∫[F(x)]
+ dx,其中[·]
+表示正部。该泛函在F关于零对称时仅具方向可微性,导数映射并非线性。定理3.3给出基于方向可微性的函数Delta方法:若φ在θ
0处关于D
0是Hadamard方向可微的,且√n(θ?
n - θ
0) 依分布收敛于L,则√n(φ(θ?
n) - φ(θ
0)) 依分布收敛于φ'
θ0(L)。证明使用扩展连续映射定理。示例3.4指出,即使L是高斯过程,φ'
θ0(L)也可能非高斯(如非负随机变量)。链式法则同样成立。
**3.2 二阶展开**
本节讨论一阶导数为零时的二阶展开。定义3.5给出二阶Hadamard方向可微性(second-order Hadamard directional differentiability):假设φ已是一阶方向可微,二阶导数φ''
θ0满足齐次性(degree 2)和连续性,使得对任意序列有[φ(θ
0+t
nh
n) - φ(θ
0) - t
nφ'
θ0(h
n)] / (t
n2/2) → φ''
θ0(h)。定理3.6给出二阶函数Delta方法:若φ是二阶方向可微,且√n(θ?
n - θ
0) 依分布收敛于L,则n(φ(θ?
n) - φ(θ
0)) 依分布收敛于(1/2)φ''
θ0(L)。证明类似一阶情形。示例3.7回到Cramér-von Mises检验统计量,其二阶Hadamard导数在F
0处为φ''
F0(h) = 2∫h(x)
2 dF
0(x)。对于独立同分布或混合序列,可得到极限分布为加权χ
2型随机变量。示例3.8同样给出对称性检验统计量的二阶导数结果。
**3.3 改进**
本节讨论若干改进方向,包括范数选择、空间性质及中心化方向。
3.3.1 范数的选择:当sup-范数下可微性不成立时,可选择其他范数或度量。例如对对称性检验,使用L
1-范数(加权积分范数)可在更弱条件下证明Hadamard可微性,只需分布具有有限一阶矩。示例展示了在L
1-范数下的推导。
3.3.2 空间D、E和D
0的性质:Bücher et al. (2014)将函数Delta方法推广至半度量空间(semi-metric spaces)。Beutner and Z?hle (2010)引入仅对D和E赋予范数的可微性概念,便于处理加权范数。King (1989)考虑了集合值映射(set-valued map)的Delta方法。
3.3.3 中心化与方向:当中心化随n变化时,需使用均匀函数Delta方法(uniform functional delta method)或稳定函数Delta方法(stable functional delta method)。此外,定理中要求θ?
n与θ
0差值的缩放序列为√n,但该假设在copula可微性等情形下可放宽。