自然指数族中的新方差估计方法

《Research in Statistics》：A new variance estimation in natural exponential families

　　**摘要**
本文重点关注如何改进自然指数族分布的方差估计方法，这一改进思路源于Stein提出的创新性观点。该估计方法基于利用样本数据中的峰度信息。我们推导出了在尺度化均方误差损失函数下，自然指数族分布的二次方差函数的广义收缩估计量形式。理论计算表明，这种新的收缩估计量在性能上优于标准的样本方差估计量。因此，本文将这种方法扩展到了二项分布、泊松分布、负二项分布、伽马分布和广义双曲正割分布等自然指数族分布中。通过仿真研究评估了所提出的数据驱动型收缩方差估计量的性能，结果显示其相较于现有估计量有显著提升。最后，将这些估计量应用于实际数据（包括二项分布、泊松分布和负二项分布），验证了它们在这些场景下的优越性。

**关键词**：自然指数族；二次方差函数；尺度化均方误差；收缩方差估计；峰度

**1. 引言**
最优收缩估计在概率分布参数的点估计领域有着悠久的历史。迄今为止，大多数研究都是基于最小化均方误差（MSE）函数或二次损失函数来展开的。不幸的是，通常情况下，最小化MSE依赖于未知的参数，从而无法直接用于参数估计。然而，如果能在估计过程中加入额外信息，那么估计量可能会变得更加有效。Laheetharan和Wijekoon（Citation2010, 891）的研究表明，利用任何先验信息都能提高估计精度——即如果分布的先验信息已知，就可以通过整合这些信息来改进估计量。峰度作为分布的第四个标准化中心矩，能够提供关于分布尾部长度和峰值的宝贵信息。当数据具有峰度时，变量的均值保持不变，但均值的标准误差可能会变得过小或过大。因此，分布的尾部受到峰度值的显著影响，这种直观信息对方差估计器具有积极效果。许多统计学家已经考虑在方差参数估计中利用峰度。Singh等人（Citation1973）、Searls和Intarapanich（Citation1990）以及Wencheko和Wijekoon（Citation2005）提出了在已知峰度情况下的分布方差估计方法，这些方法比常见的标准样本方差估计量更为有效。本文进一步发展了这些方法，适用于二项分布、泊松分布、负二项分布、伽马分布和广义双曲正割分布等自然指数族分布。长期以来，人们已经知道标准样本方差估计量S2用于估计总体方差σ2，其中S2=∑i=1n(Xi?Xˉ)2(n?1)，且E(S2)=σ2。众所周知，标准样本方差估计量S2的方差由下式给出：3.8 Var(S2) = 1/n[κ4+3κ22?(n?3n?1)κ22] = 1/n[κ4κ22+3?(n?3n?1)]κ22 = σ?n[α?+2n(n?1)]。这里kurtosis α4=κ4κ22（引自Casella和Berger，2002年，第257页）。现在，应用定理2.2，可以得到总体方差σ2的最优收缩估计量：3.9 Tσ?(X) = n(n?1)α?(n?1)+n(n+1)S2，其中kσ=1，g(σ2)=σ2。3.10 τσ2 = Var(S2)σ? = 1/n[α?+3?(n?3n?1)]，且α = kσkσ2+τσ2=n(n?1)α?(n?1)+n(n+1)。3.10 然后，其均方误差（SMSE）为：3.11 SMSE[Tσ?(X)] = τσ2(kσ2+τσ2)?1 = α?(n?1)+2nα?(n?1)+2n+n(n?1)。3.11 收缩标准样本方差估计量Tσ?(X)之前已被Searls和Intarapanich（引用1990年）以及Wencheko和Chipoyera（引用2009年）提出并使用。注意，由于3.12 τσ2kσ2=1/n(α?+2n(n?1) 和 τ2k2=1/n(α??2nξ2n+ξ2)，则3.12 3.13 τσ2kσ2?τ2k2=2n(1+ξ2)(n?1)(n+ξ2) 表明对于所有ξ2>?1的情况，都有τσkσ>τks。3.13 因此，应用定理2.3，如果ξ2>?1，最优收缩估计量类Tks?(X)优于最优收缩标准样本方差估计量类Tσ?(X)。3.3. NEF分布的收缩方差估计量在本节中，我们的目标是在已知峰度（kurtosis）的情况下，为五种基本NEF分布（二项式、泊松、负二项式、伽马、广义双曲正割）推导出最优收缩估计量。为了实现这一目标，我们可以有效地利用前面章节中获得的结果。以下是我们可以遵循的逐步方法：首先根据μ的完整充分统计量确定一个合适的点估计量Vv?[T(X)]。接着，确定将应用于该点估计量的收缩因子α?。使用已确定的点估计量和收缩因子，找到最优收缩估计量Tks?(X)。3.3.1. 二项式分布设X1, X2, …, Xn是独立同分布的随机变量，且Xi～Bin(r, p)，i=1, …, n，其中r≥1是已知数，0< p<1是未知参数。Xi的均值和方差分别为μ=E(Xi)=rp，V(μ)=Var(Xi)=rp(1?p)=μ?μ2r=ξ?+ξ?μ+ξ?μ2，其中ξ?=0, ξ?=1, ξ?=?1r，α?=6p2?6p+1rp(1?p)=6μ2?6rμ+r2rμ(r?μ)。根据方程(3.1)，Vv?[T(X)]=T(X)(nr?T(X))(nr?1)是V(μ)的估计量。根据方程(3.5)，收缩因子为α?=(nr?1)(nr?1)(α?+n)+2n。因此，根据方程(3.6)，V(μ)的最优收缩估计量为Tks?(X)=1/(nr?1)(α?+n)+2n[∑i=1nXi/(nr?∑i=1nXi)]。因此，根据方程(3.7)，该估计量的均方误差为：SMSE[Tks?(X)]=α?/(nr?1)+2n(α?+n)(nr?1)+2n。3.3.2. 泊松分布设X1, X2, …, Xn是独立同分布的随机变量，且Xi～Poi(λ)，i=1, …, n，其中λ>0是未知参数。Xi的均值和方差分别为μ=E(Xi)=λ，V(μ)=Var(Xi)=λ=μ，其中ξ?=0, ξ?=1, ξ?=0，α?=1/λ=1μ。根据方程(3.1)，Vv?[T(X)]=T(X)n是V(μ)的估计量。根据方程(3.5)，收缩因子为α?=n/α?。因此，根据方程(3.6)，V(μ)的最优收缩估计量为Tks?(X)=1/n+α?∑i=1nXi。因此，根据方程(3.7)，该估计量的均方误差为：SMSE[Tks?(X)]=α?/α?+n。3.3.3. 负二项式分布设X1, X2, …, Xn是独立同分布的随机变量，且Xi～NB(r, p)，i=1, …, n，其中r≥1是已知数，0< p<1是未知参数。Xi的均值和方差分别为μ=E(Xi)=r(1?p)p，V(μ)=Var(Xi)=r(1?p)p2=μ+μ2r=ξ?+ξ?μ+ξ?μ2，其中ξ?=0, ξ?=1, ξ?=1r，α?=6r+p2r(1?p)=6r+rμ(r+μ)。根据方程(3.1)，Vv?[T(X)]=T(X)(nr+T(X))(nr+1)是V(μ)的估计量。根据方程(3.5)，收缩因子为α?=(nr+1)(nr+1)(α?+n)?2n。因此，根据方程(3.6)，V(μ)的最优收缩估计量为Tks?(X)=1/(nr+1)(α?+n)?2n[∑i=1nXi/(nr+∑i=1nXi)]。因此，根据方程(3.7)，该估计量的均方误差为：SMSE[Tks?(X)]=α?/(nr+1)?2n(α?+n)(nr+1)?2n。3.3.4. 伽马分布设X1, X2, …, Xn是独立同分布的随机变量，且Xi～Gamma(r, λ)，i=1, …, n，其中形状参数r≥1是常数，λ>0是未知的尺度参数。Xi的均值和方差分别为μ=E(Xi)=rλ，V(μ)=Var(Xi)=rλ2=μ2r=ξ?+ξ?μ+ξ?μ2，其中ξ?=0, ξ?=0, ξ?=1r，α?=6r。根据方程(3.1)，Vv?[T(X)]=T(X)2(nr+1)是V(μ)的估计量。根据方程(3.5)，收缩因子为α?=(nr+1)α?(3n+α?)(2n+α?)。因此，根据方程(3.6)，V(μ)的最优收缩估计量为Tks?(X)=α?(3n+α?)(2n+α?)[∑i=1nXi]2。因此，根据方程(3.7)，该估计量的均方误差为：SMSE[Tks?(X)]=α?(6n+α?)?2nα?(α?+n)(6n+α?)?2nα?。3.3.5. 广义双曲正割分布设X1, X2, …, Xn是独立同分布的随机变量，且Xi～GHS(r, λ)，其中r(>0)是已知数，λ∈(?∞,∞)是参数，x∈R，对于i=1, …, n。该分布的密度函数为fr,λ?(x)=(1+λ2)?1/2exp?[x tan?1(λ)]，其中fr,0(x)是根据r的奇偶性（r为奇数时除以cosh(πx2)，偶数时除以sinh(πx2)得到的r次多项式。此外，当r不是整数时，fr,0(x)的密度可以表示为无限乘积fr,0(x)=2r?2Γ(r)∏j=0∞[1+x2(r+2j)2]?1。Morris（引用1982年，第72-73页）对GHS进行了更详细的讨论。在这种情况下，μ=E(Xi)=rλ，V(μ)=Var(Xi)=r(1+λ2)=r+μ2r=ξ?+ξ?μ+ξ?μ2，其中ξ?=r, ξ?=0, ξ?=1r，α?=6r?4r(1+λ2)=6r?4r(r2+μ2)。根据方程(3.1)，Vv?[T(X)]=n2r2+(T(X))2(nr+1)是V(μ)的估计量。根据方程(3.5)，收缩因子为α?=(nr+1)(nr+1)(α?+n)?2n。因此，根据方程(3.6)，V(μ)的最优收缩估计量为Tks?(X)=1/(nr+1)(α?+n)?2n[n2r2+(∑i=1nXi)2]。因此，根据方程(3.7)，该估计量的均方误差为：SMSE[Tks?(X)]=α?/(nr+1)?2n(α?+n)(nr+1)?2n。3.4. 基于样本信息的收缩方差估计研究主要集中在方法论上，而非理论特性。收缩方差估计的概念可以追溯到Stein在1964年的重要发现，他证明了与结合样本均值信息的收缩估计量相比，常规样本方差是不合适的。自那时起，这一领域进行了大量研究，如Maatta和Casella（引用1990年）、Kubokawa（引用1999年）以及Yatracos（引用2005年）的工作所示。Searls和Intarapanich（引用1990年）在他们1990年的文章中回应了统计学家对他们的方差估计量的评论。统计学家指出，最优除数是根据峰度（kurtosis）来确定的，而某些分布的峰度是未知的，因为它取决于一个或多个未知参数。作为回应，Searls和Intarapanich（引用1991年，第259页）指出，当峰度不是已知常数时，需要估计峰度才能有效使用他们的方差估计量。然而，许多研究都集中在单一方差上，技术主要适用于估计影响方差估计量收缩程度的收缩因子。为了改进收缩方差估计，结合数据分布的其他矩（如样本峰度）的信息可能是有用的。进一步探索将更高矩（如峰度）的信息纳入收缩方差估计量中可能会推动该领域的发展，并有可能提高这些估计量在各种应用中的性能，包括统计过程控制分析。现在我们考虑方程(3.6)中的收缩估计量类Tks?(X)，其中收缩因子α是未固定的。最小化αT(X)的MSE的最佳α选择在方程(3.5)中给出，即α?=n+ξ2(n+ξ2)(α?+n)?2nξ2，其中α?是分布的超额峰度。由于α?通常依赖于未知参数，最优收缩点α?通常不是已知常数，因此Tks?(X)不能用作V(μ)的估计量。为了获得不涉及未知参数的收缩因子，我们需要采用Stein（引用1964年）的方法，利用样本信息消除这些未知参数。由于αT(X)的MSE是α的非负二次函数，并且在α=α?点达到最小值（见图1）。我们的目标是以接近最小化MSE值的α来找到最佳估计值α。到目前为止，一种简单的方法是实现收缩方差估计量。收缩因子取决于峰度参数α?，该参数可以通过样本矩估计得到，并用于估计收缩因子。也就是说，使用适当的分布估计的峰度（α?4）作为收缩因子，可以得到一个新的收缩估计量。因此，受到Stein（引用1964年）创新概念的启发，我们在第3.4.1节提出了一种用于NEF分布中QVF的修改点估计的新框架，我们称之为改进型Stein型估计量（MSTE）。图1. αT(X)的MSE作为收缩因子α的函数。3.4.1. 最优收缩因子的估计最优收缩因子α?取决于未知量α?。根据方程(2.11)，我们用以下方式估计峰度α?：3.14 α??=6ξ2+dV(Xˉ)。根据方程(3.5)，我们现在定义收缩因子估计量α??如下：3.15 α??=n+ξ2(n+ξ2)(α??+n)?2nξ2，其中ξ2(>?1)取决于分布的常数，n表示样本大小，α??表示方程(3.14)中定义的峰度估计量。注1. 可以直接验证α??≥2ξ2且α??<1/n，详细验证见附录A.2。这个结果表明，估计值α??比1/n更接近最小化MSE的值。参照图1，对于NEF框架下的每个V(μ)，估计量α??比现有的偏差估计过程有所改进。将估计值α??代入方程(3.6)可以得到一个新的MSTE。如第4节的模拟和第5节的实际数据应用所示，基于α??的估计量比传统的样本方差估计量有实际的改进。注：根据方程(3.14)和(3.15)中的估计量，可以得出估计量α??Vv?[T(X)]对于所考虑的分布类中的V(μ)是可接受的。此外，值得注意的是，无论是矩估计法（MOM）还是最大似然估计量（MLE），对于所有NEF-QVF分布中的均值参数μ，都使用Xˉ。因此，MLE的不变性确保了MOM和MLE估计量对于所有的NEF-QVF分布是一致的。由于峰度α?是V(μ)的函数（见(2.11)，因此所有NEF-QVF分布的MOM和MLE估计的峰度都是一样的，伽马分布除外。因此，MOM和MLE对峰度的估计都提供了唯一的收缩因子估计。3.4.2. 基于样本信息的方差收缩估计现在我们比较基于第3.2节中给出的样本信息的方差收缩估计量：根据方程(3.6)，V(μ)的MSTE为3.16 Tks?(X)=n2ξ?+nξ1T(X)+ξ2[T(X)]2(n+ξ2)(α??+n)?2nξ2；根据方程(3.9)，估计量为3.17 Tσs?(X)=n(n?1)α??(n?1)+n(n+1)S2。方程(3.12)和(3.13)表明3.18 τσs2kσ2=1/n(α??+2n(n?1) 和 τks2k2=1/n(α???2nξ2n+ξ2)，因此3.18 τσs2kσ2?τks2k2=2n(1+ξ2)(n?1)(n+ξ2)。所以对于所有ξ2>?1的情况，都有τσskσ>τks。因此，应用定理2.3，如果ξ2>?1，MSTE类Tks?(X)优于收缩估计量类Tσs?(X)。因此，表明对于所有ξ2>?1的情况，估计量Tks?(X)优于Tσs?(X)，即SMSE[Tks?(X)]对于二项分布情况（r=4，概率p分别为0.1、0.25、0.4、0.5、0.75、0.9），比较了MSTE（修改后的Stein型估计量）和基于标准方差收缩的估计量在均方平方误差（SMSE）方面的性能。模拟结果显示，无论样本大小如何，MSTE在SMSE方面始终优于基于标准样本方差的收缩估计量。此外，随着样本量的增加，MSTE和基于标准方差的估计量的性能趋于一致，这证明了所提出估计量的稳健性和渐进效率。

为了评估应用于二项分布、泊松分布和负二项分布的方差收缩估计量Tσs?(X) = VAR1和Tks?(X) = VAR2的性能，并绘制估计的VAR1、VAR2、SMSEV1和SMSEV2值的分布图，可以按照以下方法创建比较图：图3a、4a和5a展示了不同样本量下的VAR1和VAR2；图3b、4b和5b分别展示了不同样本量下的SMSEV1和SMSEV2。

5.1. 二项分布
数据来源于Montgomery的示例7.1（引用2009，292-293页）。本研究使用的数据集详细信息见附录C.1。数据包含30次重复实验，每次实验抽取50罐橙汁，抽取间隔为半小时。

5.2. 泊松分布
数据来源于Montgomery的练习7.1（引用2009，335页）。这些数据描述了在样本量大小为100的情况下，不符合要求的轴承和密封组件的数量，包含20次重复实验。本研究使用的数据集详细信息见附录C.2。

5.3. 负二项分布
假设一个生产过程可以用负二项分布来描述，其中r=5，数据包含30次重复实验。这个例子来源于Yun和Youlin的示例3（引用1996，815页）。本研究使用的数据集详细信息见附录C.3。

6. 结论
本文提出了一种新的方差收缩估计量，用于自然指数族（NEF）分布中的二次变异函数（QVF），特别关注缩放后的均方误差（MSE）损失函数，尤其是在已知峰度的情况下。对于几种重要分布（包括二项分布、泊松分布、负二项分布、伽马分布和广义双曲正割分布），推导出了最优的方差收缩估计量。由于这些分布的峰度依赖于一个未知参数，本文提出了一种从样本数据中估计该参数的方法，并将其纳入新的方差估计量中。这种估计量受到Stein（引用1964）收缩思想的影响，被命名为修改后的Stein型估计量（MSTE）。研究表明，MSTE在所考虑的估计量类别中是可行的。理论结果通过数值分析得到了进一步支持，证明无论样本大小如何，MSTE在数值性能方面始终优于基于样本方差的标准收缩估计量。随着样本量的增加，MSTE和传统方差估计量的性能趋于一致，突出了所提出估计量的稳健性和效率。

通过对三个真实世界数据集的全面模拟研究和实证分析，有力证明了MSTE在方差估计方面的优越性，特别是在小样本情况下。这些发现表明，MSTE是NEF框架内进行方差估计的有效可靠工具，尤其是在峰度是潜在分布关键因素的情况下。所提出的方法相比现有估计量有显著改进，为统计估计领域做出了宝贵贡献。未来的研究将扩展这项工作，探索不同概率分布下收缩方差估计量的性能，从而进一步深入了解收缩估计量在统计理论和实践中的稳健性和潜在应用。