基于归一化最大似然的瑞利与莱斯数据随机复杂度分析：模型选择与参数估计的渐进理论

《Stats》：Stochastic Complexity of Rayleigh and Rician Data with Normalized Maximum Likelihood

本文深入探讨了瑞利分布与莱斯分布（Rician distribution）在归一化最大似然（NML）框架下的随机复杂度（stochastic complexity）计算。文章核心在于解决当参数空间积分发散时，如何通过限制积分域并编码边界选择，来构建一个有限且可比较的模型复杂度度量。研究揭示了在雷达、通信及磁共振成像（MRI）等领域，利用随机复杂度进行模型选择，能够有效避免传统似然比检验中主观阈值设定的问题，为复杂数据建模提供了坚实的理论依据。

　　

1. 引言与背景

在统计建模与模型选择领域，最小描述长度（MDL）原则提供了一种强大的理论框架，其核心思想是选择能够以最短编码长度描述数据的模型。在这一框架下，随机复杂度（stochastic complexity）扮演着关键角色，它被定义为数据在给定模型下的归一化最大似然（NML）密度的负对数。对于一个模型类 M，其NML密度定义为：

f_NML(xⁿ; M) = f(xⁿ; θ?(xⁿ)) / C(M)

其中，f(xⁿ; θ?(xⁿ) 是数据在最大似然（ML）估计参数下的密度，而 C(M) 是归一化常数，定义为该最大似然函数在整个数据空间上的积分。随机复杂度则表示为：

SC(M) = -ln f_NML(xⁿ; M) = -ln f(xⁿ; θ?(xⁿ)) + ln C(M)

这一公式直观地表明，随机复杂度由两部分组成：一部分是数据在最佳拟合模型下的负对数似然（即拟合优度），另一部分是模型的复杂度惩罚项 ln C(M)。通过比较不同模型的随机复杂度，研究者可以选择出在拟合优度与模型复杂度之间达到最佳平衡的模型。

然而，一个根本性的挑战在于，对于许多有趣的模型，包括本文重点研究的瑞利分布和莱斯分布，归一化常数 C(M) 在参数空间上的积分是发散的。这被称为“无穷大问题”，它使得标准的NML方法无法直接应用。本文的核心工作正是围绕如何解决这一难题展开，特别是针对瑞利和莱斯数据，这两种分布在雷达、通信和磁共振成像等领域具有广泛的应用。

2. 瑞利数据的随机复杂度

瑞利分布是莱斯分布的一个特例，当莱斯分布的非中心化参数 a=0 时，即为瑞利分布。其概率密度函数为：

f(xⁿ; σ²) = ∏_i=1ⁿ(x_i/σ²) exp(-x_i²/(2σ²))

对于瑞利分布，其最大似然估计量 σ?²(xⁿ) 具有一个简洁的表达式，并且其分布可以明确地推导出来。由于瑞利分布属于指数族，其NML密度可以相对容易地计算。然而，即使对于这个相对简单的模型，归一化常数 C(M) 在参数 σ²的整个定义域 (0, ∞) 上的积分仍然是发散的。

为了解决这个问题，文章采用了Rissanen提出的策略：将积分限制在一个有限的子集上，例如从 σ_min²到 σ_max²。这样，归一化常数变为一个有限值：

C(M) = ∫σmin2σmax2g(σ?2) dσ?2= (nne-n/ (n-1) ln(σmax2/ σmin2)

取自然对数后，随机复杂度的惩罚项近似为：

ln C(M) ≈ n ln n - n - ln(n-1)! + ln ln(σ_max²/ σ_min²)

这种方法的代价是，结果对边界 σ_min²和 σ_max²的选择变得敏感。为了完整地描述模型，还需要额外的比特（或纳特）来编码这些边界的选择。文章还展示了使用费舍尔信息矩阵的渐进近似方法，最终得到了与上述直接计算相吻合的表达式，验证了该方法的正确性。

3. 莱斯数据的随机复杂度

莱斯分布比瑞利分布更为复杂，它由两个参数定义：非中心化参数 a 和尺度参数 σ²。其概率密度函数为：

f(xⁿ; a, σ²) = ∏_i=1ⁿ(x_i/σ²) exp(-(x_i²+ a²)/(2σ²)) I₀(a x_i/σ²)

其中 I₀(·) 是零阶修正贝塞尔函数。由于贝塞尔函数的存在，莱斯分布不属于指数族，这使得其最大似然估计和费舍尔信息矩阵的计算都变得非常困难。

文章详细分析了三种不同的参数估计场景：

• •
  未知 a，已知 σ²： 在这种情况下，最大似然估计 a? 需要通过一个不动点迭代来求解。费舍尔信息 I(a) 的平方根在参数 a 的整个定义域上的积分同样是发散的。文章通过数值计算展示了 I(a) 的平方根随 a 变化的曲线，并指出必须限制 a 的积分上限，并编码该上限的选择。
• •
  未知 σ²，已知 a： 此时，最大似然估计 σ?²的表达式相对复杂。费舍尔信息 I(σ²) 的平方根在 σ²接近 0 时存在奇点，导致积分发散。文章同样建议限制 σ²的积分范围，并编码边界的选择。
• •
  未知 a 和未知 σ²（主要研究重点）： 这是最一般也是最复杂的情况。此时，参数向量 θ = (a, σ²) 是二维的。最大似然估计 (a?, σ?²) 需要通过一个二维不动点迭代来求解。费舍尔信息矩阵 I(a, σ²) 的行列式的平方根 det I(a, σ²) 在参数空间的某些区域上积分发散。

为了处理这个二维积分发散的问题，文章采用了与一维情况类似的策略，但更为复杂。具体来说，文章将参数 a 的积分限制在 [0, 2^s] 范围内，将参数 σ²的积分限制在 [2^-b₁, 2^b₁] 范围内。其中，s 和 b₁是正整数，它们的选择要确保最大似然估计值落在相应的区间内。然后，随机复杂度的表达式变为：

SC(MRician) = -L(a?, σ?12) + (k/2) ln(n/(2π)) + ln ∫02s∫2-b12b1√det I(a, σ2) dσ2da + [log(b1) + c] ln 2 + [log(s) + c] ln 2

这个表达式包含了似然项、基于参数个数 k=2 的渐进惩罚项、限制后的费舍尔信息积分项，以及用于编码边界参数 b₁和 s 的附加惩罚项。文章通过数值计算，预计算了不同 b₁和 s 取值下的积分项，为实际应用提供了便利。

4. 数值模拟与结论

为了验证所提出的方法，文章进行了一项蒙特卡洛模拟实验。实验模拟了从不同非中心化参数 a 的莱斯分布中生成数据，然后使用随机复杂度准则在瑞利模型和莱斯模型之间进行选择。结果表明，随着真实参数 a 的增大（即数据偏离瑞利分布的程度增加），随机复杂度准则正确选择莱斯模型的概率也随之增加。这一结果符合直觉，证明了该方法的有效性。

文章最后指出，虽然通过限制积分域解决了无穷大问题，但这种方法的一个主要缺陷是结果对边界选择的方式敏感，并且编码边界选择的方法也缺乏普适性的指导。这凸显了在随机复杂度理论中，寻找一种更优雅、更普适的“重归一化”方案的重要性。文章希望其工作能激发后续研究，为处理更广泛的概率模型中的无穷大问题提供新的思路。