基于核化方法的非参数二元选择模型

《Journal of Econometrics》：A kernelization-based approach to nonparametric binary choice models

　　

研究人员提出了一种新的非参数二元选择模型（nonparametric binary choice models）估计方法，该方法既不对协变量的系统性函数施加参数结构，也不对误差项的分布施加假设。该方法的一个关键优势是在协变量数量上的计算可扩展性。例如，即使像概率单位模型（probit models）那样假定正态误差分布，当协变量数量适中时，常用的用于逼近未知协变量函数的筛子（sieves）可能导致高维优化问题。受机器学习中核方法（kernel methods）的启发，研究人员将特定的再生核希尔伯特空间（reproducing kernel Hilbert spaces, RKHS）视为特殊的筛子空间，并结合谱截断正则化（spectral cut-off regularization）进行降维。研究人员证明了所提估计量的一致性，以及加权平均偏导数（weighted average partial derivatives）的插件估计量的渐近正态性。模拟研究表明，与参数估计方法相比，所提方法在设定错误的情况下能有效提高有限样本性能，且在模型正确设定时效率损失较小。研究人员使用美国移民法庭庇护申请裁决的行政数据，以及九个关于天气和污染的判决日变量，重新检验了室外温度对法庭法官“情绪”及其裁决决定的影响。

### 论文解读：基于核化方法的非参数二元选择模型

#### 一、研究背景与问题

二元选择问题（Binary choice problems）在经济学中广泛存在，例如个体是否工作的选择、企业是否进入市场的决策以及家庭是否迁移的意愿。二元选择模型（Binary choice models, BCMs）基于潜在效用最大化（latent utility maximization）的微观经济解释，被广泛用于分析这些问题。通常，潜在效用（即一个选择相对于另一个选择的净效用）由两部分组成：一个系统性分量，它是协变量的确定性函数 \(G\)；以及一个随机分量 \(\varepsilon\)，表示异质性误差。

为避免因设定错误导致的估计不一致性问题，Matzkin（1992）首次研究了完全非参数BCMs，允许 \(G\) 和 \(\varepsilon\) 均为非参数形式。然而，其提出的估计量并不实用，因为它依赖于在约束条件下最大化经验似然（empirical likelihood），例如 \(\varepsilon\) 的累积分布函数（cumulative distribution function, CDF）的单调性约束，其计算随着回归变量数量或样本量的增加而变得棘手。此外，该方法不能用于估计偏效应（partial effects），而偏效应是重要的政策参数。

另一个思路是使用筛子逼近（sieve approximations）来处理非参数函数。然而，即使误差分布已知，处理多协变量的非参数 \(G\) 也会带来计算挑战。这是因为估计非线性模型需要数值优化，而 \(G\) 的筛子逼近可能需要大量基函数。近期虽有研究解决了线性指数模型的计算问题（如 Ahn et al., 2018; Khan et al., 2021），但这些研究假设 \(G\) 是线性的，而处理非参数 \(G\) 带来了额外的困难。

基于上述实际挑战，研究人员提出了一种新的估计方法，适用于一类广泛的非参数BCMs。该方法利用再生核希尔伯特空间（reproducing kernel Hilbert space, RKHS）中的函数逼近协变量的非参数分量，可将RKHS视为特殊的筛子空间，并结合谱截断（spectral cutoff）进行降维正则化。对于非参数误差分量，研究采用Gallant和Nychka（1987）的方法，通过平方埃尔米特多项式（squared Hermite polynomials）逼近其密度，从而得到简洁的封闭形式CDF逼近，无需数值积分即可轻松评估。

研究的关键理论贡献在于将RKHS球视为特殊筛子空间这一简单视角，这一思想可应用于BCMs之外的许多非参数问题，使基于RKHS的方法能够无缝整合到现有筛子估计框架中（如 Chen, 2007）。在存在多个协变量且经典筛子面临实际挑战时，该方法尤其有用。此外，与近期计量经济学中基于RKHS的方法（如 Singh, 2022; Singh et al., 2019）相比，本研究的方法对设定错误更具稳健性。这些先前研究通常假设真实非参数函数属于特定RKHS，这一假设可能具有限制性或存在设定错误。而本研究框架对 \(G\) 施加了标准的光滑性条件，并适当选择RKHS使得真实函数可由RKHS球内的函数逼近，通过显式考虑逼近误差率，确保了在真实函数不属于预设RKHS时的稳健性。

该论文发表在《Journal of Econometrics》。

#### 二、主要关键技术方法

研究人员提出了核化非参数（kernelized non-parametric, KNP）估计量，用于估计系统性函数 \(g_0\) 和误差项CDF \(F_0\)。主要方法包括：1）将 \(g_0\) 的逼近限制在再生核希尔伯特空间（RKHS）的球内，利用核函数 \(\{k(W_j,\cdot)\}_{j=0}^n\) 的线性组合表示函数，将无限维优化转化为有限维问题（类似表示定理）；2）通过谱截断正则化（spectral cut-off regularization）对格拉姆矩阵（Gram matrix）\(K\) 进行低秩逼近，将优化维数从 \(n+1\) 降至 \(m+J_n\)（\(m\) 为保留的主成分个数），从而提升计算效率；3）对误差项密度采用平方埃尔米特多项式（squared Hermite polynomials）逼近，得到简洁封闭形式的CDF，无需数值积分。样本来源：模拟研究中采用随机生成数据；实证应用中采用美国移民法庭庇护申请裁决的行政数据，包含99,773个观测值，以及九个天气和污染变量。

#### 三、研究结果

**3.1 一致性（Consistency）**
通过定理4.1，研究人员证明了KNP估计量 \((\hat{g},\hat{F})\) 在适当条件下满足一致收敛性：\(\sup_{w\in\mathcal{W}}|\hat{g}(w)-g_0(w)|+ \sup_{u\in\mathbb{R}}|\hat{F}(u)-F_0(u)| \xrightarrow{p} 0\)，且条件选择概率（conditional choice probability, CCP）的插件估计量也一致收敛。对于经谱截断正则化的KNP估计量，在 \(m\) 选择适当时同样满足一致性。

**3.2 收敛速度（Rate of Convergence）**
定理4.2和推论4.1给出了CCP估计量 \(\hat{p}\) 在 \(L^2(P_X)\) 范数下的收敛速度。在假设 \(g_0\) 具有 \(m_w\) 阶有界导数、 \(f_0\) 属于加权索伯列夫空间（weighted Sobolev space）的条件下，通过平衡核函数半径 \(B_n\) 与埃尔米特多项式阶数 \(J_n\) 带来的偏差与方差，得到了收敛率 \(\|\hat{p}-p_0\|_{L^2(\mathcal{X})}^2 = O_p(n^{-\beta/(1+\beta)}\log n)\)，其中 \(\beta = \min\left(\frac{m_w}{2(d_w+1)}, m_e\right)\)。

**3.3 加权平均偏导的渐近正态性（Asymptotic Normality of Weighted Average Derivatives）**
定理4.3建立了加权平均偏导数估计量的渐近正态性：\(\sqrt{n}(\hat{\gamma}-\gamma_0) \xrightarrow{d} N(0, \mathbb{E}[b_\gamma(X)^2 p_0(X)(1-p_0(X))])\)。该极限分布与Newey（1997）利用级数回归（series regression）估计CCP并计算插件估计量时得到的方差相同，表明KNP方法在估计加权平均偏效应时具有相同的渐近有效性。

**3.4 模拟研究（Simulation Studies）**
模拟研究比较了KNP与核化概率单位（KPB）、半非参数（SNP）、概率单位（Probit）及多项式逼近等方法。主要发现：在系统性函数和误差项均设错（如非线性 \(g_0\) 与混合正态误差）的情况下，KNP的估计效果最佳，显著优于其他方法；在函数正确设定但误差分布错误时，KNP表现第二；在模型完全正确设定时，KNP的效率损失很小。在10维协变量情形下，KNP依然保持稳健性。此外，Bootstrap置信区间对各维度的平均偏效应（APE）和条件平均偏效应（cAPE）的覆盖概率在样本量增大时接近名义水平。

**3.5 实证应用：温度与法官决策（Application: Temperature and Judge’s Decision）**
研究应用KNP方法重新检验了Heyes和Saberian（2019）的研究，考察室外温度对移民法官庇护申请裁决的影响。估计得到的效用函数 \(g(\cdot)\) 显示温度与效用呈“钟形”关系：高温时温度升高降低效用，低温时温度升高增加效用。与线性概率模型（LPM）相比，KNP估计的条件平均偏效应（cAPE）表现出异质性：高温（>70°F）时cAPE显著为负，低温（<70°F）时cAPE不显著，而LPM下两个cAPE均显著为负。这表明KNP方法能捕捉LPM难以刻画的非线性与交互效应。

#### 四、讨论与结论

讨论部分强调，KNP方法在计算上优于经典筛子方法，尤其当协变量维度较高时，避免了构建大量交互基函数的问题。结论部分翻译如下：

“在本文中，研究人员为一类已识别的非参数二元选择模型提出了一种新的估计程序。与其他可能的方法相比，该估计程序更易于计算，特别是当协变量数量不小（这可能导致使用常用筛子方法时产生大量基函数）时。研究人员证明了所提估计量具有理想的渐近性质，模拟研究表明KNP估计量在有限样本中表现良好。重新检验温度对移民法官潜在效用及其庇护申请裁决的影响，展示了该方法的实际相关性。未来的一个自然扩展是，在保持KNP程序计算可处理性的前提下，允许基于经济应用特定假设或现有理论的非参数和无分布BCM具有进一步的结构。”