高维单指标模型：连接函数估计与边际推断

《Information and Inference: A Journal of the IMA》：High-dimensional single-index models: link estimation and marginal inference

　　

本研究提出了一种在高维单指标模型(high-dimensional single-index models)中进行估计和假设检验的新方法。研究人员处理了一个常见场景，即样本量与回归系数维度较大且相当的情况。与以往通常忽略未知连接函数(link function)估计的方法不同，研究人员引入了一种新的连接函数估计方法。利用估计得到的连接函数信息，研究人员提出了与潜在模型更契合的更高效估计量。此外，研究人员严格建立了估计量每个坐标的渐近正态性(asymptotic normality)。这为任意有限坐标集合的置信区间(confidence interval)和p值(p-value)的构造提供了有效依据。数值实验验证了理论结果。

高维单指标模型：连接函数估计与边际推断的论文解读

单指标模型(single-index model)假设响应变量y与特征向量x的关系通过一个未知的连接函数g(?)和线性指标β?x连接，即E[y|X=x]=g(β?x)。该模型在保留非参数灵活性的同时避免了维度灾难，并可通过检验β_j=0来评估各协变量的贡献，因此在计量经济学和生物统计学中受到长期关注。在比例高维机制下（即样本量n与维度p同步趋于无穷，且p/n收敛到常数κ?），已有研究大多针对逻辑回归等连接函数已知的特例。对于连接函数未知的一般单指标模型，虽然Bellec[10]建立了估计量的渐近正态性，但连接函数的一致估计以及系数估计量的边际推断(marginal inference)问题尚未解决。因此，本文旨在回答三个问题：能否一致地估计未知连接函数g(?)？能否对β的每个坐标建立严格的渐近推断？能否利用估计的连接函数提升系数估计的效率？该论文发表于《Information and Inference: A Journal of the IMA》。

为此，研究人员提出了一种三阶段估计框架。第一阶段，利用岭回归(ridge regression)初始估计量β?和基于二阶Stein公式的可观测调整(observable adjustment)技术，构造指标估计量W_i，使其近似等于真实指标β?X_i加上高斯误差。第二阶段，采用去卷积核方法(deconvolution kernel)处理指标估计误差带来的变量含误差(errors-in-variables)问题，构造连接函数的Nadaraya-Watson估计量g?(?)，并通过单调化算子保证其单调性。第三阶段，定义替代损失?(b;x,y,g?)=G?(x?b)-yx?b，其中G?′=g?，通过最小化带正则化的经验损失得到系数估计量β?(?)。此外，研究人员还给出了推断参数μ?和σ?的估计量，用于构造置信区间和p值。样本分割技术被用于分离连接函数估计和系数估计的依赖结构。数值模拟使用了多种模型设定，真实数据应用则来自UCI机器学习库中的DARWIN手写数据集和语音数据集。

研究结果：
- 连接函数估计的一致性 (Consistency of link estimation)：定理1证明在适当条件下，闭区间上的估计误差满足sup_{a≤x≤b}|g?(x)-g(x)|=O_p((log n_1)^{-m/2})，即g?一致收敛于g。
- 系数估计量的边际渐近正态性 (Marginal asymptotic normality of coefficient estimators)
- 单位协方差且p>n情形 (Unit covariance and p>n case)：定理2证明对满足pβ_j=O(1)的坐标j，有T_j:=p(β?_j(?)-μ?(?)β_j)/σ?(?)→dN(0,1)，且任意有限坐标集合S的联合分布收敛到多元标准正态。该结果在κ>1时仍成立，区别于Bellec[10]仅处理κ<1的结果。
- 一般协方差且p- 数值实验
- 指标估计量 (Index estimator)：模拟显示μ?(W-Xβ)/σ?的分布接近标准正态，验证了指标估计量的正态近似。
- 连接函数估计量 (Link function estimator)：g?的平方损失随样本量增大而减小，虽然收敛速率较慢，与理论速率一致。
- 系数估计量 (Our coefficient estimator)：统计量p(β?_1(?)-μ?(?)β_1)/σ?(?)的直方图与标准正态密度吻合，验证了定理2和4。
- 效率比较 (Efficiency comparison)：在多数模型设定下，提出的估计器比逻辑回归极大似然估计、岭回归等具有更小的有效渐近方差，说明利用估计的连接函数提高了估计效率。
- 真实数据应用 (Real data applications)：在DARWIN手写数据和语音数据上，提出的估计器在多个正则化参数下均获得了比逻辑回归MLE更低的估计有效渐近方差。

在讨论部分，论文在附录中证明连接函数估计误差对推断参数估计的影响渐近可忽略，并给出了所提出估计器相对于岭回归和最小二乘估计器更高效的必要充分条件。研究结论部分总结道：本研究为高维单指标模型建立了一种新颖的统计推断程序，开发了连接函数的一致估计方法，并利用该估计构造了有效估计量，确认了其边际渐近正态性，从而能够为任意有限坐标集合准确构造置信区间和p值。