基于校准惩罚的偏线性单指数变系数空间自回归模型变量选择方法

《Journal of Computational and Applied Mathematics》：Calibrated Penalty based Variable Selection for Partially Linear Single-index Varying Coefficient Spatial Autoregressive Models

　　摘要：本文研究了一类部分线性单指数变系数空间自回归模型的变量选择问题。通过结合偏差校正与惩罚估计方法，我们提出了一种基于校准惩罚的变量选择方法。在适当条件下，该方法能够一致地选出真正重要的协变量，并识别空间效应的显著性。在某些规则性条件下，还证明了非零参数估计量的渐近正态性。通过多项模拟分析进一步展示了所提方法的性能，模拟结果表明所用的偏差校正机制有效，且该方法在有限样本量下仍具有实用性。

引言：空间自回归模型因其能够明确量化数据中的空间相关效应，在经济学、环境科学和工程科学领域得到了广泛应用。最近的方法进展集中在半参数空间自回归模型上，这类模型可用于捕捉空间数据中的复杂关系，并衍生出了多种统计推断方法。例如，[1]基于GMM方法研究了某类部分线性单指数空间自回归模型的估计问题；[2]探讨了某类半参数变系数空间自回归模型的经验似然推断；[3]和[4]则基于惩罚GMM方法研究了某类部分线性空间回归模型的变量选择问题。Wu等人（2025）研究了带约束条件的函数型线性变系数空间自回归模型的变量选择问题。更多关于半参数空间自回归模型统计推断的研究可见[5],[6],[7],[8],[9]等文献。

此外，作为重要的半参数模型，单指数变系数模型近年来也受到了研究者们的广泛关注。它既避免了非参数模型固有的维度灾难问题，又保持了与参数模型相当强的解释能力。例如，[10]提出了基于函数数据的单指数变系数模型估计方法；[11]提出了动态单指数变系数模型的估计方法；[12]提出了带有截断数据的单指数变系数模型的经验似然估计方法。作为单指数变系数模型的一般形式，[13]引入了部分线性单指数变系数模型，并发展出一种创新的两阶段参数估计方法。[14]研究了具有不对称双变量聚类数据的单指数混合效应模型的统计推断问题；[15]利用分位数回归方法研究了函数型变系数单指数模型的统计推断问题；[16]则采用惩罚稳健估计方程方法研究了部分线性单指数变系数模型的变量选择问题。更多关于单指数变系数模型统计推断的研究可见[17],[18],[19],[20]等文献。

尽管部分线性单指数变系数模型因其能够捕捉复杂关系而受到重视，但现有方法仍存在一些局限性。目前的单指数变系数模型无法同时处理内生空间依赖结构和空间异质性系数模式。为克服这一难题，我们扩展了部分线性单指数变系数框架，提出了一种部分线性单指数变系数空间自回归模型，其形式如下：

Yi=ρ∑j=1nwijYj+UiTθ+ZiTg(βTXi)+εi，i=1,…,n

其中，wij为个体i与j之间的空间权重，ρ为标量空间效应参数，θ=(θ1,?,θq)T和β=(β1,?,βp)T为未知回归参数向量，g(·)=(g1(·),?,gd(·))T为未知系数函数的d×1向量，Ui=(Ui1,…,Uiq)T、Xi=(Xi1,…,Xip)T和Zi=(Zi1,…,Zid)T为协变量，Yi为对应的响应变量，εi为模型误差，满足E(εi|Xi,Ui,Zi)=0且Var(εi|Xi,Ui,Zi)=σε2<∞。在模型(1)中，假设i=1,?,n时的协变量Xi、Ui和Zi彼此独立，而响应变量Yi, i=1,?,n之间存在空间依赖性。此外，为确保模型(1)的平稳性和可识别性，我们假设参数ρ满足|ρ|<1，参数β满足∥β∥=1且β的第一个非零分量为正，此处‖·‖表示欧几里得范数。同时假设Xi、Ui和Zi为互不重叠的协变量集合。这一排除限制预先排除了模型参数部分与单指数部分之间的混淆，保证了所有模型参数的可识别性，也无需额外添加超出单指数模型标准条件的归一化约束。

对于基于模型(1)的空间数据建模而言，变量选择是至关重要的一步，因为模型(1)中一些不重要的冗余变量会导致效率降低并增加建模复杂性。近年来，基于惩罚估计的变量选择方法备受青睐，已有部分方法被应用于线性空间自回归模型[7],[21]、部分线性空间自回归模型[3],[4]、部分线性变系数空间自回归模型[22]以及部分函数型空间自回归模型[23],[24]。然而，由于部分线性单指数变系数空间自回归模型结构较为复杂，现有的变量选择方法无法直接应用于此类模型。

鉴于上述问题，本文研究了模型(1)的变量选择问题。需要注意的是，在实际问题的建模中，函数系数g(·)=(g1(·),?,gd(·))T的维度d通常很小，因此对应的协变量Zi=(Zi1,?,Zid)T也往往是低维协变量。因此在后续研究中，我们仅假设Ui=(Ui1,?,Uiq)T和Xi=(Xi1,?,Xip)T为高维协变量，而相应的回归参数θ和β为稀疏向量，这意味着只有Ui和Xi中的少数子集是显著协变量。另外，如果模型(1)中的空间效应显著，那么空间效应参数ρ将显著不为零。因此，我们还可以通过判断ρ是否为零来确定空间效应的显著性。本文的目的便是研究参数部分Ui=(Ui1,?,Uiq)T和Xi=(Xi1,?,Xip)T的变量选择问题，并识别空间效应的显著性。

具体而言，我们基于工具变量调整技术与偏差校正机制，开发了一种基于校准惩罚的变量选择方法，该方法能有效减弱变量内生性对估计精度和变量选择效果的影响。在某些规则性条件下，我们证明了所提出的惩罚方法能够一致地选出真正重要的变量，并识别空间效应的显著性。根据模拟结果，本文提出的校准惩罚方法在估计精度和变量选择效果方面均优于未校准惩罚方法。与现有的半参数空间自回归模型及变量选择方法相比，本文所研究的模型及提出的变量选择方法具有若干显著优势。

首先，由于模型(1)中的函数gj(·)，j=1,?,d均为单变量函数，模型(1)的主要优势在于避免了多变量非参数建模中常见的维度灾难问题。此外，模型(1)更具灵活性，因为它可以将若干重要的半参数空间自回归模型作为特例包含在内，如部分线性空间自回归模型、单指数空间自回归模型、变系数空间自回归模型等。

其次，通过引入偏差校正机制，所提出的变量选择方法避免了函数系数被过度平滑的问题，同时可以利用现有的数据驱动算法来选择最优带宽，从而解决了确定估计函数系数最优带宽的难题。

第三，本文采用的工具变量调整技术与[25]中的方法有本质区别。虽然那项方法涉及计算量较大的调整机制，但我们的方法简化了变量选择过程中的工具变量调整步骤，在保持实际可行性的同时大幅降低了计算负担。

本文的其余结构如下：第2节基于校准惩罚方法，提出了一个惩罚估计流程，用于选择重要变量并识别空间效应的显著性；第3节阐述了所提变量选择方法的若干渐近性质，包括变量选择的一致性以及所得正则化估计量的渐近正态性；第4节提出了基于局部二次逼近方法的迭代算法，用于实现所提出的正则化估计流程；第5节通过有限样本量的蒙特卡洛模拟研究评估了所提方法的性能；第6节对所提出的变量选择方法进行了简要讨论；最后，第7节给出了所有渐近结果的技术证明。

基于校准惩罚的变量选择流程：如第1节所述，我们假设协变量Zi=(Zi1,?,Zid)T为低维协变量，而Ui=(Ui1,?,Uiq)T和Xi=(Xi1,?,Xip)T为高维协变量。我们的主要目标是从Ui和Xi中选出显著变量，并识别空间效应的显著性。需要注意的是，g(·)=(g1(·),?,gd(·))T为未知函数系数向量，因此我们首先使用局部最小二乘法构建g(·)的估计量。更具体地说，对于任意属于某个小范围内的t值……

渐近性质：在本节中，我们研究了所得估计量ρ^、θ^和β^(r)的渐近性质。为便于表述，令γ=(ρ,θT,β(r)T)T≡(γ1,γ2,?,γL)T为一个L维向量，其中L=q+p，同时令γ0=(γ01,γ02,?,γ0L)T为γ的真实值。相应的惩罚项b(ρ,θ,β(r))被重写为b(γ)，b(γ)的第k个分量记为pλk′(|γk|)γk/|γk|，k=1,?,L。此外，我们还进一步假设γ0中只有少数几个分量为非零系数……

迭代算法：在本节中，我们详细介绍了所提估计流程的实现细节。尽管现有文献如[28]和[29]已经探讨了变量选择相关的实现问题，但目前针对部分线性单指数变系数空间自回归模型的计算问题尚未有相关研究，因此我们提出了一种新的简单迭代算法来计算这些估计量。同时，我们也采用了相应的符号表示……

模拟研究：在本节中，我们通过一些蒙特卡洛模拟研究，使用有限样本量评估了所提方法的性能。在以下模拟中，协变量Zi的维度取为d=1，数据由以下模型生成：

Yi=ρ∑j=1nwijYj+UiTθ+Zig(βTXi)+0.1εi，i=1,?,n

其中，g(t)=2sin(πt)+2cos(πt)，θ=(0.8,0.5,0.3,0.3,0,?,0)T为一个q维参数向量，β=(2/3,2/3,1/3,0,?,0)T为一个p维参数向量。协变量Ui服从N分布……

结论性意见：本研究成功解决了某类部分线性单指数变系数空间自回归模型的变量选择问题。我们开发了一种综合性的校准变量选择流程，该流程有效地结合了偏差校正机制与惩罚估计方法。在适当的规则性条件下，我们证明了所提出的惩罚估计方法能够一致地识别真实模型，而由此得到的正则化估计量也具备良好的性质……

定理证明：在本节中，我们将给出定理1-3的技术证明。为便于表述，设c为一个正常数，其在本文中出现时可能有所不同。为证明这些渐近性质，需要一些引理，具体如下：

引理1：设(X1, Y1), ???, (Xn, Yn)为具有联合密度函数f(x, y)的独立同分布随机向量，其中Yi为标量随机变量，且满足E|Y1|s<∞以及supx∫|y|sf(x,y)dy<∞。那么，对于任意给定的……

披露声明：作者们未报告任何潜在的利益冲突。

资金支持：本研究得到了中国国家社会科学基金的支持（项目编号为24BTJ062）。

赵培鑫 | 刘晓燕 | 唐新荣 | 程苏丽 | 周晓双
重庆理工大学数学与统计学院，中国重庆400067