《Computational Statistics & Data Analysis》:Online and Offline Robust Multivariate Linear Regression
编辑推荐:
本文系统研究了多元高斯线性回归模型的稳健参数估计方法,通过引入基于马氏距离的稳健最小二乘准则(含/不含岭正则化),提出了在线随机梯度下降算法(SGD)及其平均变体,以及离线定点算法。在弱假设条件下证明了估计量的渐近正态性,并通过数值实验验证了相比经典最小二乘估计器在稳健性上的显著提升。所有算法均已实现为CRAN上的R包RobRegression,为高维数据和异常值污染场景提供了高效计算方案。
稳健回归框架
多元高斯线性模型中参数β*的稳健估计基于对称分布假设,通过最小化目标函数G(β)=E[∥Y-βX∥-∥Y∥]实现。该凸函数梯度可表示为?G(β)=-E[(Y-βX)XT/∥Y-βX∥],在真实参数β*处梯度为零。
在线估计
通过微分同胚映射φ将矩阵空间映射到向量空间,结合随机优化理论(Bach等,2013;Polyak等,1992),建立了在线随机梯度算法(SGD)及其平均版本的收敛性。理论保证包括收敛速率、渐近正态性和均方误差一致界。
基于G最小化的定点算法
通过求解梯度零点等价于定点方程,构建迭代估计量。当样本协方差矩阵正定时,算法通过迭代更新βk+1=Σ[YiXiT/∥Yi-βkXi∥]·(Σ[XiXiT/∥Yi-βkXi∥])-1实现高效计算。
稳健正则化回归
针对第3.2节和第4.2节的估计量引入岭正则化(Hoerl等,1970)版本,通过惩罚项处理设计矩阵共线性问题。类比结果可推广至其他估计量。
计算复杂度
在线方法仅需单轮数据遍历且不涉及p×p矩阵求逆,计算成本显著低于需要T轮迭代的离线方法。虽然渐近性质相似,但模拟显示小样本时离线方法可能更具优势。
Σ未知时的实际估计
当噪声协方差矩阵Σ未知时,先通过欧氏距离稳健估计β*(使用均值估计或迭代估计),再基于残差采用中位数协方差矩阵(MCM)方法(Kraus等,2012)估计Σ。该稳健协方差估计可进一步融入马氏距离框架。
模拟研究
通过多元回归和线性判别分析(LDA)两类任务评估方法性能。相比RRRR等现有软件,提出的稳健估计器在异常值污染场景下表现出明显优势,为高维数据分析和实时流数据处理提供了实用工具。
定理1证明
通过反证法分析崩溃点性质:若崩溃点小于0.5,则可构造污染分布序列使估计量发散。利用目标函数下界和三角不等式,导出与估计量范数相关的矛盾,从而证明崩溃点不低于50%。