模型误设定下基于Random-X预测误差的最优泊松子抽样设计

《Statistical Analysis and Data Mining: An ASA Data Science Journal》：Random-X Prediction Error Under Model Misspecification

　　

近年来，计算技术尤其是互联网的进步使大数据收集成为可能。这已成为当前以海量且质量未必优良的数据为输入的人工智能（Artificial Intelligence, AI）热潮的关键。采用传统分析处理这些数据可能成本过高，因此新技术不断被开发。最优子抽样（optimal subsampling）通过选择代表性数据子集来应对这一挑战，在降低计算与标注成本的同时保持预测精度。当抽样策略依赖于假定模型时，模型误设定（model misspecification）是一个关键问题。研究人员建立了一个模型误设定下子抽样的理论框架，目标是最小化对解释变量边缘分布积分所得的预测误差度量。一项关键贡献是一个定理：通过连接抽样理论与概率子测度（probability sub-measures）的最优试验设计（optimal experimental design），该定理给出了泊松抽样方案（Poisson sampling scheme）中“最佳”包含概率（inclusion probabilities）的解析表达式。理论结果通过模拟得到验证，重点为具有显式解的简单线性回归（simple linear regression）；同时考虑了一个真实数据应用。

大数据分析不仅面临存储可持续性问题，还面临拟合模型和运行计算密集型算法带来的计算负担；同时，标注数据缺乏且标注成本高，构成测量受限机器学习（measurement-constrained machine learning）问题。主动学习（active learning）和智能子抽样被用于选择信息量更高的样本点，以改善模型性能并降低样本量、计算与标注成本。既有基于设计的子抽样方法依赖数据生成过程设定，而假定模型通常只是真实过程的近似，因此模型误设定（model misspecification，指假定模型不能完全刻画真实数据生成过程）会经常发生。该研究假定所设一阶线性模型与真实模型相差一个被省略的函数，从而使常用最优子抽样准则依赖于该误设定函数。为避免这种依赖，研究人员采用对误设定项施加上界的方式，并在预测目标下采用Random-X（Random-X，指训练与预测阶段均将回归变量视为随机变量）方法，因为存在非线性项时回归变量并非辅助变量，斜率参数会依赖回归变量分布，条件于回归变量并不合理。研究的核心目标是：在模型误设定和Random-X预测误差下，确定使预测误差最小化的最优子抽样策略，为大数据测量受限预测提供不依赖误设定函数g的知识、可数值实施并可与最优试验设计理论衔接的方法。其意义在于同时降低计算与标注成本、保持预测精度，并为误设定线性回归的最优子抽样提供理论表达和实现路径。

关键技术方法（不超过250字）：研究人员以抽样理论与受约束最优试验设计相结合进行理论推导，采用不等包含概率的泊松子抽样（Poisson sampling）、普通最小二乘（OLS, ordinary least squares）估计和Random-X均方预测误差，构建误差上界并作偏倚—方差分解；提出基于高斯核密度估计（KDE, kernel density estimation）的交换算法，使用Scott规则并在子样本密度估计中将带宽乘以0.7，剔除各协变量1%和99%分位点以外的潜在异常值，并以Monte Carlo方法估计准则；简单线性回归采用解析与渐近分析；真实数据队列来源为Africa Soil Property Prediction公开数据集（Kaggle）。

2 符号与模型误设定。研究人员给出响应变量、预测变量及其联合分布、设计空间和交叉矩矩阵非奇异等符号，定义响应面、噪声和最佳线性近似，并建立噪声—非线性分解及半参数解释；将忽略非线性项的线性同方差模型作为工作模型，从而明确模型误设定的含义及Random-X下预测变量非辅助性的后果。3 子抽样理论与最优试验设计。通过定理3.1，研究人员给出泊松抽样下子样本协变量密度与父样本协变量密度、条件包含概率及平均抽样比例之间的关系，并据此把寻找最优条件包含概率转化为受父分布约束的概率测度最优设计问题。4 模型误设定下的Random-X预测误差。研究人员定义基于子样本的Random-X均方预测误差，定理4.1给出其等价优化准则；在4.1节针对OLS估计量推导具体表达式，并说明非信息子抽样下给定预测变量时响应的条件分布在全样本与子样本中相同。5 最小化B的子抽样策略。在误设定项受上界约束的假设下，定理5.1给出Random-X预测误差上界及偏倚项B和方差项V的分解；由于误设定下B占主导，问题转化为最小化B，定理5.2进一步证明B对正交变换不变。5.1 问题3的数值解。研究人员提出基于KDE的交换算法，迭代交换子样本点以降低B的Monte Carlo估计，并由定理3.1的关系计算条件包含概率后执行泊松抽样。6 简单线性回归。引理6.1给出B的显式表达，引理6.2与定理6.1给出B的渐近表达式，表明其仅依赖子样本分布的一、二阶矩，而方差项随样本量增大而衰减；问题4由此转化为渐近偏倚优化问题，定理6.2和推论6.1证明在平均抽样比例低于某阈值时均匀分布是可行解，但该“均匀密度”不等同于所有单元等概率的均匀抽样，包含概率仍需按定理3.1计算；数值计算显示渐近偏倚在较小样本量下已接近精确偏倚，均匀分布在所考察分布中降低精确偏倚，阈值约为0.017至0.518。6.1 简单线性回归中的泊松子抽样。仿真比较数值交换解与渐近均匀解，二者结果相近，且均匀分布的泊松抽样因伯努利变量独立而计算最快。7 真实数据应用。研究人员在Africa Soil Property Prediction数据集上假定五协变量线性模型误设定，在平均抽样比例0.022和0.043下将所提MINB方法与UNIF、LEV、SLEV、IBOSS和LOWCON比较，结果显示MINB不仅具有最低的Random-X偏倚B，也具有最低的Random-X方差V，从而使整个Random-X预测误差上界最小。

讨论与结论部分可总结并翻译为：该研究在三个关键考虑下研究线性回归的最优子抽样，即响应值测量成本高（测量受限学习）、假定模型可能误设定、关注预测而非参数估计；按照Random-X方法分析，使预测误差度量涵盖全部变异来源。基于这些考虑，研究人员为OLS估计量建立了模型误设定下的Random-X预测误差度量，证明该误差上界可分解为方差项和偏倚项，其中方差项反映响应噪声，偏倚项刻画模型误设定的影响；分析二者的渐近性质后得出结论：存在误设定时偏倚占主导。因此，所提策略聚焦最小化偏倚项，且不需要知道误设定函数g。实践中该策略需数值实施，研究人员给出了相应算法；在简单线性回归下可获得解析解，得到仅依赖子样本分布前两阶矩的渐近偏倚闭式表达，并在温和假设下证明均匀分布最小化该渐近偏倚，尽管最优子抽样密度可能不唯一。仿真显示有限n下均匀分布较其他渐近最优子样本密度持续产生更低偏倚，理论上证明该现象仍是未来研究问题，但结果与问题3的数值解一致。需要指出，选择均匀分布作为最优子抽样密度并不等同于均匀子抽样或被动学习：所提方法是从真实模型抽取的已实现有限数据集中进行泊松抽样，包含概率依赖预测变量x，只有利用数据集中x的信息才能选择最优包含概率以最小化B；若把子样本视为直接从总体分布抽取的独立同分布样本，则对应常数概率的泊松抽样，可保证子样本分布与边缘分布相同，但不是使B最小的分布。最后，在Africa Soil Property Prediction数据集上的应用表明，与所考虑的其他子抽样方法相比，该程序不仅取得最低的Random-X偏倚，也取得最低的Random-X方差。