超高维线性模型中存在潜在混杂因素的去噪变量筛选

《Journal of Multivariate Analysis》：Denoised variable screening with latent confounding in ultrahigh-dimensional linear models

　　

摘要
我们研究了在线性回归模型中受潜在混杂影响的超维变量筛选问题。为应对这一挑战，我们提出了一种基于去噪的变量筛选器 DVS，该方法通过引入通过右奇异向量投影（RSVP）构建的去噪协方差矩阵的穆尔 - 彭罗斯逆，对经典的皮尔逊相关筛选统计量进行了修改。我们证明了在适当条件下 DVS 满足可靠筛选性质。为了进一步处理相关预测变量可能边际较弱但联合信息丰富的设置，我们还开发了一种前向迭代扩展 FDVS，该方法基于重复的残差更新和重新筛选。大量的数值实验表明，DVS 和 FDVS 实现了高筛选准确性，并在作为预选步骤使用时改进了下游估计。我们通过应用于哺乳动物眼部疾病数据集进一步说明了它们的实际效用。

引言
大数据的出现，由计算和数据采集技术的进步所推动，激发了各种科学学科对分析高维数据集的广泛兴趣。在这种设置中，变量数量 ?? 通常远大于观测数量 ??，导致普通最小二乘法（OLS）等传统方法因缺乏可识别性而无法应用。为克服这一挑战，通常假设稀疏性，即只有一小部分变量真正与响应相关。在此假设下，已提出了各种变量选择技术，包括 Lasso (Tibshirani, 1996)、SCAD (Fan and Li, 2001) 和弹性网络 (Zou and Hastie, 2005)。虽然这些方法在理论上可靠且被广泛使用，但在 ????? 的超维情形下，它们可能在保持准确性和稳定性方面遇到困难 (Fan et al., 2009)。

解决此问题的一个突出策略是变量筛选，它在模型拟合前降低维度。在这些方法中，Fan 和 Lv (2008) 提出的可靠独立性筛选（SIS）程序被广泛使用。SIS 根据变量与响应的边际相关对变量进行排名，并选择最有希望的那些作为进一步分析的候选者。其简单性和强大的理论保证导致了广泛的采用，并为其开发了适用于广义线性模型 (Fan et al., 2009, Fan and Song, 2010)、Cox 模型 (Fan et al., 2010, Zhao and Li, 2012, Gorst-Rasmussen and Scheike, 2013) 和加性模型 (Fan et al., 2011) 的扩展。

除了 SIS 之外，还提出了各种方法来放宽边际筛选假设并更好地捕捉复杂的变量关系。条件 SIS (Barut et al., 2016) 和基于投影的技术如 HOLP (Wang and Leng, 2016) 是这种努力的例子。同时，已开发了各种无模型筛选方法，如 SIRS (Zhou et al., 2011)、DC-SIS (R. Li et al., 2012)、Kolmogorov 滤波器 (Mai and Zou, 2013) 和基于球相关的筛选 (Pan et al., 2019)，以避免依赖线性关联。像 ISIS (Fan and Lv, 2008) 和倾斜程序 (Cho and Fryzlewicz, 2012) 这样的迭代方法进一步增强了检测联合信息丰富变量的能力。然而，在涉及弱信号或复杂依赖关系的场景中仍然存在挑战，这促使了持续的方法创新。

however，不需要的潜在混杂在现实世界的数据集中通常是不可避免的，来源于外部干扰、技术伪影和实验室效应等因素 (Leek and Storey, 2007, Menchero et al., 2010, Gagnon-Bartsch et al., 2013)。当存在这种未观察到的噪声时，仅依赖边际关联的变量筛选方法可能会产生有偏的结果并忽略重要的预测变量。为应对这一挑战，Fan 等人 (2013) 提出了主正交互补阈值法（POET），该方法通过去除顶部主成分来估计协方差矩阵。在此基础上，Shah 等人 (2020) 引入了右奇异向量投影（RSVP）方法，该方法避免了 POET 中的某些可识别性假设，并为去噪提供了更灵活的框架。

我们做出以下贡献。首先，我们提出了一种针对具有潜在混杂的超维线性回归的去噪变量筛选方法（DVS）。关键步骤是用一个伪逆调整统计量替换经典的边际相关评分 ??????，该统计量结合了基于 RSVP 的去噪协方差估计，即 ??=???+???????，其中 ??? 由右奇异向量投影构建，???+ 是其穆尔 - 彭罗斯伪逆。这种构建旨在解决边际筛选中由混杂引起的噪声膨胀问题，同时在 ??? 为奇异的 ????? 情形下仍然适用。其次，为了适应相关预测变量可能边际较弱但条件上信息丰富的设置，我们开发了一种名为前向 DVS（FDVS）的前向迭代扩展，该方法在 ISIS (Fan and Lv, 2008) 的精神下交替进行残差更新和重复的 DVS 筛选。第三，我们在适当的正则性条件下建立了 DVS 的可靠筛选保证，并进一步为 FDVS 提供了基于残差筛选的削弱边际信号条件下的并行可靠筛选结果。

本文其余部分组织如下。第 2 节介绍了所提出的 DVS 方法及其前向迭代扩展 FDVS。第 3 节展示了 DVS 的理论性质。第 4 节报告了在各种混杂和相关结构下的模拟结果。第 5 节通过大鼠眼部疾病数据集说明了我们的方法的实证性能。第 6 节总结了我们的发现并讨论了未来方向。技术证明在附录中提供。

章节片段
模型与方法
在本节中，我们介绍了变量筛选方法，去噪变量筛选器（DVS），该方法旨在用于存在潜在混杂的高维线性回归。该方法建立在一种结构模型之上，该模型明确地将协变量中的信息信号与未观察到的噪声分离。这种表述作为我们方法的理论基础，并能够构建具有改进鲁棒性的去噪筛选统计量。
我们开始于

理论保证
在本节中，我们研究所提出的 DVS 和 FDVS 程序的理论性质，重点是在存在潜在混杂情况下的筛选一致性。我们重新审视第 2 节中引入的线性模型：??=?????+??,??=?????，其中 ??∈???×?? 是观测设计矩阵，??～?????(0,??2???) 代表潜在混杂，?? 是随机误差向量。设 ??={1≤??≤??:????≠0} 表示具有稀疏度 ??=|??| 的真实活跃集。设 ???? 为使用筛选由 DVS 选择的索引集

模拟
在本节中，我们进行数值实验以评估所提出的 DVS 及其前向迭代扩展（FDVS）的性能。实验旨在检查边际筛选准确性以及 DVS 作为两阶段建模流水线中预选步骤的有效性。我们将 DVS 和 FDVS 与几种既定的筛选方法进行比较，包括可靠独立性筛选（SIS）及其迭代变体 ISIS (Fan and Lv, 2008)、稳健秩相关筛选（RRCS）

应用于大鼠眼部基因表达数据
为了评估所提出 DVS 方法的实际效用，我们将其应用于来自大鼠眼部组织的基因表达数据集。该数据集最初由 Scheetz 等人 (2006) 分析，包含由 SR/JrHsd 和 SHRSP 品系杂交产生的 120 只 F2 大鼠的测量数据。在分析的基因中，TRIM32 由于其与巴德 - 比亚德综合征的关联而引起特别关注 (Chiang et al., 2006)。目标是识别预测 TRIM32 表达水平的基因。
在基因表达中

总结
本工作开发了去噪变量筛选器（DVS），用于具有潜在混杂的超维线性回归。该方法用伪逆加权版本 ???+??????? 替换经典的边际评分 ??????，其中 ??? 是通过右奇异向量投影（RSVP）(Shah et al., 2020) 获得的去噪协方差估计量。穆尔 - 彭罗斯逆的使用在 ????? 情形下至关重要，在此情形下去噪协方差通常是秩亏损的。这种构建减轻了

资助
本工作得到了国家自然科学基金（批准号：12371281）；中央财经大学的新兴交叉学科项目、基础研究基金和学科基金的支持。

竞争利益声明
作者声明，他们没有已知的竞争性财务利益或个人关系，这些利益或关系可能看起来影响了本文中报告的工作。

孙毅 | 杨月涵