用于稀疏与非稀疏分量联合估计的自适应重加权方法

《Journal of Statistical Planning and Inference》：Adaptive reweighting for joint estimation of sparse and non-sparse components

　　•提出WNSI方法，用于联合估计稀疏成分与非稀疏成分。•采用稳定自适应重加权机制提升数值稳定性。•建立收敛性保证及非渐近L2误差界。•证明在存在依赖关系和模型设定错误情况下仍具有稳健性能。•在乳腺癌基因表达数据中识别出稳定且可解释的信号。

引言
信息技术的快速发展彻底改变了现代科学研究的方式，使得高维数据在众多领域变得极为普遍。在基因组学、神经成像、金融学和环境科学等领域，变量数量p往往远远超过样本量n，这给统计建模与推断带来了巨大挑战。因此，大量研究聚焦于稀疏建模，该理论认为只有少数变量会对结果产生非零影响。这一范式通常通过稀疏正则化方法来实现（Tibshirani, 1996a; Fan和Li, 2001; Zou和Hastie, 2005），而坐标下降法和近端梯度算法等高效优化技术进一步提升了其可扩展性和计算效率（Hastie等人, 2015; Hazimeh和Mazumder, 2020; Fan等人, 2020）。然而，在许多现代研究中，信号结构无法仅用纯稀疏建模框架来准确描述，当存在大量的非稀疏背景成分时，仅依赖稀疏性的估计方法可能会变得不稳定或出现偏差。

在许多当代应用中，尤其是在生物医学研究和社会科学领域，效应往往并非严格意义上的稀疏分布，而是较为分散。大量协变量可能各自对结果仅有微弱影响，从而形成非稀疏或多基因信号模式。在基因表达和调控网络分析中就观察到了此类现象，其中基因间存在着复杂的依赖关系（Chesler等人, 2005; Consortium等人, 2015; Van Dam等人, 2018）。在基因组预测方面，Boyle等人（2017）提出了全基因假说，认为复杂性状是由大量具有微弱效应的基因共同作用产生的。同样，多基因风险评分的研究也表明，纳入更多弱变异体通常能提升预测精度，这挑战了传统上关于“少量活跃基因”的观念（Yang等人, 2010; Zhao和Zou, 2022）。这些例子都表明，高维系统往往呈现出混合结构，即可解释的稀疏信号成分与反映普遍背景效应的非稀疏成分共存，而这种共存带来了超出纯稀疏或纯密集模型所能解决的额外算法难题。

对非稀疏结构的探索推动了高维方法论在突破传统稀疏约束方面的显著进展。在许多应用中，通过聚合或低维汇总方式来捕捉分散的效应，例如Zheng等人（2021）使用的主成分得分向量用于表示普遍效应，以及Zhao和Zou（2022）在非稀疏基因结构下研究的多基因风险评分。在方法论层面，理论研究逐渐放宽了对高维线性模型复杂度的限制，Belloni等人（2014）允许活跃协变量的数量以o(n/logp)的速率增长，Cai和Guo（2017）则将这一上限进一步拓展到o(n/logp)。与此同时，人们还通过非稀疏检验和可检测性分析发展出了无需考虑稀疏性的推断方法，包括Zhu和Bradic在2016年、2018年提出的双样本和单样本检验方法，以及Bradic等人（2022）构建的通用可检测性框架。当设计变量与噪声之间存在相关性时，Tsuda和Imaizumi（2024）表明，在对协方差矩阵作出适当假设的前提下，未经过正则化的估计量依然可以保持一致性，而Zhao等人（2023）则开发出了能够放宽传统稀疏性假设的线性变换点估计方法。尽管取得了这些进展，但现有研究大多侧重于统计推断和假设检验，而针对混合稀疏与非稀疏成分的实际估计方法仍然相对有限。尤其是那些明确融入自适应机制和稳定机制以处理混合结构的迭代估计策略，至今尚未受到足够重视，这也促使人们致力于开发能够在复杂依赖模式下同时估计稀疏成分与非稀疏成分，且具备更好数值稳定性的方法。

为应对异构信号结构的问题，我们研究了一种允许稀疏成分与非稀疏成分共存的高维线性模型。我们提出了加权非稀疏与稀疏迭代法（WNSI），这是一种用于在这种混合场景下进行联合估计的稳定自适应重加权方法。WNSI将基于精度矩阵的非稀疏成分更新方法与针对稀疏成分的自适应加权惩罚回归步骤相结合。其核心特点在于，通过指数平滑机制在迭代过程中不断更新权重，从而在保持自适应性的同时控制交替更新过程中的变异程度。这一机制能够减少稀疏成分因收缩效应而产生的偏差，并在依赖关系较强时提升数值稳定性，进而实现更可靠的估计与预测。理论分析证明了WNSI能够收敛到最优解，并在标准正则性条件下给出了非渐近L2误差界。我们的主要贡献如下：

首先，我们构建了一个混合高维建模框架，将该框架中的普遍非稀疏效应与感兴趣的稀疏成分分开，同时明确了这两种成分如何通过不同的更新规则参与估计过程。这一框架旨在处理生物医学和基因组学研究中出现的异构信号模式，即那些虽效应较弱但总体具有信息价值的因素，可以与数量较少但效应较强且易于解释的信号共存。

其次，我们开发了WNSI，这是一种交替估计算法，它通过引入带有指数平滑功能的自适应重加权机制来稳定联合更新过程。非稀疏成分通过基于精度矩阵的步骤进行更新，而稀疏成分则通过自适应加权L1正则化回归来估计。经过平滑处理的权重变化能够减轻收缩偏差，降低迭代过程中的波动，从而提高模型在结构分离不理想或存在强依赖关系时的稳健性。

第三，我们为这种稳定自适应加权机制提供了理论保障。在特定特征值条件及有界协方差假设下，我们证明了WNSI能够收敛到最优解。此外，我们还为两种成分的L2估计误差给出了非渐近上界，确定了最优误差率，并阐明了在混合稀疏与非稀疏估计过程中稳定性与自适应性之间的相互作用机制。

本文的其余部分结构如下：第2节介绍所提出的模型及WNSI算法；第3节阐述关于收敛性和估计误差界的理论结果；第4节为模拟实验部分，第5节为基于真实数据的实证分析部分。

模型设定
设y=(y1,…,yn)T为响应向量，Z∈Rn×p为包含稀疏成分的预测变量设计矩阵，W∈Rn×q为包含非稀疏成分的预测变量设计矩阵。我们考虑以下高维线性模型：?y=Zβ+Wγ+?，其中β=(β1,β2,…,βp)T、γ=(γ1,γ2,…,γq)T分别代表稀疏系数向量和非稀疏系数向量。?=(?1,?2,…,?n)T为噪声向量，且满足?i～N(0,σ2)。这种混合稀疏结构在很多实际问题中十分常见。

理论结果
在本节中，我们在具有随机设计的高维线性模型背景下，建立了所提算法的理论性质。我们假设非稀疏设计矩阵W的各行相互独立，且服从高斯分布N(0,ΣW)，其中ΣW为未知的协方差矩阵。稀疏矩阵Z可以是固定的，也可以是随机的，而噪声向量?服从N(0,σ2)分布。我们研究的是样本量n远小于总体规模的高维情形。

模拟实验
我们进行了大量的数值实验，以评估所提方法的性能，并将其与几种现有方法进行对比，这些方法包括Lasso算法（Tibshirani, 1996a）、基于精度矩阵的方法（Bradic）（Bradic等人, 2022）以及快速最佳子集选择法（FBS）（Hazimeh和Mazumder, 2020）。我们使用R语言中的glmnet包（Friedman等人, 2010）来实现Lasso估计，同时使用L0Learn包（Hazimeh和Mazumder, 2020）来实现FBS。Bradic的原始方法则是专门为某种特定应用设计的。

实证分析
我们利用来自基因表达组学数据库（GEO）的、经过临床标注的乳腺癌基因表达数据集，来评估所提方法的性能。该数据集包含了683名浸润性乳腺癌患者的基因组信息，以及从冷冻肿瘤组织中检测到的54,675个mRNA转录本的表达数值（Cheng等人, 2006）。对于每位患者，都会根据18个基因构建出一个连续的预后评分。

总结
本文针对高维数据中存在异构信号结构这一难题展开研究，这类数据中同时存在着稀疏成分与非稀疏成分。我们提出了一种统一的估计框架，通过结构化的迭代流程来同时处理这些不同的信号类型。具体而言，所提出的方法会交替进行基于精度矩阵的非稀疏成分更新操作，以及自适应加权惩罚回归处理稀疏成分的操作。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
本研究得到了中国国家自然科学基金（项目编号12371281）、中央财经大学的新兴交叉学科项目、创新研究计划以及学科建设资金的支持。

余顺 | 杨月涵