综述：纵向数据分析的统计、机器学习和深度学习方法统一综述

《Mathematics》：A Unified Review of Statistical, Machine Learning, and Deep Learning Methods for Longitudinal Data Analysis

　　

纵向数据，其特点是对同一受试者在时间上重复测量，在生物医学、经济学、社会科学和工程学中普遍存在。分析此类数据带来了独特的统计和计算挑战，包括受试者内相关性、时变协变量、不规则观测时间、信息性缺失和高维性。虽然传统统计方法（如线性混合效应模型（LME）和广义估计方程（GEE））仍然是基础，但它们常常难以处理复杂的非线性动态、超高维特征空间和非常大的样本量。在过去二十年中，机器学习（ML）和人工智能（AI）方法作为强大的补充方法出现，以解决这些局限性。本综述对纵向数据分析的数学和计算方法进行了全面调查。研究人员涵盖了经典统计模型、惩罚回归技术、基于树的集成方法、核机器、贝叶斯层次模型和现代深度学习架构，包括循环神经网络、时间卷积网络、基于注意力的Transformer、神经常微分方程和生成模型。研究人员提出了一种统一的分类法，沿着两个主要轴组织现有方法：底层数学框架和分析目标。对于每个类别，研究人员提出详细的数学公式，讨论关键理论性质，考察计算考虑，并总结来自已发表文献的代表性应用报告。为了增加本综述的实用价值，研究人员针对五个关键挑战（受试者内相关性、不规则采样、缺失数据、高维性和可扩展性）提供了方法系列之间的交叉比较，并根据样本量、维度和分析目标提供了具体的方法选择指导。最后，研究人员批判性地评估了这些方法的优势和局限性，特别强调了可解释性、可扩展性、处理缺失数据的能力、对协方差误设的稳健性以及不确定性量化。

1. Introduction
1.1. Motivation and Scope
数据采集技术的普及催生了纵向数据可用性的空前增长，这些数据来自电子健康记录、经济学面板研究、流行病学队列、神经影像、生态学和基因组学。纵向数据捕获受试者间异质性和受试者内时间动态，其核心特征是同一受试者的重复测量通过共享受试者特定特征而相关，即受试者内相关性。复杂性包括不规则观测时间、信息性缺失、时变混杂、高维p >> N场景和混合类型结果。传统方法如线性混合效应（LME）模型和广义估计方程（GEE）假设线性，在高维和非线性场景下受限。机器学习（ML）和深度学习（DL）方法通过灵活函数逼近填补这些空白，如混合效应梯度提升、神经常微分方程（Neural ODE）和Transformer架构。

1.2. Related Work
现有综述仅涵盖特定方面：经典统计文献未包含深度学习；ML/DL综述缺乏数学基础和经典推断框架。本综述首次提供从经典线性模型到惩罚回归、集成学习、核方法、贝叶斯方法到深度学习的统一数学基础调查，涵盖低维和高维场景，以及推断和预测目标。

1.3. Contributions
贡献包括：提出按数学框架（参数、半参数、非参数、深度学习）和分析目标（预测、推断、聚类、特征选择）的二维分类法；提供每类方法的详细数学公式和估计过程；针对五个关键挑战进行交叉比较；提供方法选择实用指导和软件参考；调查多领域代表性应用并指出未来方向。

1.4. Organization
论文结构：第2节问题形式化与分类法；第3-8节回顾主要方法类别；第9节专门主题；第10节综合比较与选择指导；第11节新兴方向；第12节结论。

2. Problem Formulation and Taxonomy
2.1. Mathematical Formulation of Longitudinal Data
定义N个独立受试者，每个在第t_ij时刻观测响应y_ij和协变量x_ij。受试者内协方差矩阵V_i有常见参数形式：复合对称（CS）、一阶自回归AR(1)、Toeplitz（带状）和无结构（Unstructured）。通用模型框架：g(E[y_i|b_i]) = f(X_i, b_i)，其中b_i为随机效应，f为参数化均值函数，g为连接函数。该框架统一了经典混合模型、集成方法和深度学习。

2.2. Proposed Taxonomy
分类法两维：数学框架（参数、半参数、非参数、深度学习）和分析目标（预测、推断、聚类、特征选择）。每个方法按主要假设和使用方式归类，并注明可同时用于预测和推断的方法。

3. Classical Statistical Models for Longitudinal Data
3.1. Linear Mixed-Effects Models
LME模型：y_i = X_iβ + Z_ib_i + ε_i，其中b_i~N(0, G)，ε_i~N(0, σ²I)。边际似然积分得广义最小二乘（GLS）估计。限制最大似然（REML）提供无偏方差分量估计。随机效应最佳线性无偏预测（BLUP）通过收缩实现受试者特定预测。推断使用Wald检验或似然比检验。

3.2. Generalized Linear Mixed Models
GLMM扩展LME至非高斯响应，通过指数族和连接函数。边际似然需数值积分（如Gauss-Hermite求积、Laplace近似）。Laplace近似围绕众数展开，精度由Hessian矩阵决定。

3.3. Generalized Estimating Equations
GEE关注边际参数，通过工作协方差V_i求解估计方程。估计量在均值正确设定时一致，工作相关矩阵误设影响效率而非一致性。三明治方差估计量在小样本中可能向下偏倚，需小样本校正。

3.4. Transition Models
转移模型通过链式法则分解联合分布，一阶马尔可夫模型仅依赖于上一次观测。条件似然最大化通过标准GLM软件实现。需处理初始条件以避免偏倚。

3.5. Discussion of Classical Methods
经典方法（LME、GLMM、GEE、转移模型）提供优雅理论和推断性质，但假设线性、对高维不可行、对协方差结构敏感，且难以捕捉复杂时间动态。这些局限推动了ML/DL方法的发展。

4. Penalized and Regularized Methods for High-Dimensional Longitudinal Data
4.1. Penalized Linear Mixed-Effects Models
惩罚LME框架在似然中加入惩罚项。Lasso-LME使用?₁惩罚，通过坐标下降和BLUP交替更新。自适应Lasso和SCAD分别通过数据依赖性权重和非凸惩罚实现oracle性质。弹性网（Elastic Net）结合?₁和?₂惩罚，适合相关特征分组选择。估计通过交替方案和局部线性近似求解。

4.2. Group and Fused Penalties
组Lasso（Group Lasso）确保整组变量同时选择或消除。稀疏组Lasso添加组内稀疏性。融合Lasso（Fused Lasso）鼓励时间平滑性。

4.3. Penalized GEE
惩罚GEE（PGEE）在GEE目标中加入惩罚项，继承对相关结构误设的稳健性，同时进行变量选择。与确定性独立筛选结合可处理超高维数据。

4.4. Discussion of Penalized Methods
各种惩罚方法在不同机制下实现变量选择：Lasso简单高效但可能有偏；自适应Lasso有oracle性质但依赖初始估计；弹性网适合相关特征。调参需受试者层面交叉验证以避免乐观偏差。PGEE提供稳健性，但小样本偏差需关注。

5. Tree-Based and Ensemble Methods for Longitudinal Data
5.1. Random Forests for Longitudinal Data
标准随机森林假设独立观测。适应策略包括朴素、受试者水平摘要、条件滞后变量和结构修改。混合效应随机森林（MERF）通过EM类算法交替估计非参数函数和随机效应。

5.2. Gradient Boosting for Longitudinal Data
混合效应梯度提升（MEGB）将梯度提升与LME集成，通过交替优化更新树集成和随机效应。GPBoost允许高斯过程组件。XGBoost和LightGBM通过特征工程和交叉验证适应纵向数据。

5.3. BART for Longitudinal Data
BART（Bayesian Additive Regression Trees）通过树集合和正则化先验提供后验不确定性量化。半参数BART融入随机效应，通过MCMC采样。

5.4. Discussion of Tree-Based Methods
树方法处理混合数据类型、非线性和交互，但需显式处理相关性。MERF/MEGB通过分解为群体和受试者特定部分提供了原理性方案，但无法外推、对不规则采样需特征工程。BART提供后验不确定性但计算密集。

6. Kernel Methods and Gaussian Processes
6.1. Gaussian Processes for Longitudinal Data
GP定义函数上的分布，后验预测基于训练数据。核函数可分解为时间相关和受试者间相似性部分（如Matérn核）。超参数通过最大化对数边际似然估计。计算复杂度O(n³)，稀疏近似可降至O(nm²)。

6.2. Support Vector Machines
SVM通过核技巧映射到高维空间，处理分类或回归。纵向数据中核函数可定义在单次观测或整个轨迹上。轨迹核通过时间权重整合基核。通过受试者层面交叉验证调参。

6.3. Discussion of Kernel Methods
GP提供原理性不确定量化，原生处理不规则时间，核函数编码领域知识。但O(n³)限制可扩展性，核选择需专家知识。SVM适合中等样本分类回归，但缺乏概率输出。

7. Bayesian Approaches to Longitudinal Data
7.1. Bayesian Hierarchical Mixed Models
贝叶斯LME对所有参数设定先验，后验通过MCMC采样（如Gibbs或HMC）。完全条件分布有闭合形式可用共轭先验。模型比较用WAIC和LOO-CV。

7.2. Bayesian Variable Selection
尖峰- slab先验通过后验包含概率实现变量选择。马蹄铁（Horseshoe）先验通过厚尾实现连续收缩。正则化马蹄铁添加平板分量。贝叶斯Lasso用Laplace先验的尺度混合表示。

7.3. Bayesian Non-Parametric Methods
Dirichlet过程混合（DPM）使随机效应分布灵活，可捕获多峰或偏态。依赖Dirichlet过程实现轨迹聚类。

7.4. Discussion of Bayesian Methods
贝叶斯方法提供有限样本不确定量化、变量选择概率解释和对随机效应分布误设的稳健性。但MCMC计算成本高，变分推断以精度换取速度。

8. Deep Learning Architectures for Longitudinal Data
8.1. Recurrent Neural Networks
标准RNN通过时间反向传播训练，存在梯度消失/爆炸问题。LSTM通过门控机制（遗忘门、输入门、输出门）和单元状态保持长程依赖。GRU简化结构。T-LSTM引入时间感知记忆衰减。GRU-D对缺失值添加时间衰减。

8.2. Temporal Convolutional Networks
TCN使用因果扩张卷积，感受野随层数指数增长，可并行训练，已用于临床预测和表型识别。

8.3. Transformer Models
Transformer通过多头自注意力和位置前馈网络处理序列。纵向适应包括多元时间序列表示学习、稀疏注意力和高效变体（如Longformer、Linformer）。对长序列的计算成本O(T²)需优化。

8.4. Neural Ordinary Differential Equations
神经ODE通过连续时间动力学建模，原生处理不规则采样。梯度通过伴随方法计算。潜变量ODE结合VAE编码器和神经ODE解码器。神经CDE通过连续路径提供RNN的连续时间类比。数值求解器带来计算开销和稳定性问题。

8.5. Variational Autoencoders and Generative Models
VAE最大化ELBO。纵向VAE（L-VAE）分离静态和动态因子。SOM-VAE结合自组织地图实现时序聚类。

8.6. Graph Neural Networks
GNN通过消息传递在图上学习。时间图网络处理动态图。MiME用于多级EHR嵌入。

8.7. Discussion of Deep Learning Methods
深度学习方法扩展了纵向分析能力，但选择架构需权衡：RNN适合顺序依赖但需适应不规则采样；Transformer可并行但O(T²)成本；神经ODE原生处理不规则采样但求解器成本高。共同挑战包括数据饥饿、可重复性差、超参数敏感、可解释性不足。需受试者层面交叉验证和强基线比较。

9. Specialized Topics
9.1. Joint Models for Longitudinal and Survival Data
联合模型同时建模纵向和生存数据，通过共享随机效应或潜在过程关联二者。似然结合纵向和生存贡献。JBbayes和JM提供R实现。对信息性缺失（如死亡导致脱落）至关重要。

9.2. Functional Data Analysis
FDA将纵向观测视为光滑函数的离散实现，通过基函数展开和功能主成分分析（FPCA）识别主变异模式。提供轨迹的整体分析框架，与再生核希尔伯特空间理论相连。

9.3. Causal Inference with Longitudinal Data
边际结构模型通过逆概率治疗加权（IPTW）估计因果效应。目标最大似然估计（TMLE）提供双稳健估计。机器学习整合入因果框架，如循环边际结构网络和反事实循环网络。

9.4. Missing Data and Imputation
缺失机制分为MCAR、MAR和MNAR。经典方法包括多重插补、基于似然的方法和模式混合模型。机器学习方法如MissForest、BRITS、NAOMI和GAIN提供强大插补性能。

9.5. Clustering Longitudinal Trajectories
增长混合模型和潜类别增长分析识别潜在子群。动态时间规整（DTW）聚类、深度时间聚类和变分自编码器（VaDE）提供灵活的非参数聚类。

10. Synthesis: Comparison and Practical Guidance
10.1. Cross-Cutting Comparison
方法家族在受试者内相关性、不规则采样、缺失数据、高维性、可扩展性、可解释性和不确定量化上各有优劣。没有方法在所有维度占优；连续时间方法（GP、神经ODE）原生处理不规则采样。

10.2. Method Selection Guidance
根据分析目标、维度、样本量和采样规则，提供默认推荐：推理场景用混合模型；预测大样本用深度序列模型或连续时间模型；高维小样本用惩罚模型或贝叶斯方法；信息性脱落用联合模型。

10.3. Illustrative Medical and Biostatistical Scenarios
四个场景：临床试验（LME）、EHR风险预测（LSTM/Transformer）、高维组学（惩罚/贝叶斯/混合提升）、疾病进展与脱落（联合模型）。强调方法选择应基于数据机制和科学问题。

11. Emerging Directions and Open Problems
11.1. Federated Learning for Longitudinal Data
联邦学习允许多机构协同训练而不共享原始数据，需处理纵向数据的水平和垂直分区。个性化联邦学习和纵向特定方法的联邦版本是开放问题。

11.2. Transfer Learning and Foundation Models
基础模型预训练后通过零样本或少样本适应纵向任务（如EHRSHOT、Lag-Llama）。跨域表示的可迁移性需深入研究。

11.3. Interpretability and Explainability
后验解释方法不可靠；固有可解释模型（如GAM、NAM、EBM）提供透明预测。针对纵向数据的解释方法待开发。

11.4. Uncertainty Quantification
贝叶斯深度学习（MC Dropout、深度集成）和共形预测提供不确定量化。共形预测需适应时序依赖性以保持覆盖。

11.5. Multimodal Longitudinal Data
多模态融合需整合临床、影像、基因组学、可穿戴传感器和文本数据，处理跨模态缺失和不同时间分辨率。

11.6. Online and Streaming Analysis
在线算法需增量更新模型，应对灾难性遗忘、概念漂移和计算效率。在线混合效应模型和持续学习是研究方向。

12. Conclusions
综述全面考察了纵向数据分析方法，涵盖经典统计到深度学习。关键主题包括向灵活数据驱动方法的转变以及对可解释性、可重复性和不确定性的关注。未来方向包括固有可解释架构、因果推断整合、联邦学习、基础模型和统一基准测试。共享基准和标准化评估将推进实践。