综述：纵向数据分析的数学与计算方法统一综述

《Mathematics》：A Mathematical Co-Design Framework for Synchronous Boost DC-DC Converters and PI Controllers Under Parasitic and Semiconductor Loss Effects

　　

纵向数据（longitudinal data）是指在同一受试对象上随时间重复测量而形成的数据，在生物医学、经济学、社会科学与工程学中普遍存在。此类数据分析面临一系列独特的统计与计算挑战，包括受试对象内相关性、时变协变量、不规则观测时点、信息性失访以及高维性。尽管传统统计方法，如线性混合效应模型（LME）和广义估计方程（GEE），仍然构成该领域的基础，但它们在处理复杂非线性动力学、超高维特征空间以及超大样本规模时往往存在局限。过去二十年中，机器学习（ML）与人工智能（AI）方法已成为弥补这些局限的有力补充工具。本文对纵向数据分析的数学与计算方法进行了系统综述，涵盖经典统计模型、惩罚回归技术、基于树的集成方法、核机器、贝叶斯层次模型以及现代深度学习架构，包括循环神经网络（RNN）、时序卷积网络（TCN）、基于注意力的Transformer、神经常微分方程（neural ODE）与生成模型。研究人员提出了一个统一分类体系，从两个主轴组织现有方法：底层数学框架与分析目标。对于每一类方法，本文给出详细的数学表述，讨论关键理论性质，考察计算层面的因素，并总结已发表文献中的代表性应用。为增强本文的实践价值，研究人员还围绕五项关键挑战——受试对象内相关性、不规则采样、缺失数据、高维性与可扩展性——对各类方法进行了横向比较，并依据样本量、维数与分析目标给出具体的方法选择建议。最后，本文批判性评估了这些方法的优势与局限，特别强调可解释性、可扩展性、缺失数据处理、对协方差错设定的稳健性以及不确定性量化。

1. Introduction
本文首先指出，数据采集技术的快速发展使纵向数据在电子健康记录、经济面板、流行病学队列、神经影像、生态监测及基因组研究中大量出现。纵向数据能够同时反映受试对象间异质性与对象内时间动态，是横断面数据所不具备的。作者强调，这类数据的核心特征在于同一受试对象内重复观测之间存在相关性，因此分析时必须显式处理对象内协方差结构。文章进一步概括纵向数据的五类主要复杂性：观测时间不规则、缺失可能具有信息性、时变混杂可能导致偏倚、预测变量维数p可能远大于样本量N，以及结局变量可能同时包含连续型、二元型与生存型。基于此，作者说明传统统计框架虽具有良好的推断性质，但在复杂非线性、高维情形与大规模预测任务中表现不足，而机器学习（ML）与人工智能（AI）方法则通过更灵活的函数逼近提供了补充。

1.2. Related Work
在相关工作部分，本文比较了既有综述文献的覆盖范围，指出现有工作通常分为两类：一类在经典统计方法方面权威但未覆盖深度学习革命后的方法；另一类聚焦机器学习或电子健康记录应用，却缺乏统一的数学表述与对传统推断体系的系统整合。作者据此认为，缺少一篇能够贯通经典线性模型、惩罚回归、集成学习、核方法、贝叶斯模型与现代深度学习，并同时兼顾低维与高维、推断与预测双重目标的数学化综述，这正是本文拟填补的空白。

1.3. Contributions
本文的主要贡献包括：提出按“数学框架—分析目标”二维划分的统一分类体系；为各主要方法提供统一记号与数学公式；围绕对象内相关性、不规则采样、缺失数据、高维性与可扩展性五个关键问题展开横向比较；给出基于样本量、维度与任务目标的方法选择建议；并总结多领域中的代表性应用与未来研究方向。

1.4. Organization
文章随后说明整体结构：先定义问题与分类体系，再依次综述经典统计模型、高维正则化方法、树模型与集成方法、核方法、贝叶斯方法、深度学习架构，随后讨论联合模型、因果推断、缺失数据与聚类等专题，最后给出综合比较、实践指导、前沿方向与结论。

2. Problem Formulation and Taxonomy
本节给出纵向数据的一般数学表述。作者设有N个相互独立的受试对象，第i个对象在若干时点上被重复观测，每次记录响应变量与协变量向量。文中系统介绍了对象内协方差矩阵的常见参数化形式，包括复合对称（CS）、一阶自回归AR（1）、Toeplitz与非结构化协方差，并解释了它们各自适用的设计情形及与AIC/BIC、似然比检验相关的选择逻辑。进一步，作者提出统一建模模板，即通过链接函数g与均值函数f，将固定效应、随机效应和不同类型响应统一到同一框架中。基于此，文章构建二维分类体系：按均值函数f的形式划分为参数化、半参数化、非参数化与深度学习方法；按分析目标划分为预测、推断、聚类与特征选择，从而为后文各类方法定位。

3. Classical Statistical Models for Longitudinal Data
本节系统综述经典统计模型，强调其适用于低维情形，即p相对于总观测数较小、似然估计良定的场景。在线性混合效应模型（LME）部分，作者给出固定效应、随机效应与残差项构成的模型形式，推导边际似然、广义最小二乘（GLS）估计、限制性极大似然（REML）以及随机效应的最佳线性无偏预测（BLUP），并解释REML修正方差分量下偏的原理以及BLUP的“收缩”含义。广义线性混合模型（GLMM）部分则将LME推广到指数族响应，概述Gauss–Hermite求积、Laplace近似、惩罚拟似然与马尔可夫链蒙特卡罗（MCMC）等估计策略。广义估计方程（GEE）部分聚焦边际均值参数估计，强调其在工作相关结构错设下对均值参数估计的一致性，同时指出错设会影响效率与小样本下稳健方差估计的准确性，并介绍二次推断函数（QIF）作为改进方案。转移模型部分利用链式法则将联合分布分解为条件分布，适合描述当前结局对既往状态的依赖，但对Markov阶数设定和不规则时间间隔较敏感。作者最后总结，经典方法在可解释性、推断严谨性与协方差建模方面奠定了理论基础，但其共同局限包括线性假设、高维失效、对协方差错设敏感以及难以表达复杂时序结构。

4. Penalized and Regularized Methods for High-Dimensional Longitudinal Data
针对p>N或高维增长情形，本文介绍通过在目标函数中加入惩罚项实现估计与变量选择的正则化框架。在线性混合效应模型基础上，作者分别讨论了Lasso、Adaptive Lasso、SCAD与Elastic Net。Lasso通过₁惩罚实现稀疏化，算法通常采用固定方差分量与随机效应后对固定效应坐标下降更新，再交替更新BLUP与REML方差分量。Adaptive Lasso借助初始估计构造自适应权重，在适当条件下具有oracle性质；SCAD则通过非凸惩罚减轻大系数偏倚。Elastic Net结合₁与₂惩罚，在相关变量成组选择方面更具优势。随后，文章介绍组Lasso、稀疏组Lasso与融合Lasso，说明其分别适用于成组变量选择、组内稀疏与时间平滑约束。对于半参数框架，作者讨论惩罚广义估计方程（PGEE），指出其在保留GEE对相关结构错设稳健性的同时实现变量筛选。最后，本节特别强调调参策略的重要性，指出纵向数据必须采用受试对象层面的交叉验证，若按单次观测随机划分训练集与验证集，会造成主体信息泄漏并导致过于乐观的性能估计。

5. Tree-Based and Ensemble Methods for Longitudinal Data
本节综述树模型及集成学习在纵向数据中的扩展。作者先指出标准随机森林与梯度提升默认观测独立，因此不能直接适用于相关重复测量数据。针对随机森林，文章总结了忽略相关性、构造受试对象汇总特征、引入滞后变量以及结构性修改四类适配策略，其中混合效应随机森林（MERF）通过将总体非参数函数f与受试对象随机效应相结合，采用类EM算法在随机森林拟合与BLUP更新之间交替迭代。对于梯度提升，文章重点介绍混合效应梯度提升（MEGB），该方法将增强学习得到的非线性固定效应函数与LME随机效应结构整合，兼顾高维、非线性与对象内相关性。作者详细讨论了其计算复杂度、收敛到驻点而非全局最优的性质，以及对初始化、迭代轮数M与调参的敏感性。GPBoost进一步以高斯过程（GP）替代离散随机效应块，以获得更灵活的潜在相关结构。文中还介绍了纵向BART，通过贝叶斯加性回归树与随机效应结合实现后验不确定性量化。综合来看，本类方法在非线性拟合、变量交互建模与大样本预测上具有明显优势，但在外推能力、解释性、对极稀疏或高度不规则采样的稳健性方面存在局限。

6. Kernel Methods and Gaussian Processes
核方法部分首先介绍高斯过程（GP）作为纵向数据建模中的关键非参数贝叶斯工具。作者给出GP先验、后验预测与核函数分解形式，说明可通过时间核与对象相似性核联合表达时间相关性和个体间差异。Matérn核由于其平滑度参数ν可控制样本路径可微性，被视为处理纵向平滑轨迹的重要选择。超参数通常通过边际似然极大化进行估计，其目标函数天然包含数据拟合项与复杂度惩罚项。作者指出，GP对不规则时间点具有天然适应性，并能提供校准良好的预测不确定性，但其精确推断具有O（n³）计算复杂度，必须借助诱导点、随机变分推断或状态空间重写等近似策略扩展到大样本。支持向量机（SVM）部分则从核技巧出发，区分了以单次观测为实例与以整条轨迹为实例的两种建模策略，并强调核函数设计在纵向任务中的核心作用。总体而言，核方法在不规则采样与不确定性量化方面具有明显优势，但扩展性和核函数选择的专业门槛较高。

7. Bayesian Approaches to Longitudinal Data
贝叶斯方法部分从层次混合模型开始，说明如何对固定效应、随机效应、方差分量及超参数赋予先验，并通过Gibbs采样或Stan中的Hamiltonian Monte Carlo（HMC）/No-U-Turn Sampler（NUTS）进行后验推断。作者强调贝叶斯框架能够在有限样本下提供完整的不确定性量化。变量选择方面，文中介绍了spike-and-slab先验、horseshoe先验、regularized horseshoe与Bayesian Lasso，指出这些先验分别适用于显式后验纳入概率评估与连续收缩稀疏建模。非参数贝叶斯部分则利用Dirichlet过程混合（DPM）与stick-breaking表示放宽随机效应正态性假设，从而刻画多峰、偏态或重尾的个体差异分布，并支持潜在轨迹亚群识别。作者总结认为，贝叶斯方法在模型不确定性表达、随机效应分布鲁棒性与小样本推断方面具有独特优势，但MCMC计算成本高，在高维纵向数据中仍面临可扩展性挑战。

8. Deep Learning Architectures for Longitudinal Data
本节系统梳理深度学习在纵向数据中的主要架构。循环神经网络（RNN）通过隐状态递归建模时间依赖，但易出现梯度消失或爆炸。长短期记忆网络（LSTM）通过遗忘门、输入门、输出门与细胞状态缓解该问题，门控机制可被解释为对长期记忆保留与更新的自适应控制。门控循环单元（GRU）则以更少参数实现类似功能，GRU-D与T-LSTM进一步通过时间衰减机制适配缺失与不规则采样。时序卷积网络（TCN）利用因果空洞卷积扩大感受野，兼具长程记忆与并行训练优势。Transformer部分重点介绍多头自注意力、自适应编码及其对长序列依赖建模的能力，同时讨论全注意力O（T²）复杂度带来的计算瓶颈及稀疏注意力、低秩近似等改进。神经常微分方程（neural ODE）与神经控制微分方程（neural CDE）被视为处理不规则连续时间观测最具数学一致性的深度模型：它们通过连续时间动力系统在任意实数时刻定义隐状态，并依靠伴随法进行梯度计算。潜变量ODE、GRU-ODE-Bayes等进一步结合变分推断与离散更新机制。生成模型方面，文章介绍变分自编码器（VAE）及其纵向扩展，用于表示学习、轨迹生成、插补与无监督聚类。图神经网络（GNN）则面向动态图或多层级电子健康记录嵌入。作者在讨论部分强调，深度学习方法在复杂非线性动态建模方面能力突出，但通常高度依赖大样本、调参与实验复现条件，解释性不足，且必须严格采用受试对象级数据划分以防止信息泄漏。

9. Specialized Topics
专题部分首先讨论联合模型（JM），通过同时建模纵向过程与生存结局来处理信息性失访或终点相关脱落问题；其本质是以共享潜在轨迹连接纵向子模型与风险子模型。功能数据分析（FDA）则把纵向观测视为潜在平滑函数的离散实现，并借助基函数展开与函数主成分分析（FPCA）提取群体主导变异模式。因果推断部分重点介绍边际结构模型（MSM）、逆概率加权（IPTW）、靶向极大似然估计（TMLE）及其纵向扩展，并说明深度学习与因果框架的结合正在推动个体化处理效应估计。缺失数据部分系统区分MCAR、MAR与MNAR三种机制，强调在MAR下似然法与多重插补有效，而MNAR需要显式构建选择模型、模式混合模型或联合模型并进行敏感性分析。聚类部分则比较了增长混合模型（GMM）、潜类别增长分析（LCGA）、基于动态时间规整（DTW）的聚类以及深度时序聚类与VAE混合聚类方法。

10. Synthesis: Comparison and Practical Guidance
综合部分从对象内相关性处理能力、不规则采样适应性、缺失数据处理、高维适用性、可扩展性、可解释性与不确定性量化等多个维度比较不同方法族。作者指出不存在在所有维度均占优的方法：混合模型、GP与贝叶斯层次模型在解释性与不确定性方面更强，但在可扩展性与超高维场景下较弱；集成学习与深度网络在灵活性和大样本预测方面占优，却普遍缺乏原生解释性与严格不确定性刻画。文章进一步给出情境化建议：规则随访且以推断为主时，LME仍是首选；大规模不规则电子健康记录预测适合深度序列模型或连续时间模型；高维组学纵向数据更适合惩罚混合模型、贝叶斯收缩与混合效应提升；存在信息性失访时则应优先使用联合模型。

11. Emerging Directions and Open Problems
作者最后总结六个前沿方向：纵向数据联邦学习、迁移学习与基础模型、可解释性与可说明性、不确定性量化、多模态纵向融合以及在线/流式分析。文中强调，未来发展的关键问题包括如何构建兼顾预测性能与透明性的纵向深度学习架构，如何将因果推断与高容量模型更紧密结合，如何在隐私保护约束下开展跨机构纵向建模，以及如何建立统一、公平、受试对象级划分的基准评测体系。

12. Conclusions
结论部分指出，纵向数据分析方法的发展体现了灵活性与可解释性、预测性能与推断可靠性之间的持续张力。深度学习、惩罚方法、贝叶斯方法与混合效应机器学习的融合为该领域带来了新的可能，但不规则采样、高维性、缺失机制、信息泄漏、可解释性与校准不确定性仍是核心难题。作者认为，未来需要在统一基准下开展严格比较，并推动可解释、可扩展、可信赖的方法体系建设，从而为统计学、机器学习与领域科学交叉中的纵向数据研究提供更加稳健的技术路线图。