基于深度狄利克雷过程的贝叶斯非参数生存分析

《Neural Networks》：Bayesian Nonparametric Survival Analysis via Deep Dirichlet Process

　　

**摘要**

时到事件数据分析在各个领域引起了日益增长的关注。一个主要挑战在于此类数据固有的不完整问题，其中右删失是最常见的形式。尽管Cox比例风险模型在传统数据集上效果良好，但在协变量呈高维且违反比例风险假设的现代场景中，它往往失效。此外，传统的参数化生存模型通常基于指数族，施加了强假设，且由于其指数衰减特性，难以捕捉长尾行为。为了解决上述挑战，我们提出了DDPSurv，一个用于生存分析的深度学习框架，该框架利用了深度参数化的狄利克雷过程（DP）混合模型。与依赖强统计假设的先前提参方法不同，DDPSurv通过引入DP混合提供了更大的灵活性来建模生存分布，从而能够更好地表示重尾行为。我们提供了理论保证，证明该模型可以以紧凑的收敛率紧密逼近真实的生存分布。在标准生存基准上的实证结果表明了我们方法的有效性，而在MIMIC-III和MIMIC-IV数据集上的大规模实验进一步验证了其可扩展性和临床实用性。代码可在 https://github.com/HKU-MedAI/DDPSurv-net 获取。

**引言**

使时到事件数据区别于其他类型数据的关键挑战之一是不完整数据问题和删失机制，包括右删失（Cox, 1972; Nagpal, Yadlowsky, Rostamzadeh, Heller, 2021b）和区间删失（Zhang and Yin, 2022）。生存分析是时到事件建模的一个分支，大多数情况下处理的是右删失数据，并在多个领域得到应用，如临床试验（Cox, 1972; Zhang, Yin, 2022）和精算科学（Logubayom and Yeboah, 2023）。尽管传统生存分析统计模型取得了成功（Gu, Fan, Yin, 2023; Li, Cao, Yin, 2018），但当扩展到现代高维数据集时，它们无法捕捉显著特征。因此，将深度学习方法引入时到事件建模以处理高维数据成为一种新兴趋势（Faraggi, Simon, 1995; Katzman, Shaham, Cloninger, Bates, Jiang, Kluger, 2018; Xiang, Lapuerta, Ryutov, Buckley, Azen, 2000），因为深度神经网络允许协变量和风险比之间具有更灵活的 nonlinear 关系。尽管深度神经网络显著提高了生存模型的预测精度和灵活性，但它们现在面临过度参数化的新挑战，可能导致潜在的过拟合问题。最近，概率模型被纳入学习目标以正则化学习过程，其中深度Cox模型（Nagpal et al., 2021b）是一种众所周知的方法，它将Cox比例风险（CPH）模型与深度学习相结合。然而，这些现有模型依赖于强参数假设（例如指数族），在建模生存分布方面缺乏灵活性。特别是当尾部观测有限时，指数尾衰减通常会导致长尾处的偏差。此外，这些工作严重依赖于CPH假设和负部分似然来处理缺失数据的挑战，使其难以处理在真实数据分析中非常常见的交叉风险场景（Mantel and Stablein, 1988）。在本文中，我们提出了DDPSurv，一个具有重尾混合的深度狄利克雷过程模型，以更准确、高效地估计生存分布。利用狄利克雷过程的"富者更富"性质，我们的框架自主确定适当的混合分量数量，并从无限集中识别最突出的分布，从而提供对生存分布的最优逼近。为了解决传统指数族分布固有的长尾偏差，我们在最终混合模型中纳入了重尾分布。这通过引入额外的狄利克雷过程来实现，该过程确定应纳入的重尾分布的最优数量。我们的贡献可以总结为以下几点：

- 我们提出了一个新的基于深度狄利克雷过程的神经生存分析框架（DDPSurv），能够处理高维生存预测。
- 通过混合重尾分布，我们验证了DP模型可以更好地逼近尾部的生存分布并缓解长尾偏差。DDPSurv还可以处理竞争风险场景，因为无限混合中的每个分布都可以建模特定风险的风险率。
- DDPSurv采用随机变分推断来避免现有基于采样的方法（如Gibbs采样）在参数估计中的高计算成本（Müller, Quintana, Jara, Hanson, 2015; Zhang, Yin, 2023），并实现了在大规模数据集上的可扩展性。
- 在筛空间框架下的理论分析提供了参数后验收敛率的渐近界。
- 在通用生存预测和两个大规模临床数据集上的广泛实验验证了我们所提方法的令人满意的表现。

**生存分析**

时到事件建模，特别是在存在删失数据的情况下，一直是经济学（Bosco Sabuhoro, Larue, Gervais, 2006; Jones, O'Donnell, O'Donnell, 2002）、精算科学（Czado and Rudolph, 2002）和医疗治疗（Kim, Lee, Kwon, Nam, Cha, Kim, 2019; Zhu, Yao, Huang, 2016）等多个领域中统计预测的重要主题。生存分析是时到事件建模的一个主要子领域，已被广泛研究。两种主要的传统参数化或

**问题：时到事件建模**

为简便起见，我们假设一个右删失模型。设 $\mathcal{D}=\{(\mathbf{x}_i, t_i, \delta_i)\}_{i=1}^{n}$ 表示数据集为一组元组，其中 $\mathbf{x}_i \in \mathbb{R}^d$ 是与个体 $i$ 相关的特征，$t_i$ 是感兴趣事件发生的时间或删失时间，$\delta_i$ 是指定 $t_i$ 是事件时间还是删失时间的指示变量。我们将 $\mathcal{D}$ 中未删失的子集记为 $\mathcal{D}_U$，删失的子集记为 $\mathcal{D}_C$。

**定义1 狄利克雷过程**

记为 DP(α, G)，狄利克雷过程是样本空间上的随机概率测度。

**理论分析**

为技术简便起见，我们假设混合后的风险率由神经网络预测，即
$$h(t|\mathbf{x}) = \nu(t, \mathbf{x})$$
其中 $\nu$ 是一个未指定的非负函数。生存函数可表示为 $S(t|\mathbf{X}) = e^{-\int_0^t e^{\nu(s, \mathbf{x})} ds}$。然后删失对数似然可重写为
$$\ell(T, \delta, \mathbf{x}; \nu) = \delta \log \int_0^T e^{\nu(s, \mathbf{x})} ds + \delta \nu(t, \mathbf{x}) + \int_0^T e^{\nu(s, \mathbf{x})} ds$$
我们利用筛空间（Wellner, et al., 2013; Wu, Qiao, Wu, Yu, Zheng, Liu）证明了所提出的DDPSurv模型的理论有界性。

**数据集**

我们在两个常用的生存预测数据集SUPPORT和SYNTHETIC上验证了我们的方法。我们还包括了两个基于真实世界临床数据的大规模基准——MIMIC-III数据集和MIMIC-IV数据集。数据集的大小和基本信息，包括风险类型、观测数量、特征维度、事件数和删失数，见表格1。这些数据集的其他关键特征在附录C.1中总结。

**评估指标**

我们使用两个标准指标……

**讨论**

生存数据集，包括SUPPORT（Knaus et al., 1995）、MIMIC-III（Johnson et al., 2016）和MIMIC-IV（Johnson et al., 2023），存在数据不平衡问题，即短生存时间个体（头部类别）的数量显著超过长生存时间个体（尾部类别）的数量。这种不平衡可能导致过拟合，降低模型在预测生存函数尾部时的性能。通过比较表格2（头部类别）和表格3（尾部类别）的结果……

**结论**

在本工作中，我们提出了DDPSurv，一个用于生存预测的新型深度贝叶斯非参数框架。通过将重尾分布混合到我们的模型中，我们实现了自适应尾校正并改善了尾部行为。我们采用随机变分推断来训练高维模型。实证结果表明，我们的方法总体上优于基线方法。消融分析展示了每个所提组件的贡献以及对变化的鲁棒性。

**生成式AI和AI辅助技术在写作过程中的声明**

在本工作的准备过程中，作者使用了ChatGPT来润色语言。在使用该工具/服务后，作者根据需要审阅和编辑了内容，并对出版物的内容承担全部责任。

**局限性与未来工作**

我们的方法的一个局限性是，我们未显式建模个体间潜在异质性（尽管通过采用混合模型隐含地建模了）。然而，DDPSurv可以通过对似然进行修改（例如，采用脆性族）来轻松扩展以纳入该因素，这将在未来工作中探索。我们的方法还可以扩展到其它应用领域，例如全切片图像的生存分析。

**CRediT作者贡献声明**

Xu Jiacheng：写作 – 审阅与编辑，写作 – 原稿撰写，可视化，验证，软件，资源，调查，形式分析，数据整理。Chan Tsai Hor：写作 – 审阅与编辑，写作 – 原稿撰写，验证，软件，方法论，形式分析，概念化。Wang Fuying：写作 – 审阅与编辑，软件，数据整理。Yin Guosheng：写作 – 审阅与编辑，指导，概念化。Yu Lequan：写作 – 审阅与编辑，指导。

**利益冲突声明**

作者声明他们没有已知的可能影响本文所报告工作的竞争性财务利益或个人关系。

Xu Jiacheng | Chan Tsai Hor | Wang Fuying | Yin Guosheng | Yu Lequan