用于具有偏度和重尾特征响应变量的贝叶斯加性回归树

《Journal of Statistical Planning and Inference》：Bayesian additive regression trees for responses with skewness and heavy tails

　　

我们已大幅改写了MCMC部分（第3.4.1小节）和附录A。我们同意此前的树更新在表述上是不正确的。具体而言，用拉普拉斯近似替代树结构的边缘后验概率，并不能为精确后验目标提供有效的Metropolis–Hastings更新。因此，我们通过采用树结构与终端节点参数的联合Metropolis–Hastings更新，修正了该采样器。首先使用标准BART的生长、剪枝和改变提案机制生成候选树结构，然后从基于拉普拉斯的提案密度中提出相应的终端节点参数，该提案密度由所提案树的条件后验构造而成。所得的联合树-叶状态通过Metropolis–Hastings接受概率进行接受或拒绝。这一修订遵循与Linero（Linero, 2025）近期广义BART框架中所采用的联合树-参数更新相同的原则。

我们以两种互补的方式评估了监测的后验量。首先，四链的轨迹图和后验密度估计未显示明显的非平稳行为，且各链之间存在显著的相互重叠。其次，我们报告了Gelman–Rubin潜在尺度缩减因子以及主体和尾部有效样本量（ESS）值。这些数值诊断提供了对链间一致性和链内效率的直接定量评估。

我们使用修正后的实现，从头重新运行了本文所有模型的拟合。具体而言，第4.2节中的所有实验、第5节中的所有真实数据分析，以及附录B和C中的所有补充分析均以2500次burn-in迭代和10,000次保留的后验抽样重新运行。所有报告的表格、图形和数值摘要均已重新生成。修订后的结果得出了与先前分析相同的实质性结论。

我们逐点回应了您提出的每一条小问题，以提高本文的严谨性和清晰度。

引言

在许多实际应用中，数据是在不完美条件下收集的（Ahn et al., 2012, Nolan, 2014, Bhingare et al., 2019, Cao et al., 2024），这往往导致误差分布呈现偏斜和重尾特征。忽视这些偏离正态性的现象可能导致有偏推断和预测性能下降。传统的线性和广义线性模型能够捕捉线性趋势，并能在一定程度上通过交互项或多项式项刻画简单的非线性关系，但通常难以处理这些分布特征。为克服此类局限，研究人员开发了更灵活的统计学习方法，显著提升了刻画数据中复杂依赖关系的能力（El Naqa et al., 2015）。然而，这些方法中大多数仍依赖高斯误差假设，该假设在数学上便于处理，但在实践中往往不现实，常常导致被放大的误差。

为应对这些问题，Fernández和Steel（Fernández and Steel, 1998）将偏t分布引入贝叶斯线性回归，提供了一个能够同时容纳偏斜和重尾特征的灵活框架。他们还提出了基于Gibbs采样器的有效后验采样方法，显著简化了贝叶斯推断。模拟研究和真实数据分析表明，偏t回归模型相较于基于高斯分布的替代方法具有更强的稳健性。

在本文中，我们关注由Chipman等人（2010）提出的贝叶斯加性回归树（BART）模型。与具有预定义函数形式的参数化回归模型不同，BART使用决策树集合来灵活捕捉协变量之间复杂的非线性关系和交互作用，其预测精度往往高于许多统计替代方法（Waldmann, 2016, Green and Kern, 2012）。与其他机器学习方法相比，BART表现出若干显著优势。它通常对超参数设置较为稳健（Chipman et al., 2010），并保持较强的预测性能。此外，BART通过预测的完整后验分布自然地提供了不确定性量化。近期进展进一步确立了其理论性质（Linero and Yang, 2018, Prado et al., 2021, Pratola et al., 2014, Murray, 2021, Hernández et al., 2018），从而在精度和计算效率两方面均有所提升。BART已成功应用于广泛的任务，包括分类（Murray, 2021）、生存分析（Sparapani et al., 2016, Li et al., 2022）、贝叶斯优化（Boyne et al., 2025）、因果推断（Hill, 2011, Hahn et al., 2020）以及高维回归（Linero, 2018）。在此基础上，Pratola（Pratola et al., 2019）将误差项系数σ推广为依赖于协变量的函数σ=s(x)，从而提升了其异方差建模能力，并展示了模型在容纳复杂误差结构方面的灵活性。此外，SoftBART（Linero and Yang, 2018）模型在树结构中引入了软分裂规则，用概率分配取代了硬决策。这种软分类机制可以进一步提升预测性能，并展现出处理异常值和重尾数据的潜力。为更好地捕捉误差项中的偏斜性，Um将偏正态分布引入BART框架（Um et al., 2023）。由此形成的skewBART模型在贝叶斯框架下提出了若干关键贡献。首先，它将在指数族框架内的偏正态误差项分解为加性形式，从而简化了似然计算并降低了后验采样的计算复杂度。此外，模拟研究表明，在偏斜性显著的情况下，skewBART优于标准BART，而在偏斜性较轻的情况下则保持相当的性能。该研究还引入了对数伪边际似然（LPML）作为模型比较的标准，提供了一种评估模型拟合的有原则且有效的方法。然而，skewBART的一个显著局限在于其依赖偏正态分布，而偏正态分布缺乏足够的灵活性来建模重尾误差。因此，当面对异常值或同时具有偏斜性和重尾特征的误差分布时，其稳健性会下降。这些局限促使我们探索更灵活的误差分布，例如偏t分布，以提升稳健性和建模精度。

为解决这些局限，我们提出SkT-BART，这是一种新颖的BART变体，将Steel的偏t分布误差引入BART框架。偏t分布同时允许不对称性和重尾，为复杂响应数据提供了更现实的建模替代方案。我们采用数据增强方法将偏t分布转换为指数族形式，从而大大简化了似然函数的计算。随后，我们开发了一套完整的马尔可夫链蒙特卡洛（MCMC）算法用于后验推断。将偏t分布纳入BART框架的一个根本性挑战在于终端节点参数的共轭性丧失。为解决这一计算挑战，每一棵树结构及其关联的终端节点参数在Metropolis–Hastings步骤中联合提出并更新。具体而言，候选树结构使用标准BART的生长、剪枝和改变移动生成，而关联的终端节点参数则从通过迭代加权最小二乘法（IRLS）优化的拉普拉斯近似中提出（Chartrand and Yin, 2008）。所提出的树-叶状态随后通过Metropolis–Hastings修正进行联合接受或拒绝。为展示所提出SkT-BART模型的优势，我们在异常值和重尾误差情形下将其性能与BART、SoftBART和skewBART进行比较，并在大量真实世界数据集上进一步进行了广泛评估。

为建模响应变量y?与p维协变量向量x?之间的关系而不施加任何预定的函数形式，我们考虑y?关于对应x?的非参数回归，其形式为
y? = f(x?) + σ??，
其中误差??独立同分布（i.i.d.），具有共同密度h_?(·)，σ ∈ (0,∞)为误差项的尺度参数。未知函数f返回与x?对应的单变量响应，在本文中，我们使用基于BART框架的决策树集合对其进行估计。

本文其余部分组织如下。第2节简明概述贝叶斯加性回归树（BART）模型，并介绍Fernández和Steel所发展的偏t分布。第3节介绍所提出SkT-BART模型的开发，详细说明先验分布的设定、贝叶斯框架下全条件分布的推导以及用于后验推断的MCMC算法。第4节报告了广泛模拟研究的结果，在重尾或受异常值污染的误差下比较SkT-BART与BART、SoftBART和skewBART，并进一步评估其对树数和不相关预测变量的稳健性。第5节通过将该方法应用于两个具有代表性的真实世界数据集以及15个额外的基准数据集，展示了所提出方法的实际适用性，突出了其在建模复杂非高斯响应变量方面的有效性。最后，第6节总结主要发现，讨论其意义，并提出未来研究的可能方向。

章节节选

贝叶斯加性回归树模型

BART模型最初由Chipman等人（2010）提出，包含两个基本组成部分：回归函数的树加性表示以及限制树复杂度的正则化先验。形式上，(1)中的回归函数f(x?)表示为
f(x?) = ∑(t=1到m) g(x?; T?, M?)，
其中T?表示第t棵二叉树的结构，具有n?个终端节点，M? = {μ??, …, μ?n?} 是对应的终端节点参数集合。对于给定的T?，映射g(x?; T?, M?)将x分配…

SkT-BART模型

虽然标准BART模型在建模复杂非线性关系方面具有灵活性，但其依赖正态分布误差的假设可能会在残差呈现偏斜或重尾时影响性能。为应对这一局限，我们提出偏t贝叶斯加性回归树（SkT-BART）模型——BART框架的一种稳健扩展，将误差分布推广为偏t族。这一扩展使SkT-BART能够有效容纳…（原文截断）

模拟研究

在本节中，我们进行模拟研究以将SkT-BART与现有方法进行比较。模拟旨在评估回归函数的估计精度和样本外预测性能。具体而言，我们采用Friedman（1991）提出的非线性模型，将SkT-BART与BART、SoftBART和skewBART的性能进行对比。该模型被先前研究广泛使用（Chipman et al., 2010, Wang et al., 2019, Cao and Zhang, 2022），其中包含了…（原文截断）

应用

在本节中，我们对所提出的SkT-BART模型进行了全面的实证评估。为明确展示其在容纳复杂非高斯误差方面的能力，我们最初关注两个真实世界数据集：森林火灾数据（Cortez and Morais, 2007），其具有极端的结构性异常值；以及生物质燃料数据，其表现出显著的重尾特征。为严格验证其泛化能力，我们随后将分析扩展至…（原文截断）

结论与讨论

在本文中，我们提出SkT-BART模型——BART的一种扩展，假设误差为具有未知偏斜性和重尾特征的独立偏学生t分布。我们证明该模型的后验分布是良好定义的。SkT-BART模型通过使用灵活的偏学生t分布，在BART框架的基础上加以增强，该分布能够同时捕捉非对称偏离和重尾特征。我们开发了一种基于Gibbs采样器的数值实现，以高效地从…（原文截断）

利益冲突声明

作者声明不存在已知可能影响本文所报告工作的竞争性经济利益或个人关系。

Wei Cheng | Xiyuan Qian