《Neurocomputing》：tBayes-MICE: A Bayesian approach to multiple imputation for time series data
编辑推荐：
摘要时间序列分析常常受到缺失数据的影响，这是一个在医疗保健和环境监测等多个领域普遍存在的问题。尽管链式方程多重插补（MICE）已成为广泛使用的缺失值插补技术，但现有方法通常依赖于确定性模型或点估计模型，无法捕捉模型参数和插补过程中的不确定性。在本研究中，我们提出了一种贝叶斯时
摘要
时间序列分析常常受到缺失数据的影响，这是一个在医疗保健和环境监测等多个领域普遍存在的问题。尽管链式方程多重插补（MICE）已成为广泛使用的缺失值插补技术，但现有方法通常依赖于确定性模型或点估计模型，无法捕捉模型参数和插补过程中的不确定性。在本研究中，我们提出了一种贝叶斯时间数据插补框架（tBayes-MICE），该框架将马尔可夫链蒙特卡洛（MCMC）采样整合到MICE中，从而能够跨模型参数和插补值传播不确定性。我们通过时间感知初始化和双向滞后结构将时间依赖性纳入MICE的扩展中，使模型能够更好地捕捉时间序列数据固有的时间动态特征。我们基于随机游走Metropolis（RWM）和Metropolis调整朗之万算法（MALA）采样器开发了高效的推断方案。我们在两个真实世界数据集（空气质量数据集和PhysioNet数据集）上的实验表明，tBayes-MICE能够持续降低插补误差，并在大多数变量上与常规方法和基于深度学习的方法保持竞争力，同时考虑了插补过程中的不确定性。我们发现MALA能够改善MCMC采样的混合性和后验探索效果。总体而言，这些结果凸显了在完全条件规范框架中将概率建模与结构化时间依赖性相结合的有效性，为环境领域和临床场景下的时间序列插补提供了一种实用且高效的方法，并实现了有意义的不确定性量化。
引言
在许多领域中，从环境领域到临床记录 [24], [47]，时间序列数据集中普遍存在缺失数据。仪器故障和供电问题可能导致空气质量监测中出现不完整的时间戳数据（即缺失数据），从而影响分析和预测的准确性 [24]。类似地，临床医生在重症监护病房（ICU）中采集的生理时间序列往往因不规则采样、传感器错误或临床限制而包含缺失观测值。如果对这些缺失值不加处理，可能会破坏数据流水线并显著降低机器学习模型的性能 [25]。缺失值可能因各种原因产生，我们可以将其归为三种主要情况：完全随机缺失（MCAR）、随机缺失（MAR）和非随机缺失（MNAR） [31]。MCAR发生在缺失性独立于观测值和未观测值的情况下，通常由信息意外丢失引起。MAR描述的是缺失性仅依赖于观测数据且独立于缺失值本身的情况，而MNAR指的是不可忽略的缺失，它直接依赖于未观测值，通常需要显式建模或额外采集，这往往不切实际 [9], [44]。
研究人员使用两种主要方法处理缺失值：要么忽略缺失部分（即删除法），要么使用统计模型 [56] 和机器学习模型 [3], [49] 以新值填补缺失值（即插补法）。删除法仅适用于缺失数据比例较小的情况；然而，对于大量缺失数据，数据插补方法提供了更实用且有效的解决方案 [13]。我们可以将数据插补分为单一插补（如均值、线性插值等）和明确考虑不确定性的多重插补方法 [13], [25], [46]。
链式方程多重插补（MICE）[52] 已成为广泛用于多变量数据集的多重插补方法。MICE迭代拟合一系列单变量条件模型，使用剩余变量作为预测变量来插补每个存在缺失值的变量 [2]。该过程通过使用不同的随机种子生成多个完整数据集来考虑插补不确定性 [11], [24]。MICE之所以受欢迎，是因为它灵活、易于应用，并且在MAR假设下往往能得到接近无偏的参数估计。研究人员也将这种迭代机制称为完全条件规范（FCS）框架 [55]，我们可以将MICE执行的更新视为Gibbs风格的迭代，其中变量依次从其估计的条件分布中进行插补，直到收敛。
尽管MICE广受欢迎，但标准MICE并未针对时间序列场景设计。它默认假设观测值是可互换的，并忽略时间顺序，除非将时间索引或滞后变量添加为预测变量 [10]。当应用于时间序列数据时，这种假设可能导致不切实际的插补，破坏固有的时间行为，如趋势或季节性。这可能导致不合理的插补值，打乱依赖于时间的模式，如趋势或季节性。尽管贝叶斯推断启发了MICE方法，但它并未实现完整的贝叶斯框架。在MICE插补过程的每一轮中，模型将参数视为固定的而非随机的，因为算法在每一轮插补中并未正式传播关于模型参数的不确定性。此外，如果MICE算法中使用的条件模型不相互兼容，则完整的联合概率密度函数可能不存在。这可能导致有偏的后验抽样和对插补间方差的低估，意味着分析结果将不能反映与缺失数据相关的真实不确定性 [11], [34]。近年来，对该插补框架的替代方案包括MICE算法的基于学习的扩展 [35]。该工作主要针对横截面数据集，仅简要解决了与时间依赖性和不确定性传播相关的问题。使用MICE的基于学习扩展的替代方法是将在插补过程中引入马尔可夫链蒙特卡洛（MCMC）方法 [20], [38], [43]。当我们将MCMC与插补结合使用时，我们可以概率性地更新模型参数，同时也概率性地更新缺失值。
这些挑战凸显了对能够尊重时间结构并准确考虑数据不确定性的插补框架的需求。在本研究中，我们引入了tBayes-MICE，这是MICE的一种时间感知的贝叶斯扩展，将MCMC采样整合到链式方程框架中。它具有时间信息初始化和时间滞后特征，能够产生来自更丰富后验分布的多变量时间序列插补值。我们实现了两种MCMC采样器——随机游走Metropolis（RWM）和Metropolis调整朗之万算法（MALA），并在空气质量数据集和临床PhysioNet数据集上评估了它们的性能。
本文其余部分组织如下。第2节回顾了时间序列数据插补、MICE和MCMC的相关工作。第3节概述了方法论，包括数据描述、MICE和tBayes-MICE。第4节实验分析和结果呈现了实验结果，第5节讨论进行了结果讨论，第6节总结了本研究。
章节摘要
时间序列数据插补
过去的研究评估了处理时间序列缺失数据的多种方法，包括传统统计方法和现代机器学习与深度学习模型。大多数传统统计方法利用时间信息来预测缺失值。例如，带有卡尔曼滤波的状态空间模型可以自然地将缺失值视为"潜在"状态。正如Moritz等人 [33] 所示，使用结构时间序列模型的卡尔曼平滑排在最
空气质量数据
该数据集 [8] 由9358条每小时平均记录组成，涵盖15个变量，于2004年3月至2005年2月期间从部署在意大利一个高污染城市区域路面的化学多传感器设备中采集。该设备采集了五个金属氧化物传感器的信号，同时经过认证的共置分析仪测量了主要污染物的地面真值浓度：一氧化碳（CO）、非甲烷碳氢化合物（NMHC）、苯（C6H6）、氮氧化物（NO）和二氧化氮（NO）。
实验分析与结果
我们呈现了实验评估和结果，组织如下：
- •
我们首先比较了单变量时间滞后MICE与已建立的时间序列基线方法在PhysioNet数据集中一个代表性变量（WBC）上的性能。
- •
然后我们分析了两种MCMC采样器的收敛行为，以验证充分的后验探索性和推断结果的可靠性。
- •
最后，我们将提出的tBayes-MICE与MICE和BRITS在两个数据集上进行了比较。
讨论
总体而言，我们发现tBayes-MICE通过提供带有不确定性量化的数据插补来增强了MICE。我们使用Gelman等人 [18] 的标准诊断标准评估了MCMC收敛性，并在两个真实世界数据集上将其性能与选定的插补方法进行了比较。我们进行了一项消融研究，考察了（i）具有不同统计特征的数据集上的采样器收敛行为以及（ii）初始化策略的影响，通过比较两种
结论
我们提出了tBayes-MICE，这是一种为时间序列分析中的缺失数据插补提供不确定性量化的贝叶斯框架。结果表明，tBayes-MICE不仅提供了插补的不确定性量化，还提高了插补精度。我们在两个真实世界数据集上评估了所提出的框架，tBayes-MICE在大多数情况下相较于传统方法和深度学习插补模型始终取得了有竞争力的性能。
一个重要的
CRediT作者贡献声明
Amuche Ibenegbu：写作 – 原稿撰写，软件，资源，方法论，调查研究，正式分析，数据管理，概念化。Pierre Lafaye de Micheaux：写作 – 审阅与编辑，监督，资源，方法论，调查研究，正式分析，概念化。Rohitash Chandra：写作 – 审阅与编辑，监督，资源，方法论，调查研究，正式分析，概念化。
利益冲突声明
作者声明他们没有已知的可能影响本文所述工作的竞争性经济利益或个人关系。
致谢
作者感谢新南威尔士大学的Katana高性能计算（HPC）集群。
Amuche Ibenegbu|Pierre Lafaye de Micheaux|Rohitash Chandra
