基于状态空间表示的因果推断条件扩散方法

《Knowledge-Based Systems》：Conditional diffusion for causal inference with state space representation

　　

• •
  我们提出了CoDiS，这是一种端到端的条件扩散框架，采用基于SSM的去噪机制，用于潜在结果分布的预测。
• •
  我们设计了一种结构感知型架构，能够同时整合协变量、处理方式、含噪声的结果以及扩散时间步，并将基于SSM的依赖关系建模与潜在结果生成相结合。
• •
  我们在半合成的COVID-19数据集以及标准的因果推断基准数据上进行了测试，证明了CoDiS在分布估计和点估计方面的有效性。

引言

因果推断旨在理解干预措施所带来的后果，在经济学、医疗保健以及公共政策等多个领域中发挥着至关重要的作用[1]、[2]、[3]、[4]。在潜在结果框架下，常见的任务是根据观测数据估算在不同处理方案下的潜在结果，但实际上每个个体只能观测到其实际接受的处理所对应的结果[5]。现有的方法主要侧重于点估计，尤其是预测整个群体中的平均效应[6]、[7]。然而，如图1(a)所示，这类平均估计无法完全反映不同个体之间的结果差异，也可能忽视对做出可靠决策至关重要的特定子群体风险[8]、[9]。

近期的生成式方法通过建模条件潜在结果分布，突破了传统点估计的局限[9]、[10]、[11]、[12]。不过，现有方法往往存在一个重大缺陷，即无法有效建模观测协变量之间复杂的结构依赖关系和时间动态特征。这类依赖关系在现实世界中十分常见，例如图中1(b)所示的随时间动态变化的疫情状态。如何将这些依赖关系有效地纳入生成式潜在结果模型，依然是实现精准分布估计的关键挑战。

为了解决这些难题，我们提出了条件 扩散模型结合状态空间表示的方法（CoDiS），这是一个统一的框架，可用于从具有复杂依赖关系的观测数据中估算条件潜在结果分布。如图1(c)所示，CoDiS将条件扩散与作为去噪核心的状态空间模型（SSM）相结合。在每个去噪步骤中，SSM会同时处理观测协变量、处理条件以及含噪声的结果状态，从而使协变量之间的潜在依赖关系能够直接影响潜在结果的生成。这样一来，依赖关系建模与反事实结果生成就在端到端的架构中得到协同优化，从而从目标潜在结果分布中生成高保真度的样本。

本研究的主要贡献如下：

• •
  我们提出了CoDiS，这是一种端到端框架，它将条件扩散与基于SSM的去噪网络相结合，用于估算条件潜在结果分布。
• •
  我们设计了基于SSM的去噪网络，用于在条件扩散过程中建模观测协变量之间的结构依赖和时间依赖关系。
• •
  我们在多种基准数据集上进行了广泛测试，尤其是半合成的COVID-19数据集，实验结果表明，无论是在分布校准还是点估计方面，CoDiS都表现出更优异的性能，相关的消融实验和压力测试也进一步佐证了这一结论。

本文的结构如下：第2节介绍相关研究文献，第3节阐述问题并提出CoDiS模型。第4节展示在多个数据集上的实验结果。最后，第5节对全文进行总结。

各章节要点

相关工作

在本节中，我们首先回顾了潜在结果预测和处理效应估算的相关方法，接着探讨了用于学习潜在结果分布的生成式方法，最后介绍了用于表征观测协变量之间复杂依赖关系的方法。

方法论

我们首先介绍了潜在结果生成的预备知识以及条件扩散模型。随后描述了CoDiS的架构，包括全局广播条件处理、基于SSM的依赖关系建模，以及反向去噪过程中的噪声预测机制。最后，我们阐述了该模型的训练目标、推理流程以及复杂度分析。

实验部分

在本节中，我们首先介绍了实验设置，包括所使用的数据集、基准方法、评估指标以及实现细节。我们利用COVID-19数据集和合成数据集来评估分布估计性能，然后在IHDP、ACIC 2016和ACIC 2018数据集上测试点估计性能。最后，我们分析了该模型的稳健性及训练稳定性，并对其架构进行了消融实验和效率分析。

结论与讨论

本文提出了CoDiS，这是一种基于条件扩散框架且带有基于SSM的去噪网络的模型，可用于从观测数据中估算特定处理方案下的潜在结果分布。在半合成的COVID-19数据集、控制性合成数据集以及标准的因果推断基准数据上，CoDiS在各项分布估计和点估计指标上都取得了优异甚至领先的性能。在IHDP数据集上的消融实验进一步表明，无论是替换SSM模型还是扩散机制

CRediT作者贡献说明

李彦民：文章撰写——初稿撰写，正式分析。王向宇：指导工作，正式分析。鲍卫东：方法论设计。吴继兵：指导工作，方法论设计。张航：文章撰写——审阅与编辑，研究工作。陈欢欢：文章撰写——审阅与编辑，指导工作。刘丽华：文章撰写——审阅与编辑，概念构思。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知财务利益或个人关系。

李彦民|王向宇|鲍卫东|吴继兵|张航|陈欢欢|刘丽华