《Neural Networks》:Causal Discovery from Time-Series Discrete Data in the Presence of Latent Confounders
编辑推荐:
摘要从离散时间序列数据中识别因果结构面临诸多挑战,尤其是在存在未观测变量或潜在混杂因素的情况下,而这类情况在现实世界中十分常见。这类潜在因素常常导致现有算法得出错误的因果结构。在本研究中,我们考虑了一种通用场景:某些观测变量会受到离散型潜在混杂因素的影响。在适当的非退化条件下,我
摘要
从离散时间序列数据中识别因果结构面临诸多挑战,尤其是在存在未观测变量或潜在混杂因素的情况下,而这类情况在现实世界中十分常见。这类潜在因素常常导致现有算法得出错误的因果结构。在本研究中,我们考虑了一种通用场景:某些观测变量会受到离散型潜在混杂因素的影响。在适当的非退化条件下,我们发现了离散时间序列模型中概率张量的秩与d-分离模式之间的本质联系,并提出了一种图形化标准来描述这种关系。基于这一见解,我们开发了一种高效的基于约束的时序因果发现算法——基于张量秩的时序因果发现算法(TRTCD),该算法首先确定观测变量间的因果框架,进而推断涉及潜在变量的因果关系。从理论上讲,我们证明了即使在存在潜在混杂因素的情况下,TRTCD也能恢复到马尔可夫等价类层面的因果结构。在合成数据集和真实数据集上的实验结果均表明,所提出的方法具有有效性。
引言
从时间序列数据中识别因果结构是科学、经济学以及工业系统等领域中的一个基础性问题(Gong等人,2024;Hasan等人,2023)。例如,明确市场动态的驱动因素对于预测政策干预对经济增长的影响至关重要(Hasan等人,2023)。准确的因果发现能够为系统的时序演化提供洞察,从而帮助人们做出可靠且基于证据的决策。
传统上,从时间序列数据中进行因果发现的方法通常会将条件独立性检验与时间信息相结合。PCMCI算法(Runge等人,2019)采用基于约束的框架,利用时间先验和滞后假设,后续还有PCMCI+算法(Runge,2020)、Bagged-PCMCI+算法(Debeire等人,2024)以及PCGCE算法(Assaad等人,2022)等改进方案,提升了方法的稳健性。基于优化的方法,如DYNOTEARS算法(Pamfil等人,2020)、NTS-NOTEARS算法(Sun等人,2023)以及VarLiNGAM算法(Hyv?rinen等人,2010)则将结构学习转化为带约束的最小化问题,还有允许存在循环的广义版本(Lanne等人,2017)。尽管这些方法效果不错,但它们通常假设因果充分性,即不存在潜在混杂因素,而这一假设在现实系统中往往不成立,从而导致错误的因果估计。
已有不少研究将因果发现方法扩展到存在潜在混杂因素的时间序列数据。LPCMCI算法将瞬时条件独立性推广,用于学习观测变量间的有向无环图结构(Gerhardus和Runge,2020)。tsFCI算法(Entner和Hoyer,2010)则在动态潜在贝叶斯网络假设下,将FCI方法应用于时间索引数据。TS-ICD算法(Rohekar等人,2023)进一步通过平稳SVAR过程对数据建模,以恢复动态的有向无环图结构。此外,还有一些基于函数的方法,比如Kawahara等人(2011)提出的基于外部影响因素非高斯性的ARMA过程关系分析方法,以及Marcinkevi?s和Vogt(2021)提出的GVAR方法。不过,基于条件独立性的方法在条件集合中包含潜在变量时难以识别条件独立性,而基于函数的方法(如SVAR)则依赖于较为严格的参数假设。实际上,由于测量限制,数据往往为离散类型,这进一步阻碍了基于函数的方法发挥作用。以图1中的离散时间序列模型为例,这类方法无法唯一确定涉及观测变量和潜在变量的d-分离关系。
本文旨在解决存在潜在混杂因素的离散时间序列因果发现中更为复杂的识别问题,即每个潜在变量都可能局部影响一部分观测变量。我们的目标是明确在何种情况下以及如何识别包括观测变量和潜在变量在内的底层因果结构,并开发出一种具有统计稳健性的方法来恢复该结构。具体而言,我们提出了时间序列离散潜在结构因果模型(TS-DLSCM),在该模型中,数据通过非线性函数生成,所有变量均为离散类型。基于该模型,我们研究了条件概率张量的秩约束,并证明可以通过检测此类张量秩条件来表征潜在混杂因素下的条件独立关系。利用TS-DLSCM中张量秩与d-分离之间的对应关系,我们提出了一种结构学习算法,该算法首先确定观测变量间的骨架结构,随后推断包括潜在混杂因素在内的完整因果结构。理论分析和实证测试均表明,所提出的方法能够渐进地恢复真实的因果结构。
我们的主要贡献可总结如下:
- 1.
我们证明了在TS-DLSCM模型中,潜在混杂因素下的条件独立关系可以通过条件概率张量的秩条件来表征。
- 2.
我们提出了一种基于所提出的张量秩条件的、可用于存在潜在混杂因素场景下的时序因果结构学习算法。理论分析表明,该算法能够渐进地恢复到马尔可夫等价类层面的真实因果结构。
- 3.
我们在模拟数据集和真实的气候遥相关数据集上测试了我们的算法。实验结果表明,该算法的性能优于现有的先进方法,同时还能揭示出有趣的因果模式。
章节节选
问题阐述
本文旨在从可能包含未观测变量的离散时间序列数据中识别因果结构。首先,我们介绍了与时间序列因果模型相关的符号,随后正式定义了时间序列离散潜在结构因果模型(TS-DLSCM),该模型用于描述存在离散潜在混杂因素和离散时间间隔的多变量时间序列。
TS-DLSCM中的张量秩条件
为达成研究目标,本节我们提出了一种新的张量秩条件,用于在TS-DLSCM模型中恢复离散因果结构。传统上,Chen等人(2024)提出了概率张量的秩缺陷性质这一张量秩条件,用于在静态离散因果模型中识别存在潜在混杂因素时的潜在结构。但在TS-DLSCM模型中,由于观测变量之间存在时间相关性,而潜在混杂因素之间则是相互独立的,
TRTCD:基于张量秩的时序因果发现
本节我们将展示,通过合理运用张量秩条件,可以识别出TS-DLSCM模型中的因果结构,且结果可达到马尔可夫等价类水平。面临的挑战在于,观测变量间的局部结构可能会受到潜在混杂因素的影响,这使得PCMCI或TENSOR-RANK-PC等现有的因果发现方法无法应用。为解决这一问题,我们提出了基于张量秩的时序因果发现算法(TRTCD),
模拟实验
模拟数据集 为全面评估我们的因果发现方法在存在潜在混杂因素和时间依赖性条件下的性能,我们根据时间序列离散潜在结构因果模型(TS-DLSCM)生成了相应的模拟数据集。图2展示了用于数据生成的八个窗口因果图,分别对应案例1至案例8。此外,我们还考虑了图1,即案例9,该案例模拟了涉及潜在变量的不同因果结构。这些
真实世界实验
本节中,我们将该方法应用于由美国国家海洋和大气管理局气候预测中心整理的真实气候遥相关数据集1,该数据集反映了大规模大气环流模式之间的动态相互作用。该数据集包含了四个核心的大气指数:南方涛动指数、西太平洋模式指数、北大西洋涛动指数以及北极涛动指数,数据覆盖时间为888个月。
讨论
本文研究了在存在潜在混杂因素的时间序列数据中,如何利用张量秩条件进行结构识别。Chen(2024)及Chen等人之前的研究探讨了静态离散潜在变量模型中的张量秩条件。而我们的研究在基础模型和识别任务两方面都与之前的工作有显著差异。具体而言,我们研究的是时间序列的离散潜在结构因果模型,其中的观测变量存在时间依赖性,且存在因果关系
结论
我们提出了基于张量秩的时序因果发现框架(TRTCD),该框架能够有效地从时间序列数据中识别潜在混杂因素结构以及观测变量间的因果结构。我们建立了时间序列因果图中的张量秩条件与d-分离模式之间的关联,从而提供了一种可验证且稳健的方法,用于在存在潜在混杂因素的情况下揭示因果关系。我们的理论成果和算法为
关于写作过程中生成式AI和AI辅助技术的声明
声明:在撰写本论文的过程中,作者使用了ChatGPT来优化手稿的语言和语法表达,具体来说是调整用词和句子结构,以提高文本的简洁性和准确性。使用该工具后,作者对内容进行了必要的审阅和修改,并对论文的内容承担全部责任。
CRediT作者贡献说明
郑明陈:撰写——审阅与编辑,撰写——初稿。孙广东:撰写——初稿,可视化,软件相关工作。王福红:撰写——审阅与编辑,撰写——初稿。夏跃伟:撰写——审阅与编辑,撰写——初稿。蔡瑞初:撰写——审阅与编辑,撰写——初稿。郝志峰:撰写——审阅与编辑,撰写——初稿。
利益冲突声明
作者声明,他们不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。
致谢
本研究得到了中国国家重点研发计划(2025YFC3410000,2025YFC3410003)、国家自然科学基金(62476163,6244100778,U24A20233)、广东省自然科学基金(23201910250000514,2614050003250)的支持。ZH还感谢沈阳师范大学科学研究启动基金的资助,项目编号为NTF25024T。
Zhengming Chen|Guangdong Sun|Fuhong Wang|Yewei Xia|Ruichu Cai|Zhifeng Hao