DAG-KAN:基于柯尔莫哥洛夫 - 阿诺德网络的因果发现

《Knowledge-Based Systems》:DAG-KAN: Causal discovery via Kolmogorov–Arnold network

【字体: 大 中 小 】 时间:2026年09月23日 来源:Knowledge-Based Systems 8.0

编辑推荐:

   # 摘要 被动观测数据中的因果关系发现对建模复杂系统和推动数据驱动的决策起着关键作用。现有的连续优化方法在准确性方面取得了显著进展,但仍面临两个主要限制:第一,它们只能识别变量之间因果关系的存在,而无法揭示因果变量之间的交互模式。第二,在处理加性模型,特别是在高维场景中时,

  

# 摘要

被动观测数据中的因果关系发现对建模复杂系统和推动数据驱动的决策起着关键作用。现有的连续优化方法在准确性方面取得了显著进展,但仍面临两个主要限制:第一,它们只能识别变量之间因果关系的存在,而无法揭示因果变量之间的交互模式。第二,在处理加性模型,特别是在高维场景中时,其有效性会显著降低。为了解决这些挑战,我们提出了DAG-KAN方法。与传统方法不同,DAG-KAN实现了有向无环图和有因函数映射的联合学习,其中学习到的映射提供了因果关系的数学透明表示。我们在多个合成数据集和一个真实数据集上评估了DAG-KAN方法,证明了其联合学习有向无环图和因果映射的能力,同时提高了因果结构推断的准确性,特别是在高维复杂场景中。该方法不仅确保了准确性,还突破了传统限制,通过揭示因果交互模式提供了增强的可解释性。

# 引言

因果发现旨在从被动观测数据中学习变量之间的因果关系,它广泛应用于生物医学、计量经济学、社会科学和其他许多领域。基于连续优化的一类方法在因果发现领域引起了广泛的研究。基于连续优化的方法将因果发现问题从离散组合问题转化为连续优化问题,在最小化目标函数的极限下返回有向无环图。这种方法采用通用的优化框架,不限于特定的参数模型,并且可以使用通用的黑盒优化方法求解。尽管该方法在因果发现领域取得了令人瞩目的成功,但它仍存在以下两个缺点:

**首先**,基于连续优化的因果发现方法专注于识别变量之间因果关系的存在。虽然多层感知机可以逼近父变量和子变量之间的通用因果关系,但这些因果关系仍然是黑盒化的,无法揭示显式的因果定律。这种显式性使人类能够得出有价值的见解。在精准医疗、政策设计或科学发现中,仅知道某个变量导致另一个变量往往是不够的;必须理解其如何影响才能有效干预。因此,学习因果映射的计算投资不仅是一种技术增强,而是迈向可操作因果知识的必要步骤。例如,理解药物剂量和血压下降值之间的具体函数映射至关重要,如图1所示,盲目地增加超过最优点的剂量可能有害,而这是仅关注结构的方法所看不见的风险。

神经连续优化方法不常规报告显式因果机制的一个原因是,其求解器通过全局耦合参数对每个输出进行编码。虽然这些模型可以逼近非线性因果关系,但其参数化并不能直接为每个候选父子对提供单独的、数学透明的函数。DAG-KAN旨在在加性模型假设下提供这种边级映射。这些映射仍然是模型依赖的估计,并不声称在函数级真值下是真正的支配定律。

**其次**,在处理加性结构方程模型,特别是在高维环境中时,基于连续优化的因果发现方法的准确性大大降低。

为了解决上述挑战,我们提出了通过Kolmogorov-Arnold网络学习有向无环图的方法。DAG-KAN旨在实现因果映射和有向无环图的联合学习。有向无环图揭示了变量之间的因果存在性,而因果映射揭示了因果变量之间的作用规律,这对于支持人类决策非常重要。具体而言,实施DAG-KAN存在以下挑战:(1)如何为因果发现构建合适的KAN结构,该KAN结构可以使用哪些参数模型来发现因果关系,以及为什么该KAN结构能够实现因果映射和有向无环图的联合学习。(2)如何将基于连续优化的因果发现算法调整为纳入KAN求解器。为此,我们提出了两个相应的想法:(1)构建一个用于显式函数学习的轻量级KAN模块,该模块只有一层可学习的激活函数。该KAN模块能够迅速在加性模型中发现因果关系。从优化的角度来看,阐明了KAN在最小化目标函数的过程中同时学习有向无环图和因果映射。(2)将KAN求解器纳入基于连续优化的因果发现算法所需的调整包括两个核心组件:KAN的节点独立性矩阵的构建,以及KAN的L1正则化的推导。

提高因果发现的准确性是必要的,但本研究旨在将因果发现的焦点从准确性转移到因果映射。这使我们要解决的因果发现问题在实际应用中更具相关性和价值。如前所述,因果映射是因果发现的重要组成部分。DAG-KAN的引入将为生物医学、金融和社交媒体等领域的因果发现和因果映射探索提供新工具。此外,从理论上讲,显式的因果函数对于反事实推理是不可或缺的。它们通过应用因果机制来解决分布偏差,这些因果机制在数据分布内保持独立变量中的恒定属性。选择合适的因果机制以确保所产生的反事实推断在特定领域内具有可信度。在实验部分,本文对模拟加性模型进行了广泛的实验,并在真实数据集上进行了实验。实验验证了DAG-KAN的优越性能。作为一种基于连续优化的因果发现方法,DAG-KAN在多个方面优于最先进的方法。

总体而言,我们的贡献可以总结如下:

- 本文提出了一种基于KAN的创新连续优化因果发现方法。它旨在联合学习有向无环图和因果映射,以揭示深层因果关系。
- 本文开发了一种轻量级KAN架构作为求解器,具有KAN的条件独立性矩阵表示和有效的正则化方法。前者确保计算效率,后者保证结果的无环性和准确性。
- 本文对合成数据集和公开的Sachs数据集进行了全面评估,验证了该方法在联合学习有向无环图和因果映射方面的有效性。它在有向无环图学习方面优于其他基线方法,特别是在高维和复杂场景中。

# 小节片段

## 因果发现

因果发现已成为从观测数据中发现潜在因果结构的重要方法,应用范围涵盖神经科学、经济学和流行病学。当前方法大致可分为基于约束的方法、基于评分的方法、基于功能因果模型的方法和基于连续优化的方法。

基于约束的算法依赖于条件独立性检验。Peter-Clark算法的基本思想是……

## 预备知识

因果发现旨在从观测数据中发现因果关系。观测数据通常被建模为结构方程模型。有向无环图记为,其中和分别表示有向无环图中的顶点集和有向边集。有向无环图精确地编码了观测数据集中变量之间的因果关系。设是一个d维随机向,同时表示n个独立同分布样本。

# 方法论

在本节中,我们实现了通过Kolmogorov-Arnold网络学习有向无环图的方法。图2显示了DAG-KAN方法框架的概述,其中我们使用KAN作为求解器来优化问题,旨在从观测数据中联合学习有向无环图和因果映射。在4.1节中,我们构建了一个轻量级KAN模块用于显式函数学习。在4.2节中,我们计算DAG-KAN的节点独立性矩阵。在4.3节中,我们对L1正则化进行了新的设计。

# 实验

本文的实验部分有三个主要目的:首先,验证DAG-KAN联合学习有向无环图和因果映射的能力;其次,比较DAG-KAN与其他基线方法在有向无环图结构学习中的表现;第三,分析DAG-KAN中的参数敏感性。DAG-KAN在GPU上运行。所有其他算法(除DAG-KAN和DAGMA外)都在CPU上运行。

# 结论

本文提出了一种基于KAN学习有向无环图和因果映射的方法,称为DAG-KAN,该方法关注两个问题:(1)传统的因果发现方法只能发现因果关系的存在,而忽视了因果关系之间作用规律的重要性。(2)基于连续优化的因果发现方法在加性模型上的表现与其他方法存在较大差距。关键技术问题是结构设计。

# CRediT作者贡献声明

马一鸣:撰写——原始草稿,数据整理,概念化。张航:调查,数据整理。陈志浩:方法学,调查,形式分析。刘凯悦:调查,数据整理。李轩:撰写——审阅与编辑,项目管理。刘丽华:撰写——审阅与编辑,验证,监督,方法学。

# 利益冲突声明

作者声明没有已知的可能影响本文报告的竞争性经济利益或个人关系。

# 致谢

本工作得到了中国国家自然科学基金青年项目和中国国家自然科学基金的支持。

马一鸣 | 张航 | 陈志浩 | 刘凯悦 | 李轩 | 刘丽华
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号