DKC:基于数据与知识的因果发现方法及其在医疗健康数据中的应用
《Knowledge-Based Systems》:DKC: Data-driven and Knowledge-guided Causal Discovery with Application to Healthcare Data
【字体:
大
中
小
】
时间:2026年01月24日
来源:Knowledge-Based Systems 8.0
编辑推荐:
乌兹玛·哈桑|穆德·奥斯曼·加尼
马里兰大学巴尔的摩县信息系统系因果人工智能实验室,美国马里兰州巴尔的摩市希尔托普环岛1000号,邮编21250
摘要
在无法进行随机实验的领域中,高效的因果发现对于构建可靠的因果图至关重要,这类因果图能够提供有价值的洞察。本研究提出
乌兹玛·哈桑|穆德·奥斯曼·加尼
马里兰大学巴尔的摩县信息系统系因果人工智能实验室,美国马里兰州巴尔的摩市希尔托普环岛1000号,邮编21250
摘要
在无法进行随机实验的领域中,高效的因果发现对于构建可靠的因果图至关重要,这类因果图能够提供有价值的洞察。本研究提出了DKC这一新型因果发现算法,它结合观测数据与先验知识,有助于在医疗保健等复杂领域中可靠地学习因果图,从而为决策提供支持。传统的因果发现方法往往仅依赖观测数据,当数据集存在噪声、规模有限或因果关系较为复杂时,这些方法的效率会大打折扣。此外,现有方法很少以灵活的方式融入先验知识,这限制了它们在现实场景中的应用。DKC通过一种定制的评分标准,有效将因果先验纳入发现过程,该标准能够同时处理硬约束和软约束,从而解决了上述问题。该框架分为三个阶段:(1)估算变量的拓扑排序;(2)根据概率对候选边进行排序;(3)利用所提出的评分标准进行受限因果搜索,以平衡模型拟合度、复杂度与先验知识。我们给出了理论保证,证明该评分标准具有统计一致性,且随着样本量增加,其结果会趋近于真实的因果结构。在各种规模的合成数据集以及真实的医疗保健数据上的大量实验表明,DKC在结构准确性和稳健性方面均优于现有的先进方法。通过将数据驱动的洞察与先验知识相结合,DKC为不同领域的因果推断提供了可靠的依据。其在临床问题中的应用展现了其在指导关键决策方面的潜力,而其通用框架则确保了它在任何需要基于可靠知识进行因果推理的领域中的广泛应用。
引言
因果关系是科学推理的核心,它使我们能够超越相关性,揭示变量之间相互影响的机制[1]。因果发现作为因果关系的核心内容,旨在识别系统中变量之间的因果关系[2][3]。在许多领域中,因果发现提供了一种数据驱动的方法,能够帮助人们获得可直接用于决策的洞察。与相关性不同,因果发现能够揭示出因果图,通常为有向无环图(DAG),用以展示一个变量如何影响另一个变量[4]。这类图表有助于预测干预结果、进行根本原因分析,并在医学、经济学、生物学和社会科学等领域中帮助人们做出明智的决策[5]。例如,在医学领域,因果图可以帮助临床医生权衡氧疗的益处与肺损伤等风险,从而做出更安全、更有效的治疗决策[6]。
从众多推断因果图的方法中,随机对照试验被视为在许多领域确立因果关系的黄金标准。遗憾的是,开展随机对照试验往往不切实际或存在伦理难题[7]。这一障碍使得人们更加关注数据驱动的因果发现方法,这类方法无需依赖控制实验,可直接从观测数据中推断变量间的因果关系。然而,尽管在许多领域中使用观测数据较为可行,但仅基于数据的因果发现仍面临诸多挑战。由于充足的观测数据较为稀缺,数据驱动的因果发现面临着巨大困难[8]。许多因果发现方法需要大量数据才能准确推断因果关系,但实际上,样本量n往往较小,且数据集可能存在噪声或信息不全。那些严重依赖条件独立性检验的传统方法,在样本量较小时尤其容易得出错误的独立性结论。此外,较小的样本量还会显著增加假阳性和假阴性的出现概率,进而降低所得因果图G的可靠性[9]。因此,现有方法往往难以在过度拟合稀疏数据与欠拟合可能较为复杂的因果结构之间找到平衡[10],这就迫切需要更为稳健的技术,能够在数据有限的情况下高效地学习出因果图G。
引入先验的因果知识,如已知的或被禁止的边,能够显著提升因果发现的性能,尤其是在数据有限的情况下[11][12]。这类知识通过缩小搜索空间[13][14],引导算法朝向更合理的结构发展,从而提高准确性并降低复杂性。它还有助于避免过拟合,而在数据稀少且仅依靠数据驱动的方法可能无法识别出可靠因果关系的情况下,这一点尤为重要。然而,大多数现有方法缺乏系统化的方式来整合各类知识,如已知的边(例如X→Y)、排除规则、未确定的链接或时间顺序等。基于约束的方法往往无法纳入领域特定的规则,且在有限样本下容易出现虚假的独立性结论[15]。基于评分的方法则依赖于固定的评分函数,难以体现专家意见等定性知识。这种缺乏统一且灵活的框架,限制了现有方法在需要先验知识的现实场景中的应用。此外,大多数现有方法也无法有效利用软约束,或在一个统一的框架内同时处理硬约束和软约束。这一缺陷凸显出需要更具适应性的因果发现算法,这类算法能够有效地整合并利用各类知识,以提高推理的可靠性。
显然,我们需要能够同时处理观测数据D和先验知识K的方法。为此,为克服上述挑战,我们提出了一种全新的因果发现方法DKC,它能有效地兼顾数据和知识。DKC的主要优势在于,它能够在统一的框架内,通过硬约束和软约束两种方式来处理先验知识。DKC在边层面整合先验知识,使得硬约束和软约束都能轻松被纳入。该方法的核心是一个专门的评分函数SBKD,它能够平衡对数据遵循程度和先验知识的尊重。SBKD通过对传统贝叶斯信息准则(BIC)[16]进行修改,加入了针对先验知识违反情况的惩罚项,从而使算法能够处理估计出的图表中的不一致之处。DKC首先对变量进行拓扑排序[17],这一排序结果会在后续步骤中用于指导因果图的构建。该排序对于确定变量间边的方向至关重要。随后,该方法通过基于概率的边排序流程,根据边对整体结构的影响概率对候选边进行排序。最后,通过一系列由所提出的评分函数支持的边添加和删除操作,最终得到最终的因果图。我们还为该方法提供了一致性方面的理论保证,确保随着样本量增加,所发现的因果结构会趋近于真实的关系。在各种规模的网络合成数据集以及涉及重症监护室氧疗的真实医疗案例上的大量实验,都证明了该方法的有效性。通过一系列实验,该方法在先验知识起重要作用的场景中,表现出了优于现有先进方法的性能。我们还进行了消融研究,逐一分析DKC中排序、排序和惩罚评分各组成部分的贡献,结果表明它们对于实现先进的性能都是不可或缺的。
虽然此前已有方法尝试融入先验知识,但这些方法通常要么将知识作为严格的规则,要么作为外部过滤器,要么置于专门的框架之中,而这些框架无法提供一个统一的、基于评分的目标函数,来同时处理必须严格遵循的硬约束和可被忽略的软约束。在现实应用中,先验知识的确定性往往并不统一。有些关系是明确已知的(例如时间或物理上的不可能性),绝不能被违反,而另一些关系则可能不完整、受具体情境影响或存在噪声。DKC通过将这两种类型的约束直接嵌入模型选择的目标函数中,解决了这一问题,它能够让算法严格遵循某些已确定的知识,同时在数据与之强烈矛盾时允许忽略那些不确定性较高的知识。因此,DKC采用了一个统一的因果发现框架,该框架能够同时支持硬约束和软约束,同时也能在没有任何先验知识的情况下,即在没有先验信息的纯数据驱动场景中,依然能够进行因果发现。DKC的独特之处在于它能够平衡约束处理与数据驱动的发现过程,这使得它在生物学、医学、气候科学和社会科学等领域具有特别的价值,因为在这些领域中,专家知识对于准确的因果推断至关重要。我们的主要贡献如下:
• 我们提出了一种高效实用的算法DKC,可用于在现实场景中识别因果图,该算法能够充分利用观测数据与先验知识,有效整合人类反馈信息。DKC不仅在方法论上具有合理性,而且在现实世界的因果发现任务中也极具实用价值,因为在这些任务中,观测数据可能较为有限,同时还需要系统地整合可靠性不同的领域知识,以支持做出可靠的决策。
• DKC的独特优势在于它能够利用所提出的SBKD评分函数,同时处理硬约束和软约束,从而平衡边的概率与对现有知识的遵循程度。DKC采用了一个统一的因果发现框架,能够同时支持这两类约束,同时也能在没有任何先验知识的情况下进行因果发现。我们还为该评分函数提供了理论保证,证明其一致性会随着样本量的增加而保持。
• 通过在多种合成数据集以及真实的医疗数据上的大量实验,我们证明了我们的方法在为关键决策提供准确、可靠的因果结构方面,始终优于现有的先进方法。我们还通过系统地移除DKC中的各个组成部分(排序、排序和惩罚评分),进行了消融研究,以展示它们各自对性能的贡献。
章节节选
初步知识
因果发现
推断系统中变量之间潜在因果关系的过程被称为因果发现。给定一组变量X={X1,X2,?,Xn},因果发现的目标是确定一个因果图G=(V,E),其中V代表对应于变量X1,X2,?,Xn的节点,E代表节点之间的有向边,从Xi到Xj的边(记为Xi→Xj)表示Xi是Xj的直接原因。
拓扑排序
拓扑排序……
相关工作
传统的数据驱动因果发现方法包括基于约束的方法(如PC [19]),这类方法通过检测变量之间的条件独立性来识别因果结构。而基于评分的方法(如GES [20])则通过评分函数来评估候选因果图,选出与数据最匹配的那个。混合方法则结合条件独立性检验来构建骨架图,从而大幅缩小搜索空间。
方法论
本节介绍了我们的DKC算法的步骤,该算法旨在构建一个既符合观测数据要求,又满足知识约束(如果有的话)的因果图。整个过程分为三个关键阶段:1)根据拓扑排序过滤候选边;2)根据概率对边进行排序;3)通过迭代的评分过程形成因果图。每一个阶段对于确保高效、准确地恢复因果结构都至关重要。
实验
我们进行了全面的评估,以验证所提出的DKC方法的有效性。具体而言,我们研究了硬约束和软约束的影响,以及在没有约束的情况下使用三种类型的边(有向边、禁止边和未确定边)的效果。通过将估计出的图表与相应的真实图表GT进行比较,来评估每个实验的性能。为了区分不同的实验,我们将没有约束的实验进行了标记。
讨论
在本研究中,我们提出了DKC,该方法通过整合数据驱动的洞察与用户定义的知识约束,解决了因果发现中的传统难题。我们工作的意义在于提出了BKD评分函数,该函数能够在平衡模型拟合度和复杂度的同时,对先验知识违反情况加以惩罚,从而实现对硬约束和软约束的灵活处理。在同一个框架内,DKC既能严格遵循那些已经明确确立的知识,又能灵活地纳入那些尚不确定的专家意见。
未引用图表
表6、表7。
CRediT作者贡献声明
乌兹玛·哈桑:写作——审阅与编辑,写作——初稿撰写,验证,软件开发,方法论,研究实施,概念构思。穆德·奥斯曼·加尼:写作——审阅与编辑,监督,方法论,资金获取,概念构思。
利益冲突声明
作者声明,他们不存在任何可能影响本文所述工作的已知财务利益或个人关系。
致谢
本研究部分得到了美国国家科学基金会(NSF Award 2118285)的支持。本研究所表达的观点不一定反映国家科学基金会的政策,也不应视为得到了联邦政府的认可。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号