重新评估大语言模型在因果发现中的作用：批判性分析、基准评估与探索性框架

《Pattern Recognition》：Reassessing the role of LLMs in causal discovery: Critical analysis, benchmark evaluation, and exploratory framework

　　

•挑战了基于 LLM 的因果发现方法的可靠性。
•展示了 LLM 在因果推理中的内在局限性。
•揭示了通过提示工程造成的实验结果虚增。
•为 LLM 在因果发现中的使用确立了原则性边界。
•引入了不损害理论的 LLM 引导搜索。

引言
因果发现旨在从观测数据中揭示潜在的因果关系。传统因果发现算法（CDAs）通过系统地利用条件独立性检验、优化技术或功能因果模型来构建因果结构。这些方法整合了图模型、信息论和结构因果建模的理论原理，以确保因果发现的可解释性并维持理论保证 [1]。最近，大语言模型（LLMs）作为一种潜在的替代方案出现在因果发现领域 [2], [3]。许多研究探索了 LLM 在该领域的应用，利用其语言知识和常识推理来识别因果关系。这些努力引发了极大的兴趣，特别是在调查 LLM 是否有助于从文本和结构化数据中识别因果关系方面。

LLM 在因果发现方面取得了显著的性能，特别是在从文本中识别成对因果关系方面 [4], [5]。现有研究利用了变量信息 [6] 和背景知识 [7] 来增强 LLM 识别因果关系的能力。这些研究不仅突出了 LLM 在识别成对因果关系方面的优势，还探索了将 LLM 与传统 CDAs 相结合的混合方法以增强性能 [8]。例如，研究人员利用 LLM 来初始化因果结构 [9] 或优化 CDA 生成的图 [10]。大多数研究表明结果很有希望，表明 LLM 在因果发现方面具有巨大潜力。然而，这些工作主要集中在经验评估上，留下了关于 LLM 是否真正拥有因果推理能力的问题未解。一些研究人员提出担忧，认为 LLM 可能在复杂的因果任务上感到困难 [7]，并且容易产生幻觉的因果关系，即在没有因果关系的地方分配因果性 [11]。鉴于 LLM 的不稳定性，已经提出了几种缓解策略。这些包括提供观测数据 [12]、将 LLM 用作条件独立性检验算子 [13]，以及将 LLM 生成的因果判断作为先验纳入经典评分函数中 [5]。虽然这些改进声称在一定程度上提高了可靠性，但它们并没有完全解决 LLM 在因果发现中的根本局限性。

与大多数现有研究不同，我们认为 LLM 在因果发现任务中的作用是有限的。通过以下批判性和补偿性视角，我们明确定义了当前通用 LLM 在因果发现中适用功能的范围：
1. 批判性视角：通用 LLM 无法识别因果关系，其输出不应直接或间接决定因果关系的存在或方向性。这包括：
•直接结果确定：LLM 不应独立得出结论是否存在因果关系（第 3 节 LLM 在识别文本数据因果关系中的局限性，第 4 节 LLM 在识别观测数据因果关系中的局限性）。
•对结果的间接影响：由 LLM 识别的因果关系不应作为“先验知识”嵌入到 CDAs 的决策过程中，无论是作为硬约束还是软惩罚（第 5 节）。
2. 补偿性视角：在不影响因果决策的情况下，LLM 可以通过改进因果图的搜索过程来协助 CDAs，从而加速向最优因果结构的收敛（第 6 节）。

为此，本文从两个批判性视角调查了 LLM 在因果发现中的局限性：（i）LLM 推断因果关系的内在局限性，以及（ii）它们与经典 CDAs 集成时产生的挑战。如图 1 所示，第 3 节和第 4 节首先解释了基于词序的现有预训练范式如何本质上不同于结构因果模型中的概率分解 [14]，导致缺乏因果推理的理论基础。通过一系列基准评估，我们系统地分析了几个关键因素（如词序、冗余、实体定位和数值精度）对 LLM 因果推断的影响。实证研究表明，LLM 性能对提示设计和文本质量高度敏感，仅仅提供观测数据并不能保证可靠性的提高。除非因果关系被异常清晰地陈述且噪音极小，否则 LLM 通常无法得出一致或正确的结论。鉴于这些可靠性担忧，第 5 节进一步调查了 LLM 与传统 CDAs 之间的相互作用，分析了不同的协作范式及其局限性。我们重点关注如何在 CDAs 中使用 LLM 衍生的因果关系作为（硬/软）先验知识 [5] 如何损害算法可靠性和理论保证，无论该方法是基于评分还是基于约束的。此外，在第 7 节中，我们证明了基于 LLM 的方法的性能可以通过提示工程人为虚增，例如通过向输入中注入真值。

基于这些分析，我们主张明确界定 LLM 在因果发现中的功能边界：LLM 不应决定因果关系的存在或方向性，但可以作为辅助智能体指导因果图搜索过程。第 6 节引入了一种新范式，其中 LLM 协助启发式搜索，例如通过初始化、变异指导或循环解决，同时保留理论健全 CDAs 的决策权。通过以非决策角色利用 LLM 的一般世界知识，1 该框架有助于 CDAs 逃离局部最优并更快地收敛到全局最优结构。至关重要的是，因果结构的评估仍然基于通过既定的评分函数或独立性检验对观测数据进行统计分析，这与现有的基于 LLM 的因果发现方法根本不同。在不同网络规模上的综合实验证实，当 LLM 被适当限制在辅助角色时，与传统 CDAs 和现有基于 LLM 的方法相比，它们可以显著提高搜索效率和准确性。因此，我们的结果强调了 LLM 作为启发式促进者而非因果推理者在追求可靠因果发现中的价值。

总之，本文对 LLM 在因果发现中的作用进行了批判性的重新评估，挑战了围绕其应用的普遍乐观情绪。我们呼吁研究社区在将 LLM 纳入因果任务时采取更原则和谨慎的态度，确保经验便利性不以认识论健全性为代价。前进的道路不在于夸大未修改的通用 LLM 的推理能力；相反，基于 LLM 的因果发现的未来取决于重新思考模型设计和训练目标，以符合因果性的结构和统计原理。

章节片段
基于 LLM 的因果发现特征
因果发现是因果推断的一项基本任务，旨在从观测数据中揭示因果关系，传统方法如基于约束和基于评分的方法 [15] 依赖于统计和数学框架。LLM 的最新进展带来了新的机会，因为基于 LLM 的方法利用语言知识、常识和领域见解来补充传统技术。现有方法总结在表 1 和表 2 中。
LLM 预训练和因果建模之间的关键区别在于概率是如何分解的。对于自回归 LLM，序列 x=(x1,…,xT) 根据词序链式法则建模：P(x)=∏t=1TP(xt|x
llm 在识别观测数据因果关系中的局限性
llm 从文本信息中推断出的因果关系往往受到文本数据固有的主观性、歧义性和不完整性的影响。作为回应，最近的研究探索了直接使用 llm 分析观测数据进行因果发现 [12], [24]。与文本信息不同，观测数据提供了对现实世界现象的客观和详细记录，提供了更丰富和准确的信息。通过允许 llm 分析观测数据，它

将 llm 与 cdas 集成的风险
由于从文本和观测数据中衍生出的 llm 因果关系不可靠，最近的研究开始探索 llm 与传统 cdas 的集成 [8], [28]。本节将讨论 llm 与这些 cdas 相互作用中出现的问题。在第 2 节中，我们讨论了 llm 可以与 cdas 集成的四种方式。第二种方法，将 llm 视为后验，实质上将决策过程置于...的控制之下

功能边界图示
尽管 llm 在可靠识别因果关系方面存在局限性，但这并不意味着它们在因果发现任务中完全无用。通过对海量文本数据的广泛预训练，llm 积累了大量的世界知识，涵盖各种特定领域的概念、事实和关系。这些广泛的知识可以通过促进更高效地探索因果结构，为因果发现提供直观指导。然而，它们的作用必须被严格

实验结果的可操控性
实际上，表 1 和表 2 中列出的大多数研究支持 llm 在因果发现中的应用。这些研究通常从小规模网络（节点数少于 100）的经验研究角度证明他们的观点，并指出 llm 可以提供相对精确的因果关系识别 [4], [16], [42]。一些研究也支持 llm 与传统 cda 的协作，并声称即使 llm 产生错误结果，

结论：向社区发出呼吁
本文挑战了使用 llm 进行因果发现的普遍热情，揭示了它们在识别因果关系能力上的根本局限性以及将它们集成到 cdas 中的风险。然而，我们的批评并没有完全否定 llm。我们提出 llm 在因果结构搜索中作为启发式指南的谨慎、保理论的角色。基于讨论，我们向社区发出呼吁：
1. 谨慎使用基于 llm 的因果发现方法：

credit 作者贡献声明
吴星宇：写作 – 审阅与编辑，写作 – 初稿，方法论，调查，形式分析，概念化。余魁：写作 – 审阅与编辑，验证，形式分析。吴继彬：写作 – 审阅与编辑，验证，监督，资金获取。陈凯：写作 – 审阅与编辑，验证，监督，资源，项目管理，资金获取。

利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：陈凯报告获得了香港研究资助局的财务支持。如果有其他作者，他们声明没有已知的可能影响本论文报告工作的竞争性财务利益或个人关系。

吴星宇 | 余魁 | 吴继彬 | 陈凯 token 依赖于序列中所有 preceding tokens。相比之下，结构因果模型根据因果图分解联合分布：p(x1,…,xn)=∏i=1nP(Xi|pa(Xi))，其中 pa(xi) 表示 xi 的直接原因（父节点）。尽管两者 llm 在识别观测数据因果关系中的局限性 llm 从文本信息中推断出的因果关系往往受到文本数据固有的主观性、歧义性和不完整性的影响。作为回应，最近的研究探索了直接使用 llm 分析观测数据进行因果发现 [12], [24]。与文本信息不同，观测数据提供了对现实世界现象的客观和详细记录，提供了更丰富和准确的信息。通过允许 llm 分析观测数据，它 将 llm 与 cdas 集成的风险 由于从文本和观测数据中衍生出的 llm 因果关系不可靠，最近的研究开始探索 llm 与传统 cdas 的集成 [8], [28]。本节将讨论 llm 与这些 cdas 相互作用中出现的问题。在第 2 节中，我们讨论了 llm 可以与 cdas 集成的四种方式。第二种方法，将 llm 视为后验，实质上将决策过程置于...的控制之下 功能边界图示 尽管 llm 在可靠识别因果关系方面存在局限性，但这并不意味着它们在因果发现任务中完全无用。通过对海量文本数据的广泛预训练，llm 积累了大量的世界知识，涵盖各种特定领域的概念、事实和关系。这些广泛的知识可以通过促进更高效地探索因果结构，为因果发现提供直观指导。然而，它们的作用必须被严格 实验结果的可操控性 实际上，表 1 和表 2 中列出的大多数研究支持 llm 在因果发现中的应用。这些研究通常从小规模网络（节点数少于 100）的经验研究角度证明他们的观点，并指出 llm 可以提供相对精确的因果关系识别 [4], [16], [42]。一些研究也支持 llm 与传统 cda 的协作，并声称即使 llm 产生错误结果， 结论：向社区发出呼吁 本文挑战了使用 llm 进行因果发现的普遍热情，揭示了它们在识别因果关系能力上的根本局限性以及将它们集成到 cdas 中的风险。然而，我们的批评并没有完全否定 llm。我们提出 llm 在因果结构搜索中作为启发式指南的谨慎、保理论的角色。基于讨论，我们向社区发出呼吁： 1. 谨慎使用基于 llm 的因果发现方法： credit 作者贡献声明 吴星宇：写作 – 审阅与编辑，写作 – 初稿，方法论，调查，形式分析，概念化。余魁：写作 – 审阅与编辑，验证，形式分析。吴继彬：写作 – 审阅与编辑，验证，监督，资金获取。陈凯：写作 – 审阅与编辑，验证，监督，资源，项目管理，资金获取。 利益冲突声明 作者声明以下可能被视为潜在利益冲突的财务利益 个人关系：陈凯报告获得了香港研究资助局的财务支持。如果有其他作者，他们声明没有已知的可能影响本论文报告工作的竞争性财务利益或个人关系。 吴星宇 | 余魁 | 吴继彬 |>
llm 在识别观测数据因果关系中的局限性
llm 从文本信息中推断出的因果关系往往受到文本数据固有的主观性、歧义性和不完整性的影响。作为回应，最近的研究探索了直接使用 llm 分析观测数据进行因果发现 [12], [24]。与文本信息不同，观测数据提供了对现实世界现象的客观和详细记录，提供了更丰富和准确的信息。通过允许 llm 分析观测数据，它

将 llm 与 cdas 集成的风险
由于从文本和观测数据中衍生出的 llm 因果关系不可靠，最近的研究开始探索 llm 与传统 cdas 的集成 [8], [28]。本节将讨论 llm 与这些 cdas 相互作用中出现的问题。在第 2 节中，我们讨论了 llm 可以与 cdas 集成的四种方式。第二种方法，将 llm 视为后验，实质上将决策过程置于...的控制之下

功能边界图示
尽管 llm 在可靠识别因果关系方面存在局限性，但这并不意味着它们在因果发现任务中完全无用。通过对海量文本数据的广泛预训练，llm 积累了大量的世界知识，涵盖各种特定领域的概念、事实和关系。这些广泛的知识可以通过促进更高效地探索因果结构，为因果发现提供直观指导。然而，它们的作用必须被严格

实验结果的可操控性
实际上，表 1 和表 2 中列出的大多数研究支持 llm 在因果发现中的应用。这些研究通常从小规模网络（节点数少于 100）的经验研究角度证明他们的观点，并指出 llm 可以提供相对精确的因果关系识别 [4], [16], [42]。一些研究也支持 llm 与传统 cda 的协作，并声称即使 llm 产生错误结果，

结论：向社区发出呼吁
本文挑战了使用 llm 进行因果发现的普遍热情，揭示了它们在识别因果关系能力上的根本局限性以及将它们集成到 cdas 中的风险。然而，我们的批评并没有完全否定 llm。我们提出 llm 在因果结构搜索中作为启发式指南的谨慎、保理论的角色。基于讨论，我们向社区发出呼吁：
1. 谨慎使用基于 llm 的因果发现方法：

credit 作者贡献声明
吴星宇：写作 – 审阅与编辑，写作 – 初稿，方法论，调查，形式分析，概念化。余魁：写作 – 审阅与编辑，验证，形式分析。吴继彬：写作 – 审阅与编辑，验证，监督，资金获取。陈凯：写作 – 审阅与编辑，验证，监督，资源，项目管理，资金获取。

利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：陈凯报告获得了香港研究资助局的财务支持。如果有其他作者，他们声明没有已知的可能影响本论文报告工作的竞争性财务利益或个人关系。

吴星宇 | 余魁 | 吴继彬 | 陈凯>