结构感知因果推理：一种面向大语言模型反事实推理的神经符号框架

《International Journal of Approximate Reasoning》：Structure-Aware Causal Reasoning: A Neurosymbolic Framework for Counterfactual Inference in Large Language Models

　　

• •
  SACR神经符号框架的介绍：我们提出了一种新颖的框架，整合d-分离逻辑和马尔可夫边界扩展，从理论上对因果图进行修剪，确保拓扑一致性并消除基于大语言模型推理的无关噪声。
• •
  MP-CFBench数据集的开发：我们引入了一个高难度基准，包含450个专家验证的因果图，涵盖单路径、双路径和复杂多路径场景，并整合了来自Wikidata和ConceptNet的异质知识。
• •
  复杂推理中的卓越性能：实验结果表明，SACR在纠缠逻辑场景中显著优于最先进的模型，在多路径设置中实现了更高的准确率，同时在稀疏观测下保持高鲁棒性。

引言

大语言模型（LLMs），如GPT-4 [1] 和 Llama3 [2]，已在多个领域展现出卓越的语义理解和推理能力 [3]、[4]、[5]、[6]。然而，实现真正的机器智能仍面临重大障碍：反事实推理——即设想"如果…会怎样"的场景并在假设干预下模拟结果的能力。与标准预测任务不同，反事实推理要求模型超越观察到的相关性，对替代现实进行推理。这种能力对于稳健的决策制定和泛化至关重要。然而，LLMs从根本上缺乏对这些替代现实治理的结构性约束的内在理解。虽然它们擅长处理文本，但难以遵循因果图的拓扑规则，如条件独立性和碰撞点逻辑 [7]。这种错位往往导致逻辑失败和幻觉，特别是在模型必须区分纯统计关联和回答复杂纠缠系统中反事实查询所需的严格干预逻辑时 [8]、[9]。

这种结构性缺陷因当前研究领域的两个系统性局限而加剧。首先，现有的评估基准，如CLADDER [10]，主要局限于浅层或线性因果链。它们未能反映现实反事实场景的复杂性，这些场景以多路径依赖和逻辑模糊性为特征——例如，区分碰撞节点上的合取（"AND"）和析取（"OR"）条件。其次，主流适应方法——无论是通过标准微调 [11] 还是朴素的检索增强生成（RAG）[12]——通常将因果图视为非结构化文本上下文。通过将拓扑信息扁平化为线性序列，这些方法掩盖了将干预机制与虚假关联隔离开来所需的关键约束。因此，当面对竞争性因果路径时，黑盒模型表现出推理不稳定和泛化能力差。为解决这些差异，我们提出双重贡献：一个专为复杂结构推理设计的基准，以及一个强制执行拓扑鲁棒性的神经符号框架。

首先，为了严格评估结构复杂性下的近似推理，我们提出了MP-CFBench（多路径反事实基准），一个包含450个专家验证的因果图数据集，每个图都标注有一组多样化的反事实查询和真实结果。与先前的合成基准不同，MP-CFBench整合了异质知识来源——包括来自Wikidata的现实世界纠缠 [13]、来自ConceptNet的常识关系 [14]，以及专家设计的对抗性结构。它明确编码了多路径竞争和碰撞点逻辑等高阶挑战，为评估结构鲁棒性确立了新标准。

其次，我们提出了SACR（结构感知因果推理），一个专为在黑盒LLMs中强制执行因果一致性的神经符号框架。SACR超越了启发式提示，将正式图论原理整合到推理流程中。具体而言，我们利用马尔可夫边界和d-分离定理，从理论上保证提取最小但因果充分的子图，从而减少LLMs的搜索空间和偶然不确定性。此外，我们引入了结构感知提示机制，将复杂图分解为加权因果路径，并明确解决碰撞节点上的逻辑模糊性。

因此，SACR将LLMs从概率标记预测器转变为能够处理结构纠缠的约束推理器。我们的贡献如下：

• •
  结构复杂性基准测试：我们发布了MP-CFBench，一个包含450个多路径因果图的高难度基准，填补了在非线性和结构复杂推理任务上评估LLMs的空白。
• •
  理论基础框架：我们提出了SACR，利用马尔可夫边界识别和d-分离逻辑来修剪噪声并指导推理，确保数学一致的推理。
• •
  实证有效性：我们提供了全面的实验证据，表明SACR在复杂图上显著优于现有基线，并在开源和专有LLMs（如Llama-3、GPT-4o）上有效泛化。

章节摘要

相关工作

我们的工作位于大语言模型、因果推理和神经符号推理的交叉点。我们回顾了三个关键领域的相关文献：(1)基于LLMs的因果与反事实推理，(2)LLMs中基于图的神经符号推理，以及(3)反事实评估基准。

设计原则

虽然现有数据集通常具有浅层或过度简化的因果结构，但现实世界应用需要对多路径、纠缠和上下文噪声图进行推理。这包括"模糊碰撞点"，其中多条路径汇聚到一个节点（X → Z ← Y），具有函数关系（如AND与OR），要求模型解决潜在机制。我们的数据集旨在通过提供丰富且具有挑战性的基准来弥补这一差距，专为评估基于LLMs的应用而定制。

问题定义

我们在因果图背景下正式定义了使用大语言模型（LLMs）进行结构感知因果推理的问题。具体而言，我们提供了"结构感知"的明确操作定义。

定义（结构感知）：在本工作中，结构感知指的是推理系统明确识别、保持和利用因果图中嵌入的基本拓扑特性的能力——如节点依赖、因果方向性、多路径

实验

在本节中，我们评估所提出的结构感知因果推理（SACR）框架。我们的实验旨在解决四个关键研究问题：

• •
  RQ1（主要性能）：与最先进基线相比，SACR在风格化基准（CLADDER）和现实多路径因果图上的表现如何？
• •
  RQ2（泛化与显著性）：改进是否具有统计显著性，该框架是否在不同LLM架构（开源与闭源）上具有鲁棒性？
• •
  RQ3

案例研究

为了进一步说明我们结构感知反事实推理框架的有效性和行为，我们基于四个代表性因果图提供了详细的案例研究。我们分析了因果结构、使用SACR修剪模块提取的子图，以及单路径（图9、表6）、双路径（图10、表7）和多路径（图11、表8）场景的最终反事实预测。此外，我们提供了失败案例分析（图12、表9）以

结论

本研究解决了LLMs的语义能力与反事实推理所需的严格结构约束之间的关键错位。通过引入MP-CFBench，我们确立了标准模型——无论规模——在将复杂拓扑转换为扁平文本上下文时失败严重，特别是在存在碰撞点和冗余路径等"结构陷阱"的情况下。

我们提出的SACR框架表明，整合正式

局限性与未来工作

虽然我们提出的SACR框架在结构感知反事实推理中展现了强大的实证性能，但仍存在一些局限性。首先，核心组件——包括路径评分和碰撞点分类——依赖于启发式策略，如长度影响加权与基于LLMs的常识提示。虽然这些方法有效且领域通用，但在语义输入模糊或图结构嘈杂的情况下可能缺乏鲁棒性。未来工作可能探索学习路径

未引用图表

图1，图7。

CRediT作者贡献声明

王麦子：写作—原稿，软件，方法学，调查研究，形式分析，数据管理，概念化。张浩西：写作—审阅与编辑，监督，方法学。爱德华·什切日比基：写作—审阅与编辑，监督，概念化。

利益冲突声明

作者声明他们没有已知的可能影响本文所报告工作的竞争财务利益或个人关系。

王麦子|张浩西|爱德华·什切日比基