Dual-debias:一种用于因果鲁棒事实验证(fact-checking)的反事实推断框架

《Neurocomputing》:Dual-debias: A counterfactual inference framework for causally robust fact-checking

【字体: 大 中 小 】 时间:2026年05月19日 来源:Neurocomputing 6.5

编辑推荐:

  社交媒体上错误信息的快速传播引发了人们对信息可信度和公众信任的重大担忧。因此,事实验证(fact-checking)旨在基于证据核实声明真伪,已成为自动错误信息和数据分析的一项重要任务。然而,大多数现有的事实验证模型严重依赖声明-证据与真实性标签之间的虚假关联

  
社交媒体上错误信息的快速传播引发了人们对信息可信度和公众信任的重大担忧。因此,事实验证(fact-checking)旨在基于证据核实声明真伪,已成为自动错误信息和数据分析的一项重要任务。然而,大多数现有的事实验证模型严重依赖声明-证据与真实性标签之间的虚假关联,而非真正的因果推理。研究人员实证分析揭示,当前的事实验证数据集包含大量的分布偏差(distributional bias),其中话题或关键词等表面特征与特定的真实性标签虚假相关,导致模型准确率虚高。为解决此问题,研究人员将事实验证重新表述为一个反事实推断问题,从而能够估计声明、证据与真实性标签之间的因果效应。基于此视角,研究人员提出Dual-Debias,一种新颖的反事实推理框架,其引入了带有基于Jensen-Shannon散度(Jensen-Shannon divergence)的动态约束的双分支架构,以自适应地减轻偏差,同时保留因果信息。研究人员在四个数据集上进行了广泛实验,包括PolitiHop、symmetric-PolitiHop、CHEF和研究人员新构建的symmetric-CHEF,涵盖英文和中文。其中对称数据集作为反事实基准,通过平衡分布偏差并消除声明内容与真实性标签之间的虚假相关性构建而成。实验结果表明,Dual-Debias在跨数据集和语言中始终优于现有基线,在分布偏移下实现了卓越的鲁棒性、泛化性和可解释性。
论文解读:Dual-debias——面向因果鲁棒事实验证的反事实推断框架
随着互联网和社交媒体平台使得信息的快速传播成为可能,误导性和未经验证的内容以前所未有的规模扩散。这种错误信息的加速流动引发了对信息可信度和公众信任的严重关切,对社会话语和社会稳定构成了重大风险。因此,确定给定声明为真、假或无法核实的事实验证(fact-checking)任务引起了研究人员的广泛关注。传统的事实验证方法主要依赖声明本身的文本内容来推断其真实性,然而声明的真实性既非静态也非自包含的,在现实场景中会随着新信息的出现而改变,且不考虑外部证据便无法可靠评估。后续研究转向了基于证据的事实验证,即检索或标注外部文档以支持核实,这使得基于支持或反驳信息存在性的评估过程更为现实。然而,无论是仅使用声明还是基于证据的模型,在观测数据集上训练时都无法解决混杂因素(confounding factors)问题。数据集中存在诸如关键词、话题或领域特定线索等混杂因素,它们共同影响声明文本及其标签分布,导致模型学习虚假关联而非反映真实的因果关系。研究人员对共现概率的分析表明,在PolitiHop数据集中,包含关键词“White House”的声明有97%的概率被标记为SUPPORTS,而在CHEF数据集中,66%的健康相关声明被标记为REFUTES。这类偏差导致模型基于关键词或话题学习捷径,而非捕捉真正的因果效应。这些观察表明,即便是基于证据的事实验证模型仍易受分布偏差影响,因其缺乏从混杂因素诱导的相关性中解缠真正证据效应的机制。现有事实验证方法的一个根本局限性在于:无论是否使用证据,在观测数据上训练的模型都无法解缠声明和证据的因果效应与混杂因素引入的虚假相关性。若无反事实推理,则无法确定在保持其他因素固定时对声明或证据进行干预时预测的真实性是否会改变。这些挑战凸显了对事实验证进行因果基础表述的需求。植根于结构因果模型(Structural Causal Models, SCMs)的反事实推断提供了一种将因果效应与虚假相关性分离的原则性方法。反事实询问在特定变量上进行假设干预而其他背景因素保持不变时结果将如何变化。通过比较原始声明-证据对的事实预测与在声明或证据上进行干预时的对应预测,可以将模型输出分解为各组件的独立影响,并识别混杂因素引入的偏差。受此启发,研究人员将事实验证重新表述为反事实推断问题,并提出了Dual-Debias框架。该研究揭示了现有基于证据的事实验证数据集中存在实质分布偏差,将事实验证重构为反事实推断视角,提出了带有双偏差分支和基于Jensen-Shannon散度的动态约束机制的Dual-Debias,并构建了symmetric-CHEF以及在英汉基准上广泛实验证明了其在鲁棒性和泛化性上的优越性。论文发表在《Neurocomputing》。
研究人员开展研究用到的几个主要关键技术方法包括:基于结构因果模型(SCM)的反事实推断范式,设立事实设定(评估原始声明–证据对)、声明干预设定(修改声明并固定证据以估计声明诱导偏差)和证据干预设定(修改证据并固定声明以估计证据诱导偏差);Dual-Debias框架由事实验证基础模块(Fact-checking Base Module)、对应声明干预和证据干预的偏差分支模块(Bias Branch Modules)、基于Jensen-Shannon散度的动态约束机制(Dynamic Constraint Mechanism)以及因果效应估计模块(Causal Effect Estimation Module)组成;使用PolitiHop、symmetric-PolitiHop、CHEF和新建的symmetric-CHEF(涵盖英文和中文)作为实验样本队列,其中对称数据集通过对声明-证据对进行扰动以平衡标签分布并消除声明内容与真实性标签间的虚假相关性。
研究背景与问题提出
研究人员指出,错误信息在社交媒体的快速传播引发信息可信度与公共信任危机,事实验证成为关键任务。传统声明仅模型和基于证据的模型均受数据集中的混杂因素(如关键词、话题等)影响,学习到声明-证据与标签间的虚假关联,导致准确率虚高且泛化性差。现有模型无法解缠因果效应与虚假相关,缺乏反事实推理机制,亟需因果基础的事实验证表述与去偏框架。
方法(Methodology)
研究人员提出Dual-Debias框架,将事实验证重构为反事实推断问题。框架包含:事实验证基础模块建模观测事实预测;双偏差分支分别在声明干预和证据干预设定下估计对应偏差;动态约束机制利用Jensen-Shannon散度正则化事实与反事实输出的关系,避免不稳定或平凡的偏差估计;因果效应估计模块集成组件,从事实预测中移除已识别偏差,得到去偏且更具可解释性的真实性估计。通过对比事实与反事实设定下的预测,分解输出为因果效应与混杂偏差成分。
实验(Experiments)
研究人员在PolitiHop、symmetric-PolitiHop、CHEF、symmetric-CHEF四个数据集(覆盖英文与中文)上开展实验,试图回答:方法在标准基于证据事实验证基准上的表现;在旨在移除分布捷径的无偏(对称)设定下是否仍具优势;各单独模块对最终性能的贡献;模型对关键超参数的敏感性。实验结果显示,Dual-Debias在跨数据集与语言中一致优于现有基线,在分布偏移下具备更优鲁棒性、泛化性与因果可解释性。
结论(Conclusion)
研究人员总结,Dual-Debias是一种因果基础、用于基于证据事实验证的框架,通过反事实推断减轻声明与真实性标签间的分布偏差。其将事实验证重构为反事实推断问题,借助事实验证基础模块、反事实偏差分支以及动态约束机制(自适应对齐分布)解缠真正因果关系与虚假相关性。该方法在英文与中文基准上均表现出色,提升了鲁棒性、泛化性与可解释性。
讨论(总结)
研究人员强调,现有事实验证模型多依赖虚假关联而非因果推理,数据集存在由表层词汇与话题模式引起的分布偏差。通过因果视角的反事实推断,可分离声明与证据的因果效应并识别混杂偏差。Dual-Debias以双分支架构与动态约束实现自适应去偏,配合新建对称中文数据集symmetric-CHEF及多基准实验验证,证明其能有效提升模型在分布偏移下的稳健性与泛化能力,并为可解释、因果一致的事实验证提供可行路径。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号