JusticeFact：用于可解释的多领域错误信息检测的大语言模型驱动的多智能体法庭裁决

《Knowledge-Based Systems》：JusticeFact: LLM-driven multi-agent court adjudication for explainable multi-domain misinformation detection

　　

# 摘要
虚假信息的持续传播凸显了构建可解释且可靠检测框架的必要性。尽管大语言模型（LLM）在语义推理方面表现优异，但它们常常生成连贯却偏离用户输入的"大语言模型幻觉"内容，并难以调和跨领域声明中相互冲突的领域特定证据标准，从而削弱了其在识别虚假信息时的可靠性。针对上述问题，本研究提出了一种受现实司法裁判启发的LLM驱动多智能体虚假信息检测系统，命名为JusticeFact。具体而言，JusticeFact包含三个功能模块：(1) 对抗性辩论模块，通过实例化检察官和辩护方智能体进行基于证据的对抗性辩论，并借助实时网络检索和LLM自我反思来缓解LLM幻觉问题；(2) 陪审团审议模块，通过提名领域专业陪审员并提供领域感知的审议评论，旨在解决新闻中多领域视角的冲突问题；(3) 判决模块，将辩论和审议过程中所有视角综合为一个透明的判决。该设计将虚假信息检测从单次预测转变为类似于民主裁决的结构化推理过程，从而有效约束幻觉的产生和跨领域冲突。在四个常用虚假信息数据集上的实验结果表明，JusticeFact始终优于多种基线方法，包括LLM提示、预训练语言模型微调以及其他最先进的多领域虚假信息检测方法。消融研究也凸显了对抗性辩论和陪审团审议在提升鲁棒性方面的关键作用。为保证可复现性，本研究代码和数据集已发布于https://github.com/126541/JusticeFact。

# 引言
虚假信息在政治、公共卫生、金融和灾害管理等多个领域的扩散，对现代信息生态系统构成了重大挑战，凸显了有效虚假信息检测的迫切需求[1], [2]。大多数现有系统检测虚假信息时通常不考虑领域专属知识，或仅聚焦于单一领域，从而忽视了新闻的多领域混合特性[3], [4], [5]。尽管已开发出多种有效的多领域虚假信息检测方法，但领域感知虚假信息数据集的稀缺性以及这些数据集中固有的领域模糊性严重阻碍了该任务的进展[6], [7], [8]。在大规模人类和合成语料库上训练的大语言模型（LLM）展现出强大的全域语义理解和逻辑推理能力，特别是在捕捉跨领域的复杂模式、上下文差异、语义歧义和误导性内容方面表现突出[9], [10]。在此背景下，LLM已成为当代文本感知欺骗检测任务中的关键工具，特别是在虚假信息检测领域[11]，通过上下文学习或提示工程实现[12], [13]。

然而，LLM在多领域虚假信息检测中的适用性仍面临两大挑战。首先，LLM中由概率最大化优化策略导致的幻觉问题[14]，而非追求事实验证，可能对虚假信息检测造成破坏性影响[15], [16]。现有领域研究倾向于通过RAG[17], [18]、知识图谱[19], [20]、网络搜索[21], [22]等方式引入外部知识来缓解幻觉。其次，当评估跨越多个知识领域的虚假信息时，多领域视角之间产生的冲突[23]，导致判断过度简化或偏颇，削弱了其检测输出的鲁棒性和可信度[24], [25]。近期研究表明，基于LLM的多智能体系统的角色扮演能力为多视角推理提供了一条有前景的途径[26], [27]。具体而言，通过提示LLM扮演对应不同领域专家（如经济学家或记者）的不同角色，LLM可以对同一新闻生成独立且互补的视角，从而发现单视角分析中可能被忽视的不一致或领域特定冲突[28], [29]。

受人类民主审议制度（如陪审团系统和议会辩论）启发[30], [31]，一种整合多样且可能冲突视角的结构化机制，为应对虚假信息检测中的这些挑战提供了可能的方向。具体而言，人类社会中的审议系统确保复杂决策不由单一权威决定，而是通过具有异质专业知识和价值观的个人之间的平衡辩论、批判性审查和共识构建来达成[32], [33], [34]。通过将这一原则转化为LLM多智能体场景，一种基于LLM多智能体协作的司法庭启发的框架使每个智能体都能作为领域特定专家，在受控的对抗性环境中提出证据、论点和反驳论点。这种设置不仅模仿了人类机构的审议保障措施，还通过促进集体推理提供了系统化缓解LLM幻觉和缓解多领域视角冲突的方法。值得注意的是，虚假信息检测中的LLM幻觉通常表现为捏造事实、不可验证的来源以及缺乏证据的连贯推理，这在多领域环境中尤为有害。该范式强调了将民主审议嵌入LLM系统的潜在重要性，将虚假信息检测转化为对抗性、透明、可解释和多视角评估过程，这对于多领域虚假信息检测尤为关键。

为验证上述假设的可行性，我们提出了JusticeFact，一种LLM驱动的多智能体零样本司法庭启发的多领域虚假信息检测系统。该系统超越了现有基于辩论的多智能体框架，如D2D[35]和Courtroom-FND[36]，通过引入领域认证的陪审团构成策略，将评估者结构化地对齐到领域特定证据背景，以及可信度调节的审议推理机制，在聚合之前明确评估和精炼中间论点，从而实现结构化的多视角整合，而非仅依赖不受约束的对抗性交流或单一法官的叙事综合。该系统由四种类型的智能体组成，包括一名检察官、一名辩护方、陪审员和一名法官，以模拟现实世界司法庭辩论中的多角色认知协作，以应对跨领域虚假信息威胁。如图1所示，检察官和辩护方代表对立立场，支持或质疑原始声明，并通过网络检索和自我反思推理加强论点，从而缓解辩论过程中的幻觉问题。陪审团由顶级K位合适专家（如医学专家、政治分析师）组成，他们从大规模潜在陪审团池中选择，选择时考虑虚假信息的领域。陪审团中的每位专家都可以提供独立的领域特定评论，这些评论随后被整合以模拟集体审议，旨在解决多领域视角冲突。最后，法官智能体综合检察官、辩护方和陪审团的论点，做出可解释的最终判决。

总之，本研究模拟了现实世界司法庭场景，建立了一个包含四个主要模块的LLM多智能体虚假信息检测框架：(1) 前提模块，提供陪审团池用于新闻的领域感知陪审员选择和通过关键词生成的网络搜索；(2) 对抗性辩论模块，用于检察官和辩护方智能体之间的互动；(3) 陪审团审议模块，从陪审团池中选择顶级K位合适陪审员在辩论期间进行论辩推理；以及(4) 判决模块，涉及法官智能体通过考虑其他智能体生成的所有推理进行决策。本研究的贡献如下三方面：
- 我们最初尝试将现实世界司法庭辩论场景转化为LLM驱动的多智能体框架，旨在提升领域感知虚假信息的可解释真实性验证。
- 我们构建了一个名为JusticeFact的司法庭式辩论系统，该系统集成了对抗性辩论模块和陪审团审议机制。对抗性辩论通过利用网络检索帮助缓解LLM幻觉问题，而陪审团审议机制则用于应对虚假信息产生的多领域视角冲突。
- 我们在四个现实世界虚假信息数据集上实证评估了JusticeFact的性能。实验结果表明，与主流方法相比，JusticeFact在准确性、鲁棒性和可解释性方面具有优势。此外，它提供了图形化推理路径，增强了系统可视化和交互性。

# 章节片段
## 相关工作
在多领域环境中进行虚假信息检测的早期方法主要依赖领域自适应分类器、跨领域迁移学习，以及知识图谱和立场检测等辅助信号。例如，MMDFND，一种针对跨领域模态语义偏差、模态依赖偏差和知识依赖偏差设计的多模态多领域假新闻检测模型。它采用领域渐进分层提取，一种逐步枢轴方法。

## JusticeFact系统框架
本节介绍了JusticeFact的架构设计，这是一个LLM驱动的多智能体零样本司法庭启发的多领域虚假信息检测框架。如图2所示，JusticeFact模拟法律风格的推理程序，包含四个功能模块：(1) 前提模块提供陪审团池用于陪审员选择和通过关键词生成的网络搜索；(2) 对抗性辩论模块用于检察官智能体和辩护方智能体之间的互动；(3)

## 实验
**实现细节：** 我们采用GPT-4.1-mini通过访问CloseAI1平台在JusticeFact中扮演各种角色。所有提示均使用结构良好的提示模板构建（见附录）。LLM的速率限制为1000 RPM，温度设置为1以在多智能体协调期间平衡推理多样性和稳定性。对于实时搜索，我们使用Bocha2平台的API。值得注意的是，所有
**人工评估**
为严格评估JusticeFact框架生成推理的质量，我们对50个随机选择的标题-推理进行了人工评估。这些包括由控辩双方生成的支持和反驳论点，以及每个陪审团小组的评论。三名自然语言处理专业的研究生独立使用5点李克特量表（1 = 非常差，5 = 优秀）对每个生成的推理在六个定性维度上进行评分。具体而言，这些
**成本分析**
为评估不同方法的实际效率，我们测量了每个示例的平均推理时间、输入/输出令牌数以及AMTCele数据集上的Mis-F1分数。如表9所示，我们的JusticeFact模型取得了最佳性能（78.76% F1），但与单次通过基线相比推理成本更高。这种额外成本在实际意义上是有意义的，因为JusticeFact不仅提供真实性预测，还提供可追溯的证据使用，
**案例分析**
为更好地定性展示JusticeFact在多领域虚假信息检测中的能力，我们下面呈现两个现实世界示例。表10、表11展示了JusticeFact进行的司法裁决过程。每个案例涉及一系列推理阶段，包括检察官和辩护方之间的证据支持辩论、陪审员审议以及法官决策。为进一步验证可信度评分机制的稳定性，我们随机
**提示词设计**
以下提示模板用于指示LLM提取可用于实时网络搜索以验证新闻报道真实性的搜索关键词。为降低启用网络检索时时间泄漏的风险，我们在调用网络搜索API之前约束搜索查询。检索功能移除此类标签相关表达式，仅保留中立事实元素，如命名实体、日期、组织、事件、政策和统计
**结论**
本研究创造性地提出了JusticeFact，一种受司法裁决启发、允许网络搜索和由LLM驱动的多智能体框架，以促进多领域虚假信息检测。具体而言，JusticeFact通过模拟人类样推理，包括结构化的对抗性辩论（即检察官和辩护方智能体）、专家陪审员审议，有效缓解了LLM幻觉和多领域冲突问题，同时应对多领域虚假信息威胁。

## CRediT作者贡献声明
罗显生：写作 – 审阅与编辑，写作 – 原稿，验证，方法论。张超伟：写作 – 审阅与编辑，写作 – 原稿，方法论。张泽伟：写作 – 审阅与编辑。朱怡：写作 – 审阅与编辑。强吉鹏：写作 – 审阅与编辑。

## 利益冲突声明
作者声明不存在已知的可能影响本文所报告工作的竞争性财务利益或个人关系。

罗显生 | 张超伟 | 张泽伟 | 朱怡 | 强吉鹏