利用大规模语言模型（LLMs）实现的非单调法律决策支持的具有证明能力的神经符号推理

《Big Data and Cognitive Computing》：Proof-Carrying Neuro-Symbolic Reasoning for Non-Monotonic Legal Decision Support with LLMs

　　

摘要

大型语言模型（LLMs）和检索增强生成（RAG）在法律决策支持中的应用日益广泛，但检索到的证据和流畅的解释并不能保证有效的规范性推理。本文提出了一种基于神经符号学的证明方法，用于处理非单调的法律推理问题。LLM组件主要用于提取事实、可推翻的规则、反驳论据、优先级信息、引用内容以及操作置信度评分，而确定性符号引擎则负责计算最终结论。证据被表示为有限的可推翻规范性理论，并被编译成Dung风格的论证框架；最终结论基于这些信息得出，并附带证明图示，展示支持要点、攻击点以及基于优先级的反驳依据。在严格的正式化框架下，该符号引擎在600个案例的控制基准测试中实现了99.3%的准确率。在包含240个场景的LLM到逻辑推理实验中，GPT-4o提取器结合符号推理方法的准确率为86.7%，而直接使用LLM的准确率为75.8%；这种差异在经过Holm校正后的McNemar检验中得到了支持（调整后的p值 = 0.016）。与PDL和更简单的符号基线方法相比，差异未在统计上得到证实。通过触发式验证机制，实际准确率达到了90.4%。公开合同、俄罗斯法律、压力测试、可扩展性以及律师验证等方面的实验进一步明确了这种基于证明的法律决策支持的可行性和当前存在的局限性。