基于证据检验与结构分析的大语言模型幻觉推理检测方法

《Machine Learning and Knowledge Extraction》：Tackling LLM Hallucination with Abductive Reasoning

　　摘要大语言模型能够生成看似可信的解释，但这些解释可能依赖于捏造的事实、缺乏依据的假设或未被考虑到的替代方案。本文提出了一种方法来检验此类解释是否能得到现有证据的支持。该方法识别支撑模型回答所需的假设，检查其中的矛盾之处，并将该回答与需要更少无据假设的替代解释进行比较。该方法还考虑了解释的组织方式，区分其核心主张与支撑细节，并考察各陈述之间如何相互支持或构成挑战。在四个数据集上的评估结果表明，融入这种结构信息的检测方法在识别幻觉推理方面，优于不使用结构信息的相同检测方式。额外的实验进一步考察了解释结构、假设检查和替代方案比较各自的贡献。研究结果表明，同时检验回答背后的证据及其解释的组织结构，有助于发现并解释语言模型推理中的失败案例。