面向引用忠实性核验的模块化幻觉检测框架与工具:HallucinationNerd的原子断言—证据检索—文档审问评估

《Information》:HallucinationNerd: A Framework and Tool to Detect Hallucinations and Unsupported Claims

【字体: 大 中 小 】 时间:2026年10月23日 来源:Information 4.3

编辑推荐:

  检索增强生成(retrieval-augmented generation, RAG)、基于智能体的系统(agentic systems)和人类作者会产生带行内引用(inline citations)的文本,但被引来源并不总是支持归因于它们的断言。研究人员提出

  
检索增强生成(retrieval-augmented generation, RAG)、基于智能体的系统(agentic systems)和人类作者会产生带行内引用(inline citations)的文本,但被引来源并不总是支持归因于它们的断言。研究人员提出 HallucinationNerd,一种模块化引用验证引擎(modular citation-verification engine),其将文本分解为原子化断言(atomic claims),从每个被引来源检索相关段落,并判定该来源是否支持该断言。此外,HallucinationNerd 识别不带引用的断言,并检索用户批准的数据库以寻找或反驳其支持证据。该系统处理五种常见引用格式,可操作于 PDFs、网页和纯文本,并产生带证据指针(evidence pointers)的逐断言判定。其底层算法混合了解析(用于识别断言—引用对)、重叠分块(overlapped chunking)、停用词消除(stopword elimination)和基于人工智能的语义比较(AI-based semantic comparison)。在相同数据上的头对头比较中,在由研究论文构建的基准上,HallucinationNerd 在准确率和精确率上大幅优于(F1分数(F1 score)约提高20%)先进系统(state-of-the-art systems)。HallucinationNerd 还可用于验证其他AI系统的输出。例如,研究人员审计了 Scholar GPT(一种公开可用的学术研究智能体(scholarly research agent))的一组输出。至少在该样本中,其引用对被测来源是忠实的。
大语言模型(large language models, LLMs)推动了检索增强生成(retrieval-augmented generation, RAG)和基于智能体的研究系统,使带行内引用的可追溯、证据支撑响应成为可能。然而,引用存在并不保证忠实:生成文本可能误述被引来源、将断言归因到错误参考文献,或捏造来源从未陈述的具体细节,这类错误被称为引用幻觉(citation hallucinations)。其危害在于带有表面可信性,可能造成健康与科学语境中的错误信息传播,并侵蚀对AI辅助研究工具的信任。既有方法中,自然语言推断(natural language inference, NLI)模型如AlignScore、SummaCConv受输入token限制,可能漏掉文档深处证据;LLM评估框架如RAGAS依赖评审LLM自身训练数据及所提供来源文本,可能使评审“填补”被引文档不存在的信息。为此,研究人员开展 HallucinationNerd 研究,构建模块化引用级幻觉验证引擎,对(断言,被引来源)对独立测试,支持五种常见引用格式和任意来源类型(PDFs、网页、纯文本),给出支持、部分支持、不支持、矛盾、被引文章不存在、无法访问六类逐断言判定,以及支持或部分支持时的来源摘录和置信度;对无引用断言,在用户批准数据库中检索支持或反驳证据。其意义在于提供逐断言、可审查的引用忠实性核验,并构建可复现的无偏基准。

主要关键技术方法:HallucinationNerd采用四阶段模块化流水线:以结构化提示抽取原子化、去语境化断言并解析代词;通过预抽取文本、网页或PDF获取来源,长文档用关键词重叠分块(500字符重叠窗口、非停用词评分、最多4000字符)定位段落;以文档审问(document interrogation)提示令LLM评委GPT-4o-mini以被引来源第一人称输出六类判定、置信度、逐字证据与理由;再聚合为可靠性报告并输出JSONL、Markdown和高置信幻觉标记文件。系统以正则识别五种引用格式;未引用断言备份检索PubMed、arXiv、Semantic Scholar(每库至多3篇候选),并用五票多数投票控制LLM非确定性。样本来源:arXiv六个计算机科学类别(cs.CL, cs.LG, cs.CV, cs.AI, cs.RO, cs.CR)随机论文;Scholar GPT五个健康问题输出及所引论文摘要。

7.1 随机ArXiv基准(Random ArXiv Benchmark):在200个单断言—来源对(100原始+100替换,来自100篇论文、六类)上,HallucinationNerd在185个计分案例(15个“无法访问”排除)取得93.0%准确率、13个假阳性;竞争系统准确率降至接近随机(56–58%),虽召回100%但将约一半原始引用误报为幻觉。等证据比较(Equal-Evidence Comparison):给MiniCheck和RAGAS相同检索段落,差距未闭合,二者仍接近随机;其余系统原结果不改变结论,配对置换检验显示差异显著。

7.2 同领域替换稳健性(Robustness to Same-Field Replacements):将替换来源改为同arXiv主类别后,196对(100原始+96替换,181计分)中,HallucinationNerd保持100%召回、87.6%精确率、F1 93.4%、92.8%准确率,与跨类别相当;竞争系统仍为55–58%接近随机,配对检验显著。竞争系统为何召回更高(Why Do Competing Systems Have Higher Recall?):其100%召回来自高假阳性,倾向标记非逐字复述的断言;HallucinationNerd的全文档访问和文档审问提示能确认转述或分散证据,保持100%召回而假阳性仅13。

7.3 基准标签的盲法人工验证(Blinded Human Validation of the Benchmark Labels):每基准抽40对(20原始+20替换)盲评,人工判断与基准真值一致率在跨领域为95.0%、同领域为97.4%,合并96.2%;限制于明确支持/不支持判断时两基准一致率97.1%,确认原始引用绝大多数支持、替换引用绝大多数不支持,标签可靠。

8 面向学术研究智能体的示例应用(Example Application to a Scholarly Research Agent):对Scholar GPT五个健康问题输出抽取43条引用断言,40条计分(3条无法访问排除),37条支持、3条部分支持、无“不支持/矛盾”,说明其引用在该样本中忠实,也显示HallucinationNerd可审计动态摘要系统。

9 可配置严格性拨盘(The Configurable Strictness Dial):宽松默认将部分支持视为支持;严格模式额外标记未紧密转述的部分支持。两设置召回均100%,严格仅增加假阳性并降低精确率,适用于不能漏报的高风险领域(high-stakes)。

10 HallucinationNerd的局限性(Limitations of HallucinationNerd):依赖LLM API带来每次调用成本与延迟;来源可访问性受HTTP 403或内容变化限制;LLM在温度0.0仍可能非确定,系统以多数投票缓解;引用和来源格式覆盖有限,异常格式或畸形文档可能需手动输入。

讨论部分总结:讨论(Discussion)指出主要优势是显著更低假阳性:跨领域和同领域基准中,HallucinationNerd将约95个计分原始引用中的13个标记为不支持或矛盾,竞争系统为82–89个;原因归于全文档关键词分块访问和文档审问提示,前者避免截断漏证,后者促使模型仅在识别具体证据时确认支持,并仅在主题真正缺失时拒绝。竞争系统高召回伴随过高报警,可能如“狼来了”导致用户忽视警报。严格拨盘为需要不漏报的应用提供严格模式。

研究结论翻译:HallucinationNerd是一种引用级幻觉评估引擎,用于判定被引来源是否实际支持归因于它们的断言。该系统将生成文本分解为原子断言,通过关键词重叠分块从源文档检索相关段落,并应用结构化LLM评审协议产生带证据指针的逐断言判定。在无偏基准的头对头比较中,HallucinationNerd被证明显著更精确,同时实现与最先进系统大致相同的召回率。在面向Scholar GPT(一种公开可用的学术研究助理)的示例应用中,HallucinationNerd在若干健康领域问题上核验了引用断言,表明其既可审计固定文章,也可审计动态摘要系统中的引用忠实性。未来工作包括将HallucinationNerd集成为摘要和文章写作流程中的实时生成后验证层,以及作为浏览器插件帮助读者评估其遇到的AI摘要。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号