结构化抽取中的幻觉现象：基于提示的语义角色标注案例研究

《Machine Learning and Knowledge Extraction》：Hallucinations in Structured Extraction: A Case Study on Prompt-Based Semantic Role Labeling

　　

研究人员借助基于提示的语义角色标注（SRL）作为受控案例，研究结构化抽取中的幻觉现象。研究人员实现了一个基于DSPy的流水线，每次预测都包含生成的推理依据以及对一条管辖规则的引用，从而可将抽取错误按被归因的规则聚合。这一诊断信号被一个Rationale-Oriented（RO）优化器用于执行有针对性的、人类可读的签名修订。实验使用从CoNLL-2012测试切分中抽取的具代表性的1000句语料池，其中嵌套200句开发子集用于优化，其余800句作为未见子集。签名选定后，角色特定签名即固定；在离散未见子集上，相较各自未优化基线，九个经评估的5W+1H对齐角色全部改善，但改善幅度及开发到留存的差距因角色而异，稀疏的ARGM-PRP与ARGM-CAU角色泛化明显弱于其开发集分数所暗示。全1000句池上，选定角色金标准谓词聚合严格微F1达67.04%；此为研究内摘要而非完整CoNLL SRL分数。在留存ARG0分析中，抽取结果与所引规则非均匀相关，而签名扰动显示规则引用更应被解释为可观察诊断代理而非逐例因果解释。与同抽取模型上的MIPROv2相比，RO在无MIPROv2所致召回崩塌下达到可比的低误授（commission-error）工作点。进一步两次消融定位效应来源：向Phi-4-reasoning的完整九角色跨模型迁移显示RO签名跨模型族承载不均，增益集中于弱且稀疏角色，目标模型已胜任处增益可忽略至微负，且迁移精度受限于其较粗跨度边界行为；匹配同模型自批判消融中Qwen3-14B跨九角色提供自身诊断反馈，检验无更强外部批判者时可恢复多少精炼效应。综上消融将跨模型签名可移植性与教师容量效应分离，厘清RO中哪些部分依赖诊断结构本身、哪些依赖修订签名的批判者。主要条件保留对专有教师的设计算力依赖，签名优化围绕单一开放权重抽取模型Qwen3-14B展开。

研究背景方面，大语言模型（Large Language Model，LLM）在文本生成与信息抽取等任务上表现突出，但持续存在幻觉问题，即输出未扎根于输入或外部知识。既有幻觉研究多聚焦自由生成任务中的虚构事实，而结构化预测任务（如语义角色标注（Semantic Role Labeling，SRL））中的幻觉表现为错误论元、错配角色或无关跨度，这类结构化幻觉因处于受限模式而更易检测分析。已有研究指出冻结LLM做SRL性能极低（F1常低于25%），提示LLM在不经监督适配时难以将预测扎根于输入，此即结构化形式的未扎根生成。论文发表于《Machine Learning and Knowledge Extraction》，以SRL为受控框架研究结构化抽取幻觉。

研究人员开展的研究为：以DSPy构建规则接地（rule-grounded）签名驱动的提示式SRL流水线，每预测须引一条管辖规则（此约束属错误核算装置而非声称单规则致因），并提出Rationale-Oriented（RO）优化器，聚合规则归因错误、送较强教师模型（Claude Opus）诊断、对签名做原子化修订，无梯度训练。样本来自CoNLL-2012测试切分，经分层抽样构1000句代表池（含200句开发子集、800句未见子集）。主要关键技术方法为：其一，DSPy声明式签名抽象，将句子、目标谓词及索引映射至结构化推理依据与跨度；其二，RO优化器三轮修订（V1–V3），教师仅接收诊断包（含句、金标准与预测、引规则、思考块、当前签名）并提议规则扩展/聚焦/例证调整/边界澄清四类原子编辑；其三，严格跨度规范化与精确匹配评分，误授（gold-NONE→预测跨度）计为纯幻觉；其四，签名扰动协议（规则乱序、删块、 excision）与跨模型迁移消融（Phi-4-reasoning固定签名、Qwen3-14B自批判）。

研究结果各节如下。引言节阐明以SRL为受控幻觉实验室而非终点任务，借规则引用将错误归因为可聚合诊断。相关工作节梳理span-based与dependency-based SRL、提示式SRL（ChatGPT-3.5、PromptSRL、检索增强+LoRA等）及结构化幻觉定义（语义误授 commission error 与边界执行错分离）。贡献节列三项：RO优化器、设计即解释性、代表子集构造法。方法节4.1–4.9给出总体流程、CoNLL-2012分层子集（χ2检验四维度p>0.92，KL<0.0006）、论据存在性分析（ARG1占80.5%、ARGM-CAU仅1.5%）、模型选Qwen3-14B为抽取体+Claude Opus为设计算力教师、DSPy两阶段（抽取+跨度规范化）、RO诊断包构造、严格评价指标、误授与边界错区分、签名扰动协议。结果节5.1确立开发/未见/全池三报告面；5.2按角色轨迹显示Claude教师下ARG0未见F1由69.79%升至76.93%、ARG1由49.68%升至66.02%、ARG2由16.10%升至54.50%、ARGM-NEG由69.34%升至88.39%、ARGM-CAU开发88.89%但未见仅40.43%等，九角色未见F1均优于V0（bootstrap+Holm校正八角色显著）；5.2.4全池九角色严格微F1为67.04%（精度68.45%/召回65.68%），纯幻觉占FP的48.00%；5.3泛化差距与提示过拟合分析指出稀有度、词汇封闭性、语义异质性三因子，ARGM-NEG为负差距特例；5.4跨模型迁移至Phi-4-reasoning显示ARGM-CAU（+61.54）、ARG2（+35.20）、ARGM-PRP（+19.68）增益大，ARG0几乎不变（-0.44）、ARGM-NEG略降（-2.36）；5.5（ARG0规则归因）卡方显示引规则与抽取结果非独立（Cramér's V非零），但扰动实验表明引规则是诊断代理而非因果。讨论与结论部分翻译总结：研究人员得出结论，RO优化器借规则归因诊断可在无微调下以模块化提示编程驱动结构化抽取，解释性由签名/输出/引规则/编辑全链可得；但规则引用是可见诊断代理而非逐例因果，跨模型签名可移植性不均且与教师容量效应可分；主要条件在设计算力上依赖专有教师Claude Opus，优化对象为单一开放权重Qwen3-14B；九角色未见子集全部正迁移，稀疏角色（ARGM-CAU、ARGM-PRP）开发高分属提示过拟合；同模型自批判可恢复部分精炼效应但弱于外部强批判者；该研究为可信赖结构化NLP提供受控幻觉诊断范式，而非宣称达到完整CoNLL SRL水准。