FreqAlign：双向频率对齐技术，用于减轻基于大型语言模型（LLM）的提取式问答（extractive QA）中的上下文幻觉（contextual hallucinations）现象

《Knowledge-Based Systems》：FreqAlign: Bidirectional frequency alignment for mitigating contextual hallucinations in LLM-based extractive QA

　　高泽宇|刘一章
新加坡南洋理工大学

摘要
大型语言模型在提取式问答任务中经常出现上下文幻觉现象，即生成的答案与检索到的上下文相矛盾或引入了不支持的内容。其中一个主要原因是频率偏差，即预训练统计信息使得模型更倾向于选择全局频繁出现的标记，而不是上下文正确但出现频率较低的标记，尤其是在日期、命名实体和数值方面。我们提出了FreqAlign，这是一种基于双向频率对齐的解码时概率校准方法。该方法首先使用一个具有注意力比和频率特征的上下文感知分类器来估计候选标记的上下文相关性。在推理过程中，该分类器指导双向校准：根据上下文频率增强相关标记的权重，同时通过全局频率的倒数降低不相关标记的权重。这两种效应都是自适应熵的，并被整合到一个统一的乘法公式中，并进行了概率归一化。在六个提取式问答基准测试中，使用LLaMA-2-7B和Mistral-7B（包括基础版本和指令调优版本）进行的实验表明，FreqAlign在配对自举测试中一致且显著优于强大的基线模型，p<0.05。与DAGCD相比，FreqAlign在自然问题上的精确匹配率和F1分数分别提高了2.47和3.02，在TriviaQA-web上提高了3.48和1.96，在HotpotQA上提高了1.95和2.40。在指令调优模型上，它仍然取得了有意义的提升，包括在自然问题上精确匹配率提高了1.2。FreqAlign仅比贪婪解码增加了3.2%的延迟，而CAD和DAGCD则引入了82%到100%的开销。对200个手动标注的错误进行分析显示，总错误减少了36%，其中实体替换错误和数值错误分别减少了59%和66%。然而，多跳推理失败的数量从22个增加到了50个，这表明基于频率的校准无法解决需要更深层次语义理解的推理链错误。该实现的代码可在以下链接获取：https://anonymous.4open.science/r/FreqAlign。

引言
大型语言模型（LLMs）在文本生成[1]、理解[2]和推理[3]方面展示了显著的能力，推动了对话式AI、知识密集型问答和内容创作[4]的显著进步。尽管取得了这些进展，它们仍然容易产生幻觉，即生成事实不正确或不支持的内容[2][5]。这个问题是可靠现实世界应用的主要障碍[6]。其中一个根本原因在于自回归训练目标，它鼓励模型捕捉统计共现模式而不是事实准确性[7]。因此，大型语言模型发展出了一种频率先验，倾向于偏好在预训练数据中常见的标记，而不管它们与当前上下文的相关性如何。这种偏差在推理时尤其成问题，因为模型必须平衡参数知识和输入提供的证据。

幻觉可以有多种形式，包括内在幻觉（生成的内容与来源相矛盾）和外在幻觉（输出引入了无法从来源验证的信息[5]）。其中，上下文幻觉特别有害，因为模型产生的内容直接与给定的输入上下文冲突[7]。这个问题在检索增强生成[8]中尤为突出，因为外部证据旨在为生成提供依据，但仍可能被忽略或扭曲。例如，如果上下文表示“药物A的有效性：78%；药物B的有效性：82%；副作用没有显著差异”，模型可能会生成“药物B更有效且副作用更少”，从而引入了一个不支持的声明。这样的错误会损害用户信任，在医疗[9]和法律推理[10]等高风险场景中尤其危险，因为这些场景对证据的严格忠实度至关重要。

最近的研究将自回归解码过程中的概率不对齐确定为幻觉的核心原因[10][11]。由于预训练强调统计共现而非事实准确性，模型倾向于给语法上合理且高频出现的标记分配过高的概率，而低估了语义上正确但出现频率较低的标记。这种倾向在神经语言模型中普遍存在，这些模型通常更偏好高频功能词和常见序列[12][13]。定量证据进一步表明，当正确标记在输出分布中的排名不在前50名时，超过38%的事实错误会发生[14]。

我们认为频率偏差，即系统性地倾向于给全局频繁出现的标记分配更高的概率，而不是给上下文相关但出现频率较低的标记分配更高的概率，是上下文幻觉的核心原因。这一机制可以通过四个步骤来理解。首先，对大型语料库的预训练在模型分布中诱导出对高频标记的强烈先验。其次，在推理过程中，模型必须将这种先验与输入上下文提供的证据相协调。第三，在提取式问答中，正确答案通常包含低频和特定于上下文的标记，如日期、命名实体和测量值，因此这些标记处于不利地位。第四，现有的解码时方法（包括对比解码和层对比）没有明确建模标记级别的频率效应，因此无法直接纠正这种标记排名失真。先前的研究支持这一观点。Khandelwal等人[13]表明，语言模型通过不同的机制处理高频和低频标记。Shetreet等人[15]证明标记频率影响模型的鲁棒性。Holtzman等人[12]进一步发现了神经文本生成中的频率驱动退化现象。在实践中，当上下文包含特定标记（如“Zaheer Khan”或“1978年10月7日”）时，这些标记必须在输出分布中与更频繁的替代词竞争。因此，预训练的频率先验可能会将特定于上下文的标记抑制在贪婪解码阈值以下，导致输出在统计上合理但在事实上与输入不一致。

为了缓解这个问题，已经提出了一系列解码时方法。对比解码通过重塑输出概率来提高忠实度[16][17][18]，而逐层对比方法（如DoLA）增强了Transformer深层中表示的事实知识[19]。然而，这些方法仍然缺乏细粒度的词汇控制。特别是，它们无法明确区分高频但相关性低的标记（如常见功能词）和低频但高度相关的标记（如特定实体和数值）。尽管先前的研究已经考察了标记频率对模型鲁棒性和表示学习的影响[20][15]，但频率信号尚未被明确纳入解码过程以纠正导致上下文幻觉的标记排名失真。

为了填补这一空白，我们引入了FreqAlign，这是一种基于语言统计结构的解码时方法。FreqAlign通过双向频率对齐机制来纠正输出分布中的失真，该机制通过两个互补的操作来校准标记概率。首先是全局频率去偏，通过逆语料库频率加权来抑制高频通用标记，从而抵消模型对统计上常见但上下文无关的词的偏好。其次是上下文频率增强，增加在给定上下文中显著的标记的概率，使得在时间敏感的问答中正确但可能罕见的标记（如“1973”）获得足够的概率质量。

我们的贡献如下：
1. 我们提出了FreqAlign，这是一种解码时概率校准方法，通过双向频率对齐来纠正标记排名失真。一个训练有素的上下文感知分类器确定校准方向，为上下文相关的标记分配大于1的因子，为不相关的标记分配小于1的因子。
2. 全面的实证验证。我们在两个模型家族LLaMA-2-7B和Mistral-7B（包括指令调优版本）上评估了FreqAlign，涵盖了六个提取式问答基准测试。评估包括p<0.05的统计显著性测试、多维消融研究、分类器泛化分析、效率基准测试以及基于200个按幻觉类型分类的手动标注错误案例的系统性故障分析。

通过利用内在统计属性校准输出分布，FreqAlign以最小的计算成本提高了提取式问答的可靠性，仅比贪婪解码增加了不到3.2%的延迟。相比之下，需要两次前向传递的方法引入了82%到100%的开销。这些结果突显了频率感知建模作为减少基于大型语言模型的提取式问答中上下文幻觉的有效且高效的方法。

章节片段
大型语言模型中的幻觉
大型语言模型中的幻觉已经从多个角度进行了广泛研究。Ji等人[5]提出了一个全面的分类法，区分了内在幻觉和外在幻觉，而Huang等人[2]进一步将其原因归因于数据级、模型级和推理级因素。Tonmoy等人[6]回顾了整个模型生命周期中的缓解策略。最近的研究还表明，幻觉与自回归生成密切相关。

FreqAlign是一个解码时框架，通过直接纠正自回归生成中的概率不对齐来缓解上下文幻觉。其核心假设是，上下文忠实的解码应同时依赖于标记的全局频率和其在给定上下文中的局部显著性。标准解码通常由于预训练先验而过度强调全局频繁出现的标记，同时对特定于上下文的标记（如日期）分配了不足的概率。

实验
我们在两个模型家族LLaMA-2-7B和Mistral-7B（包括基础版本和指令调优版本）的六个提取式问答基准测试中评估了FreqAlign。主要评估指标是精确匹配率和F1分数。

结论与未来工作
本文介绍了FreqAlign，这是一种解码时概率校准方法，用于缓解提取式问答中的上下文幻觉。其核心贡献是一种双向校准机制，其中上下文感知分类器确定每个标记的相关性。当校准因子大于1时，它真正提升了相关标记的权重；当因子小于1时，它抑制了不相关标记的权重，熵自适应缩放调节了这种调整的幅度。

作者贡献声明
高泽宇：撰写——原始草稿、软件、资源、方法论、调查、形式分析、数据整理、概念化。
刘一章：撰写——审阅与编辑、可视化、验证、监督、项目管理、资金获取、概念化。

代码可用性
完整的源代码（包括训练脚本、评估协议和预训练分类器）可在以下链接公开获取：https://github.com/FreqAlign/FreqAlign。该仓库包含了重现本文中报告的所有实验的说明。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。