ReaLiC：一种基于奖励机制的潜在推理方法，用于对话式查询的重写

《Information Fusion》：ReaLiC: Reward-Aligned Latent Reasoning for Conversational Query Rewriting

奖励对齐的潜在推理对话式查询重写框架，通过结构化推理策略空间与多信号强化学习，融合检索效果和推理-上下文一致性反馈，实现可解释的对话上下文增强查询重写。

　　

梁旭|关宇秦|淄博毅|云波曹|钟晨罗|雷世|菲菲寇

河北工程大学信息与电气工程学院，邯郸，056038，河北，中国

摘要

对话式查询重写（CQR）将用户未明确表达的发言转换为适合检索的独立查询。一个关键挑战是使模型能够朝正确的方向进行推理，特别是对于小型和中型模型，因为无约束的生成可能导致幻觉性推理、语义漂移以及检索结果与重写内容不一致。现有方法对推理行为的控制有限，因为基于提示的推理不够稳定，而通过强化学习的模型依赖的检索奖励也无法有效指导应采用哪种推理策略。我们提出了ReaLiC框架，该框架专注于在对话式查询重写过程中实现奖励对齐的注意力驱动推理。ReaLiC定义了一个结构化的高级推理策略空间，并通过基于奖励的指导鼓励模型学习如何使用和组合这些策略。策略级别的推理是与重写查询一起生成的，并通过多信号强化学习（RL）与检索目标对齐的，这种学习方法融合了来自检索效果和推理-上下文一致性的互补反馈。我们在QReCC和TopiOCQA基准测试上进行了广泛的实验，结果表明ReaLiC始终优于强大的基线模型，产生了更稳定、更可解释且更注重检索的结果。

引言

对话式信息检索（CIR）要求系统能够跨多个对话轮次理解用户意图。与独立查询不同，对话式发言通常较短、含义模糊，并且基于先前的上下文，因此有效的检索高度依赖于上下文敏感的推理[1]、[2]、[3]。对话式查询重写（CQR）通过将用户未明确表达的发言重新表述为适合检索的明确独立查询来解决这一挑战[4]、[5]、[6]。成功的重写通常依赖于隐式的推理行为，如共指消解、主题跟踪和意图推断，这些行为使模型能够从对话历史中恢复缺失的信息。

CQR的现有方法可以根据推理和重写行为的指导方式大致分为两种范式。一种方法是利用大型语言模型进行基于提示的查询重写，提供明确或隐式的推理指令以引导上下文感知的重新表述[7]、[8]。这些方法受益于大型模型的强大推理能力，并展示了令人印象深刻的重写质量。另一种方法是专注于基于监督或强化的任务特定模型训练，其中重写行为是从标注的重写中学习到的，或者与下游检索目标对齐[9]、[10]、[11]。这类方法通常更高效且可控，并能在标准基准测试上取得有竞争力的检索性能。更广泛地说，数据驱动的建模和优化在复杂系统中得到了广泛应用，其中神经网络被用来捕捉结构化的依赖关系并支持性能优化[12]。CQR也采用了类似的思路，期望模型能够捕捉对话中的上下文依赖关系并生成优化的查询重写。

尽管取得了这些进展，现有方法的一个关键局限性在于它们在优化重写查询时并未明确塑造产生这些查询的推理行为。大多数基于检索的目标只提供了一个单一的、粗略的监督信号，使得模型能够在不学习稳定、基于上下文的推理模式的情况下获得更高的检索分数。因此，来自对话上下文、语义一致性和检索结果的异构线索在优化过程中是孤立处理的，而不是被融合的。结果，底层的推理过程仍然隐含着，因为它没有受到明确的监督，而是隐含地编码在隐藏状态中，这使得模型更容易出现幻觉性推理、语义漂移和上下文不一致，尤其是在多轮对话场景中。图1说明了这个问题，即使最终的重写看起来表面上合理，无约束的推理也可能导致主题偏移和检索失败。这些观察表明，在更高层次的语义层面暴露和结构化推理行为可能为优化过程中对齐对话上下文、语义解释和检索反馈提供一种更有效的方法。

为了解决这一差距，我们提出了ReaLiC框架，该框架将奖励对齐的潜在推理纳入CQR中。与之前直接优化重写输出的基于强化学习（RL）的CQR方法不同，ReaLiC将推理视为一个与重写查询共同生成的中间变量，并通过共享的、以检索为导向的奖励信号进行优化。它不依赖于显式的步骤监督或固定的推理流程，而是将推理外化为一个以检索为导向的上下文增强信号，在训练过程中隐式地对其进行塑造。

ReaLiC定义了一个结构化的、包含高级推理策略（例如共指消解和主题跟踪）的空间，并通过基于奖励的指导鼓励模型学习如何使用和组合这些策略。这些策略提供了共享的语义抽象，使得来自对话上下文、策略级别推理和检索反馈的异构信息信号能够被整合。策略级别的推理是与重写查询一起生成的，作为塑造潜在推理偏好的可解释接口。训练分为两个阶段：首先是具有推理意识的监督阶段，建立策略一致的推理模式；其次是多信号RL阶段，将潜在推理与检索效果和推理-上下文一致性对齐。

ReaLiC通过用高级推理策略（例如共指消解和主题跟踪）表述的显式推理描述来表达对话上下文，从而通过融合上下文、语义和检索信号来实现可控且与检索对齐的重写。

我们的贡献总结如下：

•

我们提出了ReaLiC框架，该框架将策略级别的推理作为指导重写的显式接口。

•

我们设计了一个与奖励对齐的训练目标，该目标利用来自异构信息源（包括检索效果和推理-上下文一致性）的多信号反馈来塑造潜在的推理行为。

•

我们在标准的对话式信息检索基准测试上展示了，对齐推理偏好可以产生更稳定的重写结果，并持续提升检索性能。

章节片段

对话式查询重写

对话式搜索旨在通过多轮交互来满足复杂的信息需求，其中用户发言通常较短、含义模糊，并且高度依赖于先前的上下文[13]。现有研究通常遵循两个互补的方向，即对话式密集检索（CDR）和CQR。

CDR方法将当前查询与对话历史共同编码，以生成适合检索的上下文感知表示[3]、[14]、[15]。大量研究工作已经

任务表述

CQR的目标是将用户未明确表达的发言转换为适合检索的独立查询。给定一个多轮对话上下文$C=\{u_1,\dots ,u_{t?1}\}$ 和当前用户查询q_t，目标是生成一个重写后的查询r_t，以最大化下游检索效果。

生成r_t需要对对话历史进行潜在的、上下文敏感的推理，例如解决引用问题、跟踪主题变化、推断隐含意图以及规范时间表达。

数据集

我们遵循之前的工作[23]来配置数据集，以确保公平和一致的比较。我们在两个标准的对话式检索基准测试QReCC [33]和TopiOCQA [34]上评估ReaLiC。这两个数据集都包含多轮对话（C, q_t）和标注的相关段落，从而能够在真实的对话歧义环境下进行评估。QReCC主要关注在相对稳定主题下的查询重写，而TopiOCQA则明确针对对话式搜索

结论

我们提出了ReaLiC框架，该框架将潜在推理明确外化为一个可与检索目标对齐的可优化推理描述。通过使推理行为可见并直接可训练，ReaLiC不同于以往仅依赖隐式内部状态、提示诱导的推理或检索奖励的方法。

ReaLiC将重写过程分解为推理描述部分和查询生成部分，从而实现对高级策略的偏好调整

手稿准备过程中生成式AI和AI辅助技术的声明

在准备这项工作时，作者使用了AI辅助工具来润色语言和提高可读性。使用这些工具后，作者仔细审查并编辑了内容，并对发表文章的内容负全责。

CRediT作者贡献声明

梁旭：写作——审阅与编辑、软件、方法论、形式分析。关宇秦：数据整理、概念化。淄博毅：写作——审阅与编辑、方法论、形式分析。云波曹：写作——审阅与编辑、资源管理、概念化。钟晨罗：写作——审阅与编辑、监督。雷世：写作——审阅与编辑。菲菲寇：写作——审阅与编辑。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。