SERank：面向基于大语言模型的文档推理重排序的句级证据选择

《Expert Systems with Applications》：SERank: Sentence-Level Evidence Selection for LLM-based Document Reasoning Reranking

　　

•一个用于LLM重排序的无训练查询感知句子过滤框架。
•句子过滤在列表式重排序前提高了证据集中度。
•SERank在提高nDCG@10的同时减少了token使用量和延迟。

引言
文档重排序是现代信息检索（IR）系统的核心组件。给定用户查询，第一阶段检索器（如BM25）高效地检索一组候选文档，然后重排序器优化其顺序以更好地匹配用户意图（Robertson, Zaragoza, et al., 2009, Yuan, Yang, Wang, Zhao, & Liu）。随着大语言模型（LLMs）的快速发展，近期研究越来越多地探索基于LLM的重排序，因为LLM可以在统一的零样本框架下执行语义匹配、相关性比较和指令跟随（Chen, Liu, Zhang, Sun, Ma, Yang, Shi, Mao, Yin, 2025, Ma, Zhang, Pradeep, & Lin）。特别是，列表式重排序已成为一种引人注目的范式：不是独立地为每个文档打分或比较文档对，而是要求LLM联合比较多个候选并直接输出排序列表，从而实现文档间推理和整体相关性评估。

大多数现有的LLM重排序器专注于优化排序策略。例如，RankGPT采用滑动窗口列表式框架，在重叠批次中重排序候选文档（Sun et al., 2023）。其他方法探索集合式提示、长上下文完整列表重排序或推理增强方法来减少推理开销或提高比较质量（Liu, Ma, Zhu, Zhao, Wang, Yin, Dou, 2025, Zhuang, Ma, Koopman, Lin, & Zuccon, Zhuang, Zhuang, Koopman, Zuccon, 2024）。这些研究推进了LLM重排序流水线的设计，但它们大多共享一个隐含假设：一旦候选文档被检索，其文本就可以直接放入LLM提示中作为排序证据。我们认为这一假设忽视了检索文档固有的语义稀疏性，其信噪比可能过低而无法有效支持LLM推理。这表明LLM重排序的主要瓶颈可能不仅在于模型如何比较文档，还在于实际暴露给它的证据是什么。在现实检索场景中，候选文档很少完全由查询相关的证据组成。我们对DL19数据集的分析揭示，文档内相关性高度异质。如图1所示，即使对于标记为相关的文档，其组成句子中有很大一部分在LLM进行细粒度检查时被评估为"不相关"。具体而言，在标记为噪声文档（图1b）的文档中，多达80%的句子可能与查询缺乏直接相关性，即使在相关文档（图1a）中，不相关内容仍占总长度的41%。这种文档内噪声的普遍存在，即关键证据被非贡献性上下文稀释，对重排序构成了潜在挑战（Liu et al., 2024）。因此，我们检验了一个假设：仅向零样本LLM重排序器暴露高密度证据片段可以提高排序稳定性和效率。这种方法将焦点从将文档视为单一单元转向管理提示内的"信噪比"。我们假设，通过过滤掉初步分析中识别出的低密度片段，我们可以缓解长上下文处理中常见的注意力分散和幻觉推理风险（Cuconasu, Trappolini, Siciliano, Filice, Campagnano, Maarek, Tonellotto, Silvestri, 2024, Wu, Xie, Chen, Zhu, Zhang, & Xiao），同时减少与冗余提示token相关的推理开销。

一个自然的解决方案是在LLM推理前过滤检索内容。然而，现有的过滤方法通常过于粗糙或成本过高，不适用于此目的。文档级过滤移除了整体看起来不相关的候选文档（Nouriinanloo, & Lamothe, Xiong, Tu, Zhao, 2025），但它无法处理相关文档同时包含有用和不相关句子的常见情况。上下文修剪和压缩方法在生成前选择或总结有用段落，但其中许多依赖于额外训练、自回归生成或特定任务的压缩目标。对于LLM重排序，需要的是轻量级且查询感知的预处理机制，能够在更细粒度上移除不相关内容，同时保留足够的证据用于文档比较。

受此观察启发，我们提出了SERank，一个用于基于LLM的重排序的无训练句子级过滤框架。SERank不是将每个候选文档视为不可分割的文本块，而是将每个文档分割成句子，并使用紧凑的嵌入编码器估计每个句子与查询之间的语义相关性。对于每个文档，SERank应用自适应相对阈值：那些相关性分数远低于同一文档中峰值证据的句子被移除，而保留的句子按原始顺序连接。过滤后的文档随后在列表式推理框架下传递给LLM重排序器。这一设计的核心在于证据集中度与比较推理之间的协同作用：通过清除文档内噪声，我们确保LLM有限的上下文窗口被填充了高密度证据，使列表式CoT能够专注于细微的文档间比较，而不是被不相关片段分散注意力。这样，SERank无需微调编码器或LLM即可同时提高重排序流水线的精度和效率。

SERank背后的关键直觉很简单：在要求LLM比较候选文档之前，我们应该先减少它必须阅读的不相关文本量。这与文档级预过滤不同，后者决定保留还是丢弃整个文档。SERank执行的是文档内证据选择，允许文档留在候选集中，同时移除不太可能支持相关性判断的句子。它也不同于生成式压缩方法，因为它直接保留原始句子而不是生成抽象摘要，从而避免了额外的生成成本并降低了引入不支持内容的风险。更重要的是，我们的贡献在于证明细粒度证据选择重塑了下游基于LLM的重排序的运行条件：通过提高输入证据质量，SERank在不修改底层排序机制的情况下实现更有效的相关性判断。

我们通过基于注意力的诊断指标进一步分析SERank。尽管注意力不应被解释为LLM行为的完整因果解释，但它提供了一个有用的比较信号，用于检查相同提示格式下过滤和未过滤的上下文。具体而言，我们引入证据密度和相对注意力集中度作为机制导向的诊断指标，而非新的排序目标主张。这些指标使我们能够量化过滤是否在减少上下文长度的同时保留了不成比例的注意力质量份额，从而阐明为什么适度过滤可以改进重排序，而过度激进的过滤可能移除互补证据。这支持了我们的假设，即提高输入证据密度可以同时受益于LLM重排序的有效性和效率。

在TREC DL 2019/2020和八个BEIR数据集上的大量实验表明，SERank在一致提高排序有效性的同时减少了推理成本。在评估的BEIR数据集中，SERank在我们的比较中实现了完整的零样本LLM重排序器中最佳平均性能。值得注意的是，句子级过滤使较小的LLM能够匹配或超越在未过滤文档上运行的较大模型。同时，它将输入token减少了约15.7%和25.9%，导致更低的延迟和推理成本。这些结果证实提高上下文粒度对基于LLM的重排序是有效的。

本文的主要贡献总结如下：
1. 我们识别出文档内噪声和低查询聚焦证据密度是列表式LLM重排序的重要瓶颈，并提出了一种基于注意力的密度指标来定量分析过滤如何改变LLM输入的证据集中度。
2. 我们提出了SERank，一个轻量级且无训练的框架，在LLM重排序前执行自适应查询感知句子过滤。
3. 我们通过TREC DL和BEIR基准上的实验表明，SERank在提高重排序有效性的同时减少了token使用和延迟，为零样本基于LLM的重排序提供了实用的有效性-效率权衡。

章节片段

文档重排序
文档重排序是现代信息检索系统的基本组件，它使用更复杂的相关性估计器来优化初始排序。经典方法包括监督学习排序方法，如RankSVM和LambdaMART，它们从手工或学习特征中学习排序函数（Liu, 2009）。随着预训练语言模型的出现，神经重排序器通过联合建模查询和文档进一步提高了有效性。

预备知识
为了分析文档证据如何与模型的相关性决策相关，我们提出了证据密度（ρattn），一种基于大语言模型（LLMs）内部注意力模式的后验可解释性诊断指标。我们将证据密度定义为分配给提示中文档上下文token的注意力质量比例。它在推理后计算，用于表征模型的相关性判断与输入上下文中提供的证据之间的关系。

实验设置

数据集和指标。我们在TREC深度学习（DL）和多个BEIR数据集上进行广泛评估，以评估我们方法的有效性和泛化能力。TREC DL 2019和TREC DL 2020是源自MS MARCO语料的文档排序基准，分别包含43个和54个查询主题，每个主题都有详细的分级相关性判断（Craswell, Mitra, Yilmaz, Campos, 2021, Craswell, Mitra, Yilmaz, Campos, Voorhees, 2020）。BEIR基准包含多样化的集合

局限性
尽管SERank在有效性和效率方面取得了持续改进，但仍存在几个局限性。首先，当前框架依赖大语言模型进行文档推理和句子级证据选择，这可能引入计算开销和推理延迟。尽管SERank相对于原生滑动窗口重排序改进了有效性-效率权衡，但对于延迟敏感或大规模部署仍需要进一步优化。

结论
在本文中，我们提出了SERank，一个旨在通过细粒度、句子级上下文集中度来增强基于LLM的重排序的轻量级且有效的框架。通过形式化证据密度（ρattn）的概念，我们识别出文档内噪声显著稀释了模型的注意力焦点，导致次优推理。SERank通过使用紧凑的句子编码器计算查询相关性分数并在...之前自适应地过滤噪声片段来解决这一问题

CRediT作者贡献声明
谢道伟：概念化、方法学、软件、调查、形式分析、初稿撰写。罗婧：数据整理、验证、可视化、调查、审阅与编辑。涂新辉：数据整理、验证、可视化、调查、审阅与编辑。

利益冲突声明
作者声明，他们没有已知的可能影响本文所述工作的竞争性财务利益或个人关系。

谢道伟|罗婧|涂新辉