利用神经查询空间邻近性进行查询性能预测

《ACM Transactions on Intelligent Systems and Technology》：Query Performance Prediction Using Neural Query Space Proximity

信息检索查询性能预测存在预检索依赖表面特征、后检索依赖文档质量等局限。本文提出基于查询空间距离的QSD-QPP框架，通过预训练语言模型获取上下文嵌入，构建查询子空间并利用历史查询关联进行性能预测，提供轻量级预检索和增强后检索两种模式，在MS MARCO、TREC等四个数据集上验证其预测准确性和鲁棒性优于现有基线。

　　

摘要

信息检索（IR）方法在处理不同查询时的表现存在差异，这包括基于Transformer的最新神经检索器。为实现稳健且可靠的检索效果，这一挑战尤为突出。查询性能预测（Query Performance Prediction, QPP）旨在评估特定查询的检索方法效果，从而能够采取适应性策略来改善检索结果，尤其是对于难度较高的查询。然而，现有的QPP方法面临一些根本性问题：预检索方法通常依赖于表面的查询特征，这些特征无法捕捉查询与检索效果之间的细微关系；而 post-retrieval 方法则严重依赖于检索到的文档质量，但对于复杂查询来说，这种依赖性可能并不可靠。为此，我们提出了基于查询空间距离的QPP（Query Space Distance-Based QPP, QSD-QPP）框架，该框架利用检索方法的确定性和一致性行为，通过参考已知效果的历史查询来预测查询性能。这一方法的灵感来自于观察结果：语义或语法相似的查询往往具有稳定的检索性能，这一特性可以被用来对未见过的查询进行可靠预测。QSD-QPP 有两种运行模式：（1）轻量级预检索模式，该模式基于嵌入距离动态构建查询子空间，以插值预测相似历史查询的性能；（2）增强型 post-retrieval 模式，该模式结合了上下文化嵌入、文档交互以及历史查询关联来提高预测准确性。通过使用从预训练语言模型中获得的大规模上下文化嵌入，QSD-QPP 能够高效识别语义相似的查询，并利用它们的性能进行稳健的预测。通过克服以往方法的局限性，QSD-QPP 在计算效率、预测准确性和可扩展性之间实现了平衡。我们在四个基准数据集上对 QSD-QPP 进行了评估，包括 MS MARCO Dev 和 TREC Deep Learning 轨道（2019、2020 年以及 DL-Hard），证明了其在预检索和 post-retrieval QPP 任务中相较于现有最佳方法的优越准确性和稳健性。为确保可重复性并鼓励进一步研究，我们公开发布了我们的实现代码。