大语言模型查询规划器中的类别误路由：一种可复现的故障模式及面向电商搜索的无标注审计方法

《Information Processing & Management》：Category mis-routing in LLM query planners: A reproducible failure mode and a label-free audit for e-commerce search

　　

•大型语言模型（LLM）查询规划器（query planners）会替购物者指派一个他们从未提及的商品品类。
•作为一种硬性预过滤，激进式提示词下的一个猜测会剔除三分之一的相关结果集。
•在激进式提示词下，路由率（routing）约等于100%；在默认提示词下，则为0.00–0.73。
•标准的忠实度评分器（包括 RAGAS）会漏掉约一半这类错误。
•QP-Faith 不需要人工标注；只需一行修复，就能将强规划器的路由率降至 16%–27%。

引言

LLM 查询规划器是现代电商搜索中已经落地部署的组件。一个语言模型会把购物者的简短查询转换成一份结构化的属性过滤计划。例如，"turquoise pillows"（绿松石色靠枕）会被转换为 product_type: pillow（商品类型：靠枕）、color: turquoise（颜色：绿松石）。随后搜索后端会应用这些属性，对商品目录进行约束或排序。工业系统在检索之前就会应用这些抽取出的过滤器，从而只考虑满足约束条件的商品（Siddiqui et al., 2026）。这份计划不是一项建议，它决定着购物者能够找到什么。

这使查询计划成为一个在很大程度上未被审视的可靠性层面。工业界报告只是顺带提及这一症状，并且是在专有数据上讨论的，并未度量一个被凭空输出的过滤器实际上是否会排除掉某个相关商品（Liu et al., 2026）。

我们研究这一失败模式的一个具体、高影响的实例，如图1所示。考虑一类"无类型实体查询"（type-less entity query），即查询中提到的是一个装饰母题（motif）而非商品本身，例如"dinosaur"（恐龙）或"pineapple"（菠萝）。当被提示去收窄商品目录时，规划器会输出一个查询中从未表达的商品品类（例如 product_type: toy，商品类型：玩具）。当这一虚假约束被作为品类预过滤条件应用时，它会移除大部分真正相关的商品目录。相关商品（恐龙主题墙饰、床品、地毯、家居装饰）并不在被猜中的那个品类里，购物者会无声无息地失去它们。

我们的核心发现是行为性的、也是精确的：规划器把这类欠明确的词（under-specified term）路由到了"商品品类"槽位，而不是"描述性"槽位。品类facet（面向用户可见的属性切面）在相关商品上的覆盖近乎是普遍的。当它被作为硬过滤条件施加时，这一个槽位就能排除掉整个相关集。在收窄目录的压力下，即便面对主题类查询，规划器也会输出品类，把欠明确的词路由进 product_type。这一行为依赖于提示词和模型：在中性提示词下，对齐最好的规划器不输出品类，而较弱的开源模型仍会路由；而对无类型查询添加一条省略品类的单行指令，就能在很大程度上消除这一行为（第5.5节）。激进式提示词暴露了这种脆弱性，却没有制造它。危害来自一个联立条件（conjunction）：品类facet几乎在每一个 WANDS 相关商品上都被填充（覆盖率 0.93，而颜色、材质、风格的覆盖率约为0.5）。一个母题的相关商品散布在许多品类之中，对单一猜测品类施加硬过滤，就会使几乎所有相关商品都被剔除。仅有高覆盖率是不够的：在"显式类型"查询上，一个高覆盖率的facet是无害的。从概念上讲，无类型的母题查询表达的是一种探索性、主题性的需求（Marchionini, 2006; White & Roth, 2009），它跨越多个品类。而硬品类过滤会把这种需求强行扭曲成对某一单一品类的已知条目检索。这个过滤器不仅是"不够精确"，它对查询意图而言是规格设定错误（mis-specified）的。

一个具体示例。查询"dinosaur"让这个机制变得具体。它命名的是一个装饰母题，而 WANDS 的相关性标注也确实如此看待它：为"dinosaur"标注为 Exact（完全相关）的商品横跨41个不同的商品类（第3.4节），从墙饰到床品到地毯。在"激进式收窄目录"的提示词下，规划器输出 product_type: toy——这也是该查询下最常见的猜测（附录C.1）。作为硬性品类预过滤施加时，这一个约束只保留玩具类商品，在排序之前就把其余40个类全部剔除，于是购物者想要的恐龙墙饰、床品和地毯永远无法进入结果。跨这类无类型查询，在该提示词下汇总的 recall@100 损失为 0.74（第5.2节）；下游排序器无法把被排除的商品找回来，因为这个过滤器位于排序之前（附录C.10）。补救办法不是更大的模型，而是对查询计划的调整：指示规划器对无类型查询省略品类，可将路由率从 1.00 降到 0.16–0.27（第5.5节）。

这不是通常意义上"捏造属性值"的幻觉。被输出的品类通常是一个真实、合理的品类。失败之处在于：把一个查询从未表达的高影响谓词（predicate）凭空承诺了下来，我们称之为"错误路由"（mis-routing）。工业报告提到了这一症状，称之为"错误的 facet 类型化"（incorrect facet typing）或"过度抽取"（over-extraction）（Liu et al., 2026）。我们的贡献不是这一现象本身，也不是其机制（对硬过滤选择性原理的正确重述，见 Hearst, 2009; Tunkelang, 2009）。我们的贡献是四件事：基于公开分级数据的检索落地式度量、发布的免标注审计工具、提示词与架构（schema）之间的解耦，以及忠实度评分器的盲区。

精确地说，mis-routing 是指输出一个查询并未蕴含（not entailed by the query）的高覆盖率品类约束。它涵盖了附录C.1中列举的各类错误类型。它与"属性值幻觉"有两点不同。第一，被输出的值是一个合法的品类。一个只问"这个值是否真实、是否有依据"的内容忠实度检查不会把它标记出来。捕获 mis-routing 需要进行"查询蕴含"检查（query-entailment check）。我们把这一检查采纳为本文操作性忠实度定义（第2节），并在第5.5节加以验证。第二，它的危害取决于下游应用语义，而非取决于值本身：作为软信号它无害，作为硬过滤则会造成损害。

我们在公开数据上研究这一问题，采用"相关性落地式危害协议"（relevance-grounded harm protocol）与程序生成的实体探针（entity probe）。探针的标签由其构造所确定：对于真正无类型的实体查询，查询中并未表达任何商品类型，因此任何被输出的类型都是虚假的；我们不预设探针的无类型精确度，而是对其进行了度量：WANDS 母题中有 0.76 [0.66, 0.87] 被确认为无类型，主要结论在验证清洁的子集上依然成立（第3.4节）。我们将其作为 QP-Faith（Query-Planner Faithfulness，查询规划器忠实度）发布。下文的贡献通过实际检索量化危害、刻画其提示词诱发的成因，并提供可部署的缓解方案。本文聚焦品类槽位，因为它是生产默认配置下的硬过滤器，而实体探针按其构造即可度量其危害。同样的"执行模式 × 相关集分布广度"（enforcement-mode × relevant-set-spread）机制也在猜测品牌或颜色时驱动同样的问题。我们在使用人工标注的 ESCI 数据上验证之。品类是生产默认配置下的实例，而品牌和颜色是在人工标注上对同一机制的确认。

暴露范围是有界的。那些以软方式应用品类，或将其作为多个检索分支之一联合起来再排序的系统，在结构上是受保护的（第6节）。急性暴露的群体是"朴素单漏斗硬过滤规划器"（naive single-funnel hard-filter planners）。它也包含固定的单值槽位schema，其中缺少宽容的析取（disjunction）运算符——例如某些检索增强生成（RAG）元数据过滤器——在这种场景下，我们展示该失败模式在一个被广泛使用的框架内、在激进式构造器（constructor）下是可触发的（第6.4节）。这并不意味着现代电商搜索整体都存在此问题。Text-to-SQL 更为受保护，因为规划器可以写出析取，虽然它并非完全免疫；相关分析留待第6节。QP-Faith 为智能检索系统贡献了一个诊断框架，包含三个部分：一个结构性解释（执行模式 × 相关集分布广度），说明危害为何集中出现在品类槽位；一个免标注审计，在公开分级数据上度量它；以及两种无需再训练的缓解方案。它告诉从业者候选规划器是否存在过度路由。通过表7的决策辅助工具，它还告诉他们自己的配置是否处于暴露状态、以及该用哪一种修复方案。

修复方案只是一行的提示词改动，但发现"它需要修复"却并不简单。团队通常会跑的标准化内容忠实度评估并不会暴露出这种失败（第5.5节），于是规划器可以顺利通过其"接地性"（groundedness）检查，同时却悄悄排除了大部分相关商品目录。这种"简单补救"与"隐形成因"之间的落差，正是审计工具——而非那一行修复——成为贡献的原因。

贡献

1. 一个可复现的失败模式。我们识别出"品类错误路由"（category mis-routing）：规划器输出一个查询从未表达的高覆盖率品类约束；当被作为硬过滤器强制执行时，它会排除大部分相关集。我们在9个模型、6个提供商上验证了它，并给出了它为何会集中在品类槽位的机制解释（见下文）。

2. QP-Faith，一个免标注的路由审计工具（可复用的工件）。它是一个基于相关性、逐槽位的协议，使用一个程序生成的实体探针，其标签由构造所确定，适用于 WANDS 与 Amazon/ESCI 数据，并对探针的无类型精确度进行了度量（第3.4节）。它还包括探针生成器、打分与验证脚本、查询-属性参考表，以及忠实度检查框架。其可移植核心是一个免标注路由检查，任何部署方都可以在自己的商品目录和规划器上运行。

3. 一个机制：执行模式 × 相关集分布广度。品类facet几乎是普遍被填充的，而一个母题的相关商品横跨多个品类，因此单一硬等值过滤会排除掉其中大部分。软执行、联邦式执行或联合（union）执行则不会。我们用一个 2×2 的"槽位 × 执行方式"对照实验和一个解耦的密集相关性检查将其隔离出来。

4. 模型内解耦与忠实度评分器洞察。路由在很大程度上受提示词控制，它不是固定的能力上限，也不取决于槽位是否被标记为可选。将其标记为可选时，路由率仍为 1.00；一条单行"省略"指令则将其降到 0.16–0.27，并可迁移到6个 API 规划器。此外，一个被复用的内容忠实度评分器对 mis-routing 是盲的，而一个查询条件化的检查可以将其与合法显式类型化区分开来。现成检查点在隐式类型（implicit types）上表现较弱，因此贡献在于评估维度本身，而非分类器。

5. 通过检索在人工相关性标注上度量危害。在人工标注的 ESCI 查询上，一个被凭空猜测的颜色或品牌，作为硬预过滤作用于全量 120 万商品目录的实际检索中，在激进式提示词下会使人工标注 Exact 集上的 recall@100 损失 0.03（品牌）至 0.09（颜色）（在0.24的查询上规划器承诺了一个虚假颜色，在0.10上承诺了品牌，一次触发的猜测会在全目录上剔除约三分之一的相关集）。这是在人工相关性标注上通过检索度量的退化，而非按构造给出的标签；虚假性由第5.2节的自动蕴含审计判定，而非由人工裁决。两种度量工具是互补的：WANDS 的"清洁品类"仪器给出了更大的召回损失幅度（在提示词阶梯的"克制"端为 0.54，在"激进"端为 0.74，两者都不是默认提示词下的率），但这一幅度以"单漏斗硬过滤"和"将标注视为意图"为前提条件。ESCI 提供的则是人工标注的验证，在不做该假设的情况下证明危害真实存在，只是量级较小（如上述度量所示）。凡两处共同出现，我们都保持其分离。

6. 跨模型、跨领域的稳健性与部署决策辅助（表7）。覆盖6个提供商、9个模型（7B–70B），并在带时间戳的分析计划下于消费电子和服装领域做了复现验证，虽未做到正式预注册（第5.7节）。它还给出了一张图，标明哪些生产配置处于暴露状态、哪些配置在结构上界定了危害。

范围

QP-Faith 审计的是给定的规划器和配置：它报告规划器是否过度路由，并通过表7的决策辅助工具报告部署是否处于暴露状态。暴露的"单漏斗硬过滤"配置在生产中究竟有多常见，是一个部署问题。本审计允许每个操作者针对自己的技术栈给出答案，本文不做估计。路由结论是无假设依赖的。基于 WANDS 精选品类的幅度只是一个有界的损失示例，用于说明在暴露配置下的代价，它建立在单一家居领域 n=55 个母题之上，也把"母题相关性"当作"意图"来处理——这是公开数据无法通过点击加以验证的。第5.2节中基于人工标注 ESCI 的路由危害并不依赖该假设，它落在由人工标注者做出的相关性判断之上。

我们的首要目标是判定 LLM 查询规划器在电商搜索中是否会犯下某一种具体的、高影响的忠实度失败：即输出一个查询从未表达的商品品类。然后我们度量它的检索代价，解释它为何集中出现在何处，并说明为什么标准忠实度检查会漏掉它。最后我们提供一个可部署的审计工具和修复方案。我们提出五个研究问题：

• RQ1（现象）。LLM 查询规划器是否会将无类型实体查询路由到"商品品类"槽位，而非"描述性"槽位？在不同模型、提供商和提示词激进程度下，路由率的差异有多大？（第5.1节"现象：规划器将无类型查询路由进品类槽位"、5.3节"跨模型、跨领域"）

• RQ2（危害）。当被凭空输出的品类被作为硬性预过滤强制执行时，它会移除多少分级相关召回？我们通过一次实际的检索，同时对照"按构造确定的探针标签"和"人工相关性判断"来进行度量。（第5.2节）

• RQ3（机制）。

为什么危害集中在类别槽位，而不是规划器输出的其他槽位？（第 5.2 节）
•RQ4（检测）。复用的内容忠实度评分器是否能检测到类别错误路由，需要何种检查才能捕捉到它？（第 5.5 节）
•RQ5（缓解）。哪些无需重训的干预措施能减少错误路由？它们在开放权重和托管 API 规划器之间的迁移效果如何，精度代价又是多少？（第 5.5 节）
讨论部分（第 6 节）回归到这五个问题并逐一作答。

章节片段
相关工作
电商搜索中的查询理解和属性提取。将自由文本查询转换为结构化属性是一项长期以来的工作。监督序列标注和命名实体识别（NER）用属性类型对查询标记进行标记。QueryNER（Palen-Michel 等人，2024）将查询分割为带有类型的片段。生产服务大规模解析此类跨度以服务于排序（Cheng 等人，2021；Luo 等人，2024）。这些方法仅根据分割准确率进行评分，未衡量当标签被应用为...时发生的情况。

数据集
本研究使用了三个公开的产品搜索资源，均公开可用并按其发布条款使用，以及一个基于它们构建的程序化探针。表 1 对它们进行了总结。我们在下文描述每一项并说明如何使用。探针的详细情况见第 3.4 节。
WANDS（Chen 等人，2022）是我们的主要领域。它是 Wayfair 发布的一个产品搜索相关性集合。它包含 480 个搜索查询，42,994 个家居产品，以及 233,448 个人工评级的查询 - 产品对。每个对...

模型
我们评估了来自六个提供商的九个规划器，涵盖 7B 到 70B 的开放权重模型和专有前沿 API。它们分别是：阿里巴巴（Qwen2.5-7B），Meta（Llama-3.1-8B, Llama-3.3-70B），Mistral（Mistral-7B-v0.3），Google（Gemma-2-9B），Anthropic（Claude Haiku 4.5, Claude Sonnet 4.6），以及 OpenAI（gpt-4o, gpt-5.2）。这九个模型在两个领域上运行（第 4.3 节）。另外两个 Google 模型在 WANDS 领域进行了评估作为补充检查（第 5.3 节）：Gemini 3 Flash...

结果
起支撑作用的结果是人工评级的危害及其对提示的依赖性，而非路由普查。在人工评级的 ESCI 查询上，当猜测触发时，虚假的品牌或颜色硬过滤会剔除约三分之一的相关集合，并在所有查询平均后使召回率@100 下降 0.03 到 0.09，虚假性由自动判断（第 5.2 节）。其机制是执行模式 × 相关集合的分散度。对于一个相关条目分散在许多取值上的槽位进行硬过滤，会排除其中几乎所有条目。

讨论
本节将结果归纳在一起。我们首先综合本研究确立的内容，按照第 1.1 节的五个研究问题进行组织。然后我们转向理论和实际影响、失败泛化的条件以及局限性。

结论
大语言模型查询规划器过度约束了电商搜索。原因并非一般的属性幻觉，而是将规格不明确的术语路由到产品类别槽位，该槽位因其近乎普遍覆盖性，使硬过滤能够排除整个相关集合。持久的贡献包括五个部分：基于检索的测量和发布的无标签路由审计；提示与架构的分离；发现复用的内容忠实度检查会错过错误路由，而一个 aC...

CRediT 作者贡献声明
Srijith Ravikumar：概念化、方法论、软件、形式分析、调查、数据整理、可视化、撰写 – 原稿、撰写 – 审阅与编辑。

伦理批准
第 3.4 节报告了由人提供判断的两种活动：对 60 个查询 - 产品对的相关性检查以及对主题纯度的裁定。在这两种情况下，被判断的内容是公开可用的产品元数据。未收集、分析或报告关于标注者本身的信息，数据和发布的工件中不存在关于他们的私密或可识别信息。随之而来的决定是，这不属于...意义上的人类受试者研究。

资金
本研究未从公共、商业或非营利部门的资助机构收到任何特定资助。

手稿准备过程中生成式人工智能和人工智能辅助技术的声明
在准备本工作期间，作者使用 Claude（Anthropic）进行语言编辑。使用该工具后，作者根据需要审查和编辑了内容，并对出版物的内容承担全部责任。

利益冲突声明
作者受雇于 Amazon.com LLC。本工作独立于该雇佣关系开展，且在作者的工作职责之外。Amazon 未参与研究设计、数据的收集、分析或解释、手稿的撰写，或提交出版的决定。本研究仅使用公开可用的数据集（WANDS, Amazon ESCI）和公开可用的模型及 API，未报告任何 Amazon 内部数据或系统。作者...

致谢
无。

Srijith Ravikumar