工具检索桥:通过桥接模型将模糊指令与检索器偏好相匹配

《Neural Networks》:Tool Retrieval Bridge: Aligning Vague Instructions with Retriever Preferences via Bridge Model

【字体: 大 中 小 】 时间:2026年04月27日 来源:Neural Networks 6.3

编辑推荐:

  工具学习通过整合外部工具提升大语言模型(LLMs)能力,但现有基准多包含过度详细的指令,与真实场景中模糊的用户需求存在差距。本文构建了VGToolBench新基准,模拟人类模糊指令并验证其显著影响工具检索性能(平均下降50.39%)。为此提出TRB方法,通过桥梁模型分两阶段优化:预训练阶段将模糊指令转化为具体工具描述,强化学习阶段基于检索效果奖励对模型进行微调。实验表明TRB在BM25、TF-IDF等主流检索器上实现平均111.51%的性能提升,且效果稳定。

  
Kunfeng Chen|Luyao Zhuang|Fei Liao|Juhua Liu|Jian Wang|Bo Du
武汉大学人民医院消化内科,

摘要

工具学习已成为大型语言模型(LLMs)应对现实世界挑战的一个有前景的范式。由于工具数量庞大且更新不规律,因此选择所需工具子集的工具检索至关重要。然而,当前的工具检索方法通常基于包含过于详细指令的学术基准(例如,特定的API名称和参数),而现实世界中的指令则更为模糊。这种差异会阻碍工具在现实世界应用中的检索。在本文中,我们首先构建了一个新的基准测试平台VGToolBench,以模拟人类模糊的指令。基于此,我们进行了一系列初步分析,发现模糊指令确实会损害工具检索的性能。为此,我们提出了一种简单而有效的工具检索桥接器(TRB)方法来提升模糊指令的工具检索性能。TRB的原理是引入一个桥接模型,将模糊指令重写为更具体的指令,从而缩小模糊指令与检索器偏好之间的差距。我们在多种常用的检索设置下进行了广泛实验,结果表明TRB有效缓解了模糊指令的歧义性,并在所有基线检索器中实现了持续且显著的改进。例如,在TRB的帮助下,BM25的相对性能提升了高达111.51%,即平均NDCG分数从9.73提高到了19.59。源代码和模型可在https://github.com/kfchenhn/TRB获取。

引言

尽管大型语言模型(LLMs)在自然语言处理(NLP)领域取得了巨大成功(Achiam, Adler, Agarwal, Ahmad, Akkaya, Aleman, Almeida, Altenschmidt, Altman, Anadkat等人,Bai, Bai, Chu, Cui, Dang, Deng, Fan, Ge, Han, Huang等人,Touvron, Lavril, Izacard, Martinet, Lachaux, Lacroix, Rozière, Goyal, Hambro, Azhar等人,2023),但由于它们依赖于固定和参数化的知识,在复杂计算和提供最新信息方面仍存在不足(Qu等人,2025)。为此,工具学习(Cai, Wang, Ma, Chen, Zhou, 2024;Ding, Tao, Pang, Wei, Gao, Ding, Shen, Cheng, 2025;Hsieh, Chen, Li, Fujii, Ratner, Lee, Krishna, & Pfister, Lu, Peng, Cheng, Galley, Chang, Wu, Zhu, Gao, 2023;Qin, Hu, Lin, Chen, Ding, Cui, Zeng, Zhou, Huang, Xiao等人,2024;Shi, Gao, Yan, Feng, Chen, Chen, Yin, Verberne, Ren, 2025;Wang, Qin, Lin, Pan, Wong, 2024b)通过将LLMs与外部工具集成来释放其潜力,吸引了广泛关注。例如,利用搜索引擎,LLMs可以获得更准确和及时的信息,从而更好地与外部世界互动。
工具学习的一个关键挑战是确定特定任务所需的工具(Xu等人,2024)。为实现这一目标,有两种研究方向:1)上下文学习(ICL)(Brown, Mann, Ryder, Subbiah, Kaplan, Dhariwal, Neelakantan, Shyam, Sastry, Askell等人,2020;Gupta, Kembhavi, 2023;Lu, Peng, Cheng, Galley, Chang, Wu, Zhu, Gao, 2023;Surís, Menon, Vondrick, 2023),该方法指导LLMs理解上下文中的工具描述并选择相关工具(Gao等人,2024);2)监督式微调(SFT),通过微调将工具学习能力融入模型参数(Hao, Liu, Wang, Hu, 2023;Schick, Dwivedi-Yu, Dessi, Raileanu, Lomeli, Hambro, Zettlemoyer, Cancedda, Scialom, 2023;Wang, Han, Ji, Wang, Baldwin, & Li)。由于LLMs的SFT通常计算成本高且内存消耗大,当前的研究主要集中在基于ICL的方法上。然而,庞大的工具数量使得LLMs难以在有限的输入长度内包含所有工具。因此,从大规模工具集中选择合适的工具对于工具学习至关重要。
最近,为了便于工具检索和使用,提出了一系列工具学习基准测试平台,如ToolBench(Qin等人,2023)和APIBench(Peng等人,2022)。虽然这些基准测试平台包含了大规模和高质量的工具,但它们通常与现实世界场景有所不同(Wu等人,2024),如图1所示。具体来说,大多数基准测试平台是由专有的LLMs(例如ChatGPT)自动生成的,往往过于详细和具体。相比之下,人类用户通常用广泛和以结果为导向的术语来描述他们的需求。也就是说,用户的查询主要关注最终结果,例如“帮我整理这些数据”或“找出我的设备为什么无法工作”,这显然与详细的基准测试查询不同。这种风格差异可能会降低工具学习模型在现实世界应用中的鲁棒性和有效性。
为此,我们首先构建了一个模糊工具学习基准测试平台,称为VGToolBench,以模拟现实世界应用。具体来说,我们提示第三方LLM自动将ToolBench(Qin等人,2023)的原始指令重写为模糊指令。这一设计基于这样的观察:现实世界中的用户查询通常关注目标而非具体的工具名称,因此重写的指令仅保留高层次的意图。基于VGToolBench,我们进行了一系列初步分析,发现模糊指令确实显著损害了工具检索的性能,导致相对性能下降了50.39%工具检索桥接器(即TRB),以提升模糊指令的工具检索性能。TRB的原理是引入一个桥接模型来重写模糊指令,从而缩小模糊指令与检索器偏好之间的差距。更具体地说,桥接模型的训练包括两个阶段:?我们微调模型,使其将模糊指令重写为更具体的指令;?进一步优化SFT模型,通过使用检索性能作为强化学习(RL)的奖励来调整检索器的偏好。为了训练桥接模型,我们保持数据规模与ToolBench一致,以确保训练的稳定性和可靠性。
我们在构建的VGToolBench上对四种广泛使用的检索器(包括BM25(Robertson等人,2009)、TF-IDF(Ramos等人,2003)、AdaEmbeding和ToolRetriever(Qin等人,2023))评估了TRB的效果。广泛的实验结果表明,TRB不仅有效缓解了模糊指令的负面影响(即相对于原始检索器,平均性能提升了+111.51%),而且在所有检索器中都带来了持续且显著的改进。此外,我们进行了全面和深入的分析,以研究TRB中关键组件的效果。更令人鼓舞的是,结果表明迭代RL策略可以进一步提高TRB的有效性,我们的TRB也有利于后续的工具使用。
总结来说,我们的贡献有三点:(1)我们构建了一个新的工具学习基准测试平台VGToolBench,以模拟现实世界中的模糊指令。(2)为了缓解模糊指令的负面影响,我们提出了一种简单而有效的工具检索桥接器(TRB)方法,该方法使用桥接模型来使指令与检索器偏好保持一致。(3)广泛的实验表明,TRB在性能上大幅超越了原始检索器(即相对平均性能提升了+111.51%),证明了其有效性。
本文的其余部分安排如下。第2节简要回顾了相关工作。第3节构建了VGToolBench并进行了初步实验。第4节详细介绍了我们提出的方法。第5节报告并分析了实验结果。最后,第6节总结了我们的研究。

小节片段

工具学习基准测试

近年来,社区构建了多种基准测试平台来促进工具学习的研究,包括APIBench(Patil等人,2024)、API-Bank(Li等人,2023)、ToolAplaca(Tang等人,2023)、ToolQA(Zhuang等人,2023)和ToolBench(Qin等人,2023)等。值得注意的是,构建可靠的评估基准测试平台在其他NLP领域(如社交媒体文本分类、 abusive-language检测等)的数据集设计方法上具有相似性。

任务定义

工具检索的任务是从大规模工具库中选择与用户指令相关的工具子集。数学上,用户的指令表示为q,工具库表示为D={d1, d2, ?, dM},其中每个di代表一个特定工具的描述,M表示工具的总数。对于每个指令q,都有一个相关的工具真实列表Ug?D。检索器R计算指令q与工具di之间的相关性得分R(q, di)。

使模糊指令与检索器偏好对齐

动机
基于上述观察,我们认识到提高模糊指令检索性能的关键在于缩小用户习惯与检索器偏好之间的差距。受此启发,我们提出了工具检索桥接器方法TRB,该方法通过将模糊指令重写为更详细的指令来有效提升检索器的性能,从而缩小这一差距。TRB的概述如图3所示。
TRB的流程
增强

设置

数据集
除了第3.3节中的初步实验结果外,本节还提供了更全面的验证和分析。为了验证我们TRB的有效性,我们在ToolBench(Qin等人,2023)和我们提出的VGToolBench上进行了广泛的实验。具体来说,ToolBench包含16,464个涵盖各种类别的API,提供了近200,000个高质量(指令相关API)对作为工具学习的数据集。

结论

本文关注了工具检索中模糊指令的问题,这是一个关键但尚未充分探索的领域。具体来说,我们首先构建了一个新的工具学习基准测试平台VGToolBench,以模拟现实世界中的模糊指令。基于此,我们进行了一系列初步分析,发现模糊指令通常会损害工具检索器的性能。为了解决这个问题,我们进一步提出了一种简单而有效的工具检索桥接器(TRB)。

局限性与未来工作

尽管我们的框架显示出明显的改进,但仍存在一些局限性。首先,我们的VGToolBench是由第三方LLM合成的,可能会引入合成偏差,无法完全反映现实世界的模糊性。未来的工作将探索更具代表性的数据来源,包括真实用户查询和人类参与式的优化。此外,我们计划扩大VGToolBench基准测试平台的规模和多样性,包括多语言或领域特定的变体。

CRediT作者贡献声明

Kunfeng Chen:撰写——原始草稿,方法论。Luyao Zhuang:撰写——原始草稿,数据整理,概念化。Fei Liao:监督。Juhua Liu:撰写——审阅与编辑,监督。Jian Wang:验证,资源。Bo Du:监督。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。

致谢

本项工作得到了国家电网总部科技项目的资助:基于知识增强生成模型和智能代理的设备运行与检查处置推理技术研究及示范应用(5700-202458333A-2-1-ZX)。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号