尽管大型语言模型(LLMs)在自然语言处理(NLP)领域取得了巨大成功(Achiam, Adler, Agarwal, Ahmad, Akkaya, Aleman, Almeida, Altenschmidt, Altman, Anadkat等人,Bai, Bai, Chu, Cui, Dang, Deng, Fan, Ge, Han, Huang等人,Touvron, Lavril, Izacard, Martinet, Lachaux, Lacroix, Rozière, Goyal, Hambro, Azhar等人,2023),但由于它们依赖于固定和参数化的知识,在复杂计算和提供最新信息方面仍存在不足(Qu等人,2025)。为此,工具学习(Cai, Wang, Ma, Chen, Zhou, 2024;Ding, Tao, Pang, Wei, Gao, Ding, Shen, Cheng, 2025;Hsieh, Chen, Li, Fujii, Ratner, Lee, Krishna, & Pfister, Lu, Peng, Cheng, Galley, Chang, Wu, Zhu, Gao, 2023;Qin, Hu, Lin, Chen, Ding, Cui, Zeng, Zhou, Huang, Xiao等人,2024;Shi, Gao, Yan, Feng, Chen, Chen, Yin, Verberne, Ren, 2025;Wang, Qin, Lin, Pan, Wong, 2024b)通过将LLMs与外部工具集成来释放其潜力,吸引了广泛关注。例如,利用搜索引擎,LLMs可以获得更准确和及时的信息,从而更好地与外部世界互动。
工具学习的一个关键挑战是确定特定任务所需的工具(Xu等人,2024)。为实现这一目标,有两种研究方向:1)上下文学习(ICL)(Brown, Mann, Ryder, Subbiah, Kaplan, Dhariwal, Neelakantan, Shyam, Sastry, Askell等人,2020;Gupta, Kembhavi, 2023;Lu, Peng, Cheng, Galley, Chang, Wu, Zhu, Gao, 2023;Surís, Menon, Vondrick, 2023),该方法指导LLMs理解上下文中的工具描述并选择相关工具(Gao等人,2024);2)监督式微调(SFT),通过微调将工具学习能力融入模型参数(Hao, Liu, Wang, Hu, 2023;Schick, Dwivedi-Yu, Dessi, Raileanu, Lomeli, Hambro, Zettlemoyer, Cancedda, Scialom, 2023;Wang, Han, Ji, Wang, Baldwin, & Li)。由于LLMs的SFT通常计算成本高且内存消耗大,当前的研究主要集中在基于ICL的方法上。然而,庞大的工具数量使得LLMs难以在有限的输入长度内包含所有工具。因此,从大规模工具集中选择合适的工具对于工具学习至关重要。
最近,为了便于工具检索和使用,提出了一系列工具学习基准测试平台,如ToolBench(Qin等人,2023)和APIBench(Peng等人,2022)。虽然这些基准测试平台包含了大规模和高质量的工具,但它们通常与现实世界场景有所不同(Wu等人,2024),如图1所示。具体来说,大多数基准测试平台是由专有的LLMs(例如ChatGPT)自动生成的,往往过于详细和具体。相比之下,人类用户通常用广泛和以结果为导向的术语来描述他们的需求。也就是说,用户的查询主要关注最终结果,例如“帮我整理这些数据”或“找出我的设备为什么无法工作”,这显然与详细的基准测试查询不同。这种风格差异可能会降低工具学习模型在现实世界应用中的鲁棒性和有效性。
为此,我们首先构建了一个模糊工具学习基准测试平台,称为VGToolBench,以模拟现实世界应用。具体来说,我们提示第三方LLM自动将ToolBench(Qin等人,2023)的原始指令重写为模糊指令。这一设计基于这样的观察:现实世界中的用户查询通常关注目标而非具体的工具名称,因此重写的指令仅保留高层次的意图。基于VGToolBench,我们进行了一系列初步分析,发现模糊指令确实显著损害了工具检索的性能,导致相对性能下降了50.39%工具检索桥接器(即TRB),以提升模糊指令的工具检索性能。TRB的原理是引入一个桥接模型来重写模糊指令,从而缩小模糊指令与检索器偏好之间的差距。更具体地说,桥接模型的训练包括两个阶段:?我们微调模型,使其将模糊指令重写为更具体的指令;?进一步优化SFT模型,通过使用检索性能作为强化学习(RL)的奖励来调整检索器的偏好。为了训练桥接模型,我们保持数据规模与ToolBench一致,以确保训练的稳定性和可靠性。
我们在构建的VGToolBench上对四种广泛使用的检索器(包括BM25(Robertson等人,2009)、TF-IDF(Ramos等人,2003)、AdaEmbeding和ToolRetriever(Qin等人,2023))评估了TRB的效果。广泛的实验结果表明,TRB不仅有效缓解了模糊指令的负面影响(即相对于原始检索器,平均性能提升了+111.51%),而且在所有检索器中都带来了持续且显著的改进。此外,我们进行了全面和深入的分析,以研究TRB中关键组件的效果。更令人鼓舞的是,结果表明迭代RL策略可以进一步提高TRB的有效性,我们的TRB也有利于后续的工具使用。
总结来说,我们的贡献有三点:(1)我们构建了一个新的工具学习基准测试平台VGToolBench,以模拟现实世界中的模糊指令。(2)为了缓解模糊指令的负面影响,我们提出了一种简单而有效的工具检索桥接器(TRB)方法,该方法使用桥接模型来使指令与检索器偏好保持一致。(3)广泛的实验表明,TRB在性能上大幅超越了原始检索器(即相对平均性能提升了+111.51%),证明了其有效性。
本文的其余部分安排如下。第2节简要回顾了相关工作。第3节构建了VGToolBench并进行了初步实验。第4节详细介绍了我们提出的方法。第5节报告并分析了实验结果。最后,第6节总结了我们的研究。