基于双向语义互补的遥感大语言模型智能体工具检索方法

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：Bidirectional Semantic Complementary Tool Retrieval for Remote Sensing Agents

　　

摘要：

基于大语言模型（LLM）的智能体为遥感（RS）数据的自动化处理提供了一种新范式。其在复杂遥感任务中的成功依赖于大量专业化工具库。然而，工具文档往往超出LLM的上下文窗口限制，使得精确的工具检索对于智能体工作流至关重要。现有的工具检索方法面临"语义不对称"瓶颈：自然语言查询通常表达宏观层面的意图，缺乏工具特有的语义信息，而工具文档则提供细粒度的技术描述，缺乏工作流的实际操作上下文。为弥合这一语义鸿沟，本文提出了一种双向语义互补的工具检索方法。首先，在查询端，我们引入了一种基于规划的查询增强机制，利用智能体的推理能力将抽象意图分解为逻辑子任务，从而主动为查询补充缺失的功能语义。其次，在工具端，针对遥感工具链的强耦合特性，我们构建了一个具有持续学习能力的动态工具依赖图。通过采用邻域信息聚合机制，将前驱工具的上下文信息显式注入当前节点表示中，为工具描述丰富上下文语义。在遥感数据集GeoPlan-bench和通用数据集API-Bank上的实验结果表明，所提出的方法不仅显著提高了复杂遥感任务的工具检索准确率，还展现出向通用领域任务迁移时的强鲁棒扩展性。源代码和数据集可在https://github.com/geox-lab/BSCTR获取。