基于LLM的增强型渐进搜索方法，用于高效的多机器人任务规划

《Advanced Engineering Informatics》：LLM-augmented progressive search for efficient multi-robot task planning

　　

• •
  一种基于大语言模型（LLM）增强的渐进式搜索框架，用于多机器人协作规划。
• •
  将LLM与前瞻性搜索算法集成，以识别高效计划。
• •
  搜索经验引导LLM在大型搜索空间中找到更有价值的计划。
• •
  分组选择可以减少渐进式搜索中的误导性探索。

引言

随着智能制造时代的到来，多机器人系统已被集成到各种自动化制造环境中，显著提高了多种任务的生产效率[1]，[2]，[3]。尽管取得了这些进展，但由于任务的时间跨度较长、机器人数量众多且功能各异，以及机器人协作中的安全问题，这些机器人的规划仍然具有挑战性。随着人类需求的不断变化，多机器人系统需要能够快速调整决策以应对各种任务[4]，[5]，这些挑战变得更加严峻。然而，由于适应新任务的能力有限，通常需要针对特定场景进行工程设计[6]。

预训练的大语言模型（LLM）的快速发展展示了它们在多样化任务中的零样本和少量样本泛化能力[7]，[8]，这促使人们最近尝试将它们用于单机器人系统的任务规划[9]，[10]。为了提高规划性能，一些研究采用了提示技术[9]，[11]，并进一步引入了闭环反馈机制来纠正LLM由于“幻觉”而产生的不可行计划[12]，[13]。受到这一成功的启发，一个尚未得到充分研究的但有趣的研究方向是将LLM作为多机器人任务规划器[14]，[15]，[16]。在这个背景下，我们的目标是通过更深入地利用LLM的未充分发挥的能力来促进多机器人协作，使多机器人系统能够在最小程度的人为干预下高效完成多样化和定制化的任务目标。

然而，多机器人协作通常涉及较长的任务时间跨度，需要多步骤规划来实现目标。扩展到大型机器人团队会导致许多可能的协调动作，而LLM存在固有的不准确性，需要评估这些可能动作的长期结果以确定下一个协调动作。此外，LLM可能由于“幻觉”而产生违反机器人间动作依赖性的协调动作。这引出了一个关键问题：

我们如何在不影响LLM作为多机器人任务规划器的泛化能力的同时，从众多可能的协调动作中可靠地识别出高效计划？

虽然最近的一些研究探讨了多个LLM的集体推理来生成行动计划[17]，[18]，但这些方法并没有直接关注从众多可能的协调动作中确定高效计划的问题。例如，RoCo[14]为每个机器人分配了一个LLM，所有LLM通过迭代对话来确定每个机器人的动作。尽管这种解决方案允许每个LLM专注于其分配到的机器人的动作，但随着系统扩展到多个机器人，它难以使所有LLM产生高效计划。此外，HMAS[15]提出了两种混合对话框架，结合了集中式和本地LLM规划器，但它们的主要关注点是多LLM协作框架的可扩展性。COHERENT[16]使用中央LLM任务分配器和机器人的LLM执行器来协作完成复杂任务。然而，它主要利用LLM来理解异构机器人的动作技能，以便进行子任务分解和分配。为了确保计划的效率，挑战在于LLM评估其生成计划和探索更好可能性方面的能力有限。总体而言，现有研究并没有完全解决我们提出的问题，需要进一步探索。

LLM和搜索算法的一个有趣特点是它们的互补优势和劣势。LLM-MCTS[19]使用LLM指导蒙特卡洛树搜索（MCTS）来探索可用动作，根据估计值在单机器人环境中确定下一个动作。这种集成为解决上述问题提供了一个有前途的想法，但在多机器人环境中并不简单。即使LLM提供了动作选择，由于协调动作空间庞大，也只有LLM青睐的一部分动作会在搜索过程中被反复探索以进行有效值估计。此外，由于协调动作之间的相互依赖性，LLM可能会出现“幻觉”，从而导致错误的动作探索。

为了解决这个问题，我们提出了一种称为“带LLM的检索增强型渐进搜索”（RePS-LLM）的规划框架，如图1所示，该框架利用LLM通过检索到的知识来指导多机器人协作中的高效行动计划搜索。在RePS-LLM中，LLM通过检索增强生成（RAG）的帮助来指导MCTS逐步添加潜在的行动计划进行探索，从而减少搜索空间。通过检索从搜索经验中获得的知识，LLM得到增强，帮助MCTS逐步探索更有希望的动作子集以进行价值估计，从而识别出高效行动计划。为了避免错误的渐进式动作探索，引入了一种依赖性感知的分组选择策略，通过将动作选择分组来形成可行的协调计划，提高搜索效率。表1提供了与现有方法的比较。总体而言，本工作的关键贡献如下：

• (1)
  将LLM集成到搜索算法中，以逐步探索多机器人协作中的大型协调动作空间，使多机器人任务规划器能够可靠地识别高效计划，同时保持其泛化能力。
• (2)
  提出了一种RAG辅助的LLM策略，逐步添加行动计划，减少搜索空间，并使搜索偏向于有效评估行动计划空间的有价值部分。
• 提出了一种由LLM指导的分组选择策略，以避免在搜索过程中的错误探索，从而提高搜索效率。

本工作的其余部分安排如下：第2节概述了机器人学中LLM的相关工作，并将我们的方法置于现有方法之中。第3节正式描述了问题设置。第4节介绍了所提出的框架，该框架将RAG增强的LLM策略和分组选择策略结合到逐步扩展的MCTS中。第5节报告了在多机器人任务场景中的结果。第6节分析了该方法的有效性、局限性、未来发展方向和社会影响。最后，第7节提供了简洁的总结。

章节片段

相关工作

任务规划领域非常广泛且不断发展，这得益于机器人学和AI研究社区的融合。随着像GPT-4这样的LLM继续扩展其用途，超越了基本的文本处理，它们在多机器人系统中发挥着变革性作用。本节概述了LLM在机器人学和任务规划中的应用进展，以及我们专注于将LLM创新用于制造中的多机器人任务规划的研究。

问题表述

本研究探讨了依赖协调的多机器人任务的任务规划问题。我们专注于仓库环境中的多机器人协作物体运输[15]，尽管我们的方法是一个通用框架。给定一个人类提供的自然语言任务描述，我们的系统配备了$N$个机器人，必须理解和推理任务，为机器人分配动作，并执行多步骤规划以实现目标。通过最大化效率来完成任务

方法论

我们的目标是将LLM的泛化能力融入多机器人任务规划中，同时减轻它们在生成高效行动计划方面的局限性。与现有方法[19]类似，我们使用LLM作为启发式策略来指导MCTS进行有偏样本动作评估，以识别高效计划。然而，由于协调动作的空间非常大，只有少数受LLM青睐的动作会收到重复访问，以便进行有效值估计。

测试环境

为了验证所提出的方法，我们采用了三种多机器人任务规划环境：BoxNet1、BoxNet2和Warehouse，这些环境在[15]中设计。为了证明我们的算法框架能够在复杂的多机器人动作空间中确保规划结果的质量，我们在BoxNet1中引入了碰撞因素来增加规划难度。我们逐步增加所有环境中的机器人数量，以评估我们的框架在指数级增长的动作空间下的搜索效率。

讨论

LLM生成的多机器人协作计划表面上看似确定的性质来自何处？我们的见解来自实验观察。由于缺乏观察物理过程后果的真实模型，LLM在准确评估生成计划的价值方面能力有限，这使得在指数级庞大的搜索树中区分表面上相似的计划的最优性变得具有挑战性。因此，ES结果表明

结论

我们的研究了LLM基于的多机器人协作任务规划在扩展到更大机器人团队和更长任务时间跨度时的效率。我们提出了一种LLM增强的渐进式搜索框架RePS-LLM，该框架将RAG辅助的LLM策略与分组选择策略结合，以指导MCTS有效解决协作规划问题。RAG辅助的LLM通过逐步扩展到更有希望的动作子集来进行评估，从而

CRediT作者贡献声明

林明（Liming Xin）：撰写——审阅与编辑，监督，资源管理。王佳乐（Jiale Wang）：撰写——原始草案，方法论，数据整理。姚伟然（Weiran Yao）：撰写——审阅与编辑，验证，形式分析。齐俊桐（Juntong Qi）：撰写——审阅与编辑，验证。刘月华（Yuehua Liu）：撰写——审阅与编辑，验证，监督，调查。

利益冲突声明

作者声明他们没有已知的可能影响本文工作的财务利益或个人关系。

致谢

本研究得到了国家自然科学基金（项目编号62333014、62503311）、上海阳帆计划（24YF2713200）和上海浦江计划（24PJA029）的支持。

林明|王佳乐|姚伟然|齐俊桐|刘月华