RoboGPT：一种基于大语言模型（LLM）的长期决策实体代理，用于指令执行任务

《IEEE Transactions on Cognitive and Developmental Systems》：RoboGPT: An LLM-Based Long-Term Decision-Making Embodied Agent for Instruction Following Tasks

机器人规划与长程决策系统融合大语言模型与动态环境反馈机制，通过自监督学习构建的67k机器人数据集优化规划合理性，实验验证其在数百种未见日常任务及跨领域任务中的优越性。

　　

摘要：

机器人代理的任务是掌握常识，并根据自然语言指令做出长期序列决策以执行日常任务。大型语言模型（LLM）的最新进展推动了复杂机器人规划的探索。然而，尽管LLM具有出色的泛化和理解能力，但其任务计划有时仍存在准确性和可行性问题。为了解决这些挑战，我们提出了RoboGPT[11]（更多详情请参考我们的项目页面：https://github.com/Cwb0106/RoboGPT]。RoboGPT是一种专门为执行指令遵循任务而设计的具身代理。它整合了三个关键模块：1) RoboPlanner，这是一个基于LLM的规划模块，配备了67k的具身规划数据，能够将任务分解为逻辑子目标。我们使用基于模板反馈的自我指导方法编译了一个新的机器人数据集来微调Llama模型。RoboPlanner具有很强的泛化能力，可以规划数百个指令遵循任务；2) RoboSkill，针对每个子目标进行定制，以提升导航和操控能力；3) Re-Plan，一个根据实时环境反馈动态调整子目标的模块。通过利用RoboSkill生成的精确语义映射，可以通过计算子目标与环境中的对象之间的相似性来替换目标对象。实验结果表明，RoboGPT在数百个未见过的日常任务以及其他领域的任务规划合理性方面，超过了其他最先进（SOTA）方法，尤其是基于LLM的方法。

引言

具身人工智能（AI）任务，包括视觉导航和机器人操控，已经取得了快速进展[1]、[2]、[3]。预计未来的机器人将通过遵循自然语言指令来协助人类执行复杂的日常任务，例如“做饭”或“洗碗”[1]。现有的方法，包括模板规划[4]、[5]和专家引导的规划[6]、[7]，在处理七种类型的指令遵循任务方面取得了一些成功。然而，当前的代理仍无法完全理解指令任务，包括对象数量、前缀内容和对象依赖性等方面。