大模型赋能的具身智能：决策与具身学习综述

《Neurocomputing》：Large model empowered embodied AI: A survey on decision-making and embodied learning

　　

• 提出了一个统一视角，阐述大模型如何通过决策和具身学习赋能具身智能。
• 提出了大模型赋能决策的分类体系。层次化决策被组织为高层规划、低层执行和基于反馈的增强；端到端决策被组织为视觉-语言-动作模型、状态空间模型、生成式动作模型和世界动作模型。
• 揭示了大模型如何重塑具身学习，涵盖模仿学习、强化学习、迁移学习和元学习。
• 研究了世界模型及其对大模型赋能决策和具身学习的贡献。
• 采用水平-垂直分析框架来揭示具身智能的演变、联系、局限性和挑战。

**引言**

具身智能[1]旨在开发具有物理实体、能够在真实环境中感知、推理、行动和学习的智能系统。人们相信，真正的智能源于智能体与环境的交互。尽管具身智能的探索已跨越数十年，但赋予智能体人类水平的智能仍是一项挑战，使其能够在开放、非结构化的动态环境中执行通用任务。早期的具身智能系统[2]、[3]基于符号推理和行为主义，依赖于刚性的预编程规则，导致适应性和智能较为有限。尽管机器人已被广泛应用于制造业、物流和专用操作，但其功能局限于受控环境中。机器学习的进步[4]，特别是深度学习[5]，标志着具身智能的转折点。视觉引导的规划[6]和基于强化学习的控制显著减少了智能体对精确环境建模的依赖。尽管取得了这些进展，但此类模型通常在任务特定的数据集上进行训练，在泛化和可迁移性方面仍面临限制。大模型的最新突破[7]、[8]、[9]、[10]显著提升了具身智能的能力。凭借强大的感知、交互和规划能力，这些模型为通用具身智能体[11]奠定了基础。同时，世界模型[12]在使具身智能体能够通过想象 rollout 模拟交互并积累经验方面发挥着关键作用，从而促进在复杂动态环境中更高效的学习、决策和适应。大模型和世界模型正日益融合，形成通往更强大具身智能体的重要路径。然而，具身智能领域仍在面临泛化、可扩展性和无缝环境交互方面的困难[13]。迫切需要系统地回顾大模型赋能具身智能的最新进展，以综合其演变、联系、挑战和机遇。

现有综述主要研究具身智能的特定模型类别或组件。通用大模型综述关注大语言模型[14]、[15]、[16]或多模态大语言模型[17]、[18]、[19]。机器人基础模型综述强调操作、规划、控制和自主性[1]、[20]、[21]、[22]，而基于大语言模型的机器人综述进一步研究规划、控制、交互和学习[23]、[24]、[25]。较新的综述转向视觉-语言-动作[26]、[27]、[28]、[29]和模仿学习等学习范式[30]、[31]、[32]。同时，世界模型综述研究预测建模、具身世界模型、基于模拟器的学习、机器人学习和世界-动作耦合[12]、[33]、[34]、[35]、[36]、[37]、[38]、[39]。更全面的综述涵盖具身智能[13]、[40]、[41]、[42]、[43]、[44]或多个组件，但通常围绕模型、任务或能力组织。这些综述对这些范式如何共同赋能具身智能的分析有限。为了弥合这一差距，我们的综述采用以决策和具身学习为中心的统一视角。我们考察大模型如何通过规划、执行和反馈增强层次化决策，以及通过VLA、SSM、GAM和WAM推进端到端决策。我们研究大模型如何在模仿学习、强化学习、迁移学习和元学习中赋能高效学习和快速适应，以及它们如何与世界模型协同进行预测性决策和学习。这一视角揭示了语义推理、动作生成和世界预测如何共同促进自主具身智能。表1提供了本综述与相关综述的比较。

本综述的主要贡献总结如下：

(1) **大模型赋能具身决策的分类体系。** 我们提出了一种分类体系，描述了大模型如何为层次化和端到端范式赋能具身决策。层次化决策研究被组织为高层规划、低层执行和基于反馈的增强，而端到端决策研究则被归类为VLA模型、SSM-VLA、GAM-VLA和WAM。这一分类体系阐明了代表性具身决策方法的特征、关系和演变。

(2) **大模型如何重塑具身学习的见解。** 我们研究大模型如何通过赋能策略学习、奖励设计、知识迁移和任务适应，在模仿学习、强化学习、迁移学习和元学习中重塑具身学习。

(3) **世界模型的架构和功能分析。** 我们分析世界模型，并将其架构归类为潜空间、基于Transformer、基于扩散和联合嵌入预测架构。我们阐明了世界模型与大模型之间的关系，并考察世界模型如何支持大模型赋能的决策和具身学习。

(4) **具身决策和学习的比较分析。** 我们对层次化和端到端决策，以及大模型在模仿学习、强化学习、迁移学习和元学习中的赋能进行系统比较。通过定性和定量分析，我们证明了大模型带来的实证收益。

(5) **深入理解的双重分析框架。** 我们采用双重分析框架将现有研究组织成一个连贯的格局。水平视角比较代表性大模型、决策范式、具身学习范式和世界模型架构，而垂直视角追溯其演变并揭示动机、局限性和开放挑战。

本综述的组织如下。第2节介绍具身智能的初步知识，概述大模型，并推导大模型与具身智能的协同效应。第3节深入研究层次化决策，阐述大模型如何赋能高层规划、低层执行和通过反馈进行优化。第4节聚焦端到端决策，涵盖VLA、SSM-VLA、GAM-VLA和WAM，并探讨感知、动作生成和部署效率的最新增强。第5节呈现具身学习，特别是大模型增强的模仿学习、强化学习、迁移学习和元学习。第6节介绍世界模型并讨论它们在大模型赋能的决策和具身学习中的功能角色。第7节识别开放挑战，第8节总结综述。

**第2节 初步知识**

大模型[14]、[15]、[16]近年来展现了令人印象深刻的能力并广受欢迎。研究人员利用这些模型构建AI智能体[11]、[45]、[46]、[47]。本节提供具身智能和大模型的初步知识。

**层次化自主决策**

智能体的自主决策将环境观测和任务指令转化为可执行的决策和物理动作。传统决策采用层次化范式，明确将复杂任务分解为多个决策级别。如图3所示，环境感知解释环境，高层规划随后考虑感知信息和任务指令将复杂任务分解为子任务，低层执行

**端到端自主决策**

层次化范式依赖于分离的任务规划、动作执行和反馈级别。它容易受到错误积累的影响，并且跨任务、环境和本体的泛化能力有限。大模型得出的高层知识难以直接应用于低层执行。为了缓解这些局限，端到端决策越来越受到关注。与层次化范式不同，端到端范式直接映射

**具身学习**

具身学习使智能体能够在与环境交互的过程中获取复杂技能并完善其能力[32]。通过持续学习和优化技能，智能体实现精确决策和实时适应。这种能力可以通过多种学习范式的协同来实现，如图9所示。模仿学习[158]使智能体快速获得初始策略，迁移学习[55]促进跨任务的知识迁移，

**世界模型在大模型赋能的具身智能中的应用**

世界模型作为环境的内部模拟或表征。借助世界模型，智能系统可以预测未来状态，理解因果关系，并做出合理决策，而不必完全依赖真实世界的交互。提供丰富的认知框架，世界模型促进在复杂动态环境中更高效的学习、决策和适应。大模型和世界模型是不同但互补的

**讨论、挑战与展望**

具身智能带来了前所未有的机遇。然而，挑战依然存在。本节探讨核心挑战并指出迈向真正智能具身系统的潜在研究方向。

**结论**

大模型的问世赋予具身智能体巨大的智能。本文对大模型赋能的具身智能进行了全面综述，聚焦于自主决策和具身学习以及世界建模。我们从介绍具身智能的初步知识和代表性大模型开始综述。然后我们详细阐述了具身智能的决策方法，详细说明了层次化和端到端范式，及其

**CRediT作者贡献声明**

Rui Zhou：写作-审阅与编辑，写作-初稿，监督，方法学，概念构思。

Wenlong Liang：写作-初稿，方法学。

Yang Ma：写作-初稿，方法学。

Bing Zhang：写作-初稿，调查研究。

Songlin Li：验证，调查研究。

Yijia Liao：写作-审阅与编辑，写作-初稿。

Ping Kuang：写作-审阅与编辑，监督，资金获取。

**利益冲突声明**

作者声明没有已知的竞争财务利益或个人关系可能影响本文所报告的工作。

Rui Zhou于2010年获得弗莱堡大学博士学位。她目前是电子科技大学的副教授。她的研究兴趣包括具身智能、空间智能和大语言模型。

作者名单：Rui Zhou | Wenlong Liang | Yang Ma | Bing Zhang | Songlin Li | Yijia Liao | Ping Kuang