综述:面向非结构化环境中自主机器人的基础模型:当前技术前沿、挑战与未来路径

《Eng》:Foundation Models for Autonomous Robots in Unstructured Environments: Current State-of-the-Art, Challenges, and Future Pathways

【字体: 大 中 小 】 时间:2026年07月23日 来源:Eng 3.5

编辑推荐:

  摘要 在非结构化环境(如建筑工地)中自动化活动一直因不可预测事件而具有挑战性,与结构化环境相比限制了机器人的采用。近期,预训练基础模型(Foundation Models),特别是大型语言模型(Large Language Models, LLMs),通过其卓

  
摘要
在非结构化环境(如建筑工地)中自动化活动一直因不可预测事件而具有挑战性,与结构化环境相比限制了机器人的采用。近期,预训练基础模型(Foundation Models),特别是大型语言模型(Large Language Models, LLMs),通过其卓越的泛化能力显示出解决这一挑战的潜力。本研究采用了一种多维方法,系统地回顾了机器人学和非结构化环境中基础模型的不同视角,并将其与审议性行动理论(deliberative acting theory)相结合。研究结果表明,LLMs的语言能力主要用于改善机器人任务中的感知和人机交互,而项目管理、安全性和自然灾害检测中的应用是基础模型在非结构化环境中应用最广泛的领域。研究人员的综合显示,该领域存在一个实证空白,即在非结构化环境中,较少的已识别研究通过物理部署的机器人验证了其基础模型应用。研究人员将当前技术前沿定位在条件自动化(conditional automation)的五级自动化尺度上。这些发现为未来实现自主安全非结构化环境的场景、挑战和解决方案提供了信息。研究人员的研究可作为追踪该未来进展的基准。
1. Introduction
非结构化环境(如建筑工地)中的自动化任务因不可预测事件而长期面临挑战,限制了机器人在此类环境中的采用,与结构化环境(如制造业)形成对比。现有解决方案包括预编程和远程操作,但前者泛化能力有限,后者依赖人类操作员。预训练基础模型(Foundation Models, FMs),特别是大型语言模型(Large Language Models, LLMs),凭借其卓越的泛化能力,为解决这一难题提供了新途径。本研究旨在系统捕捉基础模型在机器人学和非结构化环境中的应用现状,综合当前技术前沿,并展望未来场景、挑战及迈向安全全自主机器人的路径。

2. Robots in Unstructured Environments
2.1. Unstructured Environment: Study Scope
非结构化环境定义为缺乏明确组织和预定义参数、具有高不确定性和复杂性的设置,例如建筑工地、灾区和家庭环境。研究范围聚焦于陆地、以人为中心的环境(如家庭、医院、仓库、城市驾驶),而农业、水下和太空等极端环境因领域特异性限制被排除在外。环境复杂性通过三个主要因素评估:动态性(dynamics)、可观测性(observability)和不确定性(uncertainty)。不同非结构化环境在复杂性上存在定性差异,例如建筑工地具有高动态性和低可观测性。

2.2. Theory: Deliberation for Autonomous Robots
自主机器人需要具备“审议性行动”(deliberative acting)能力,即感知、规划并确定适当行动以达成目标。这一认知过程源于对自主性(autonomy)和泛化性(generalizability)的需求。自主性要求机器人独立执行任务,无需人类干预;泛化性则涉及机器人适应不同环境和任务范围的能力。远程操作设备无需审议,而高度结构化的自主系统(如制造机器人)可能不需要泛化性。

2.3. Autonomous Robot Components in Unstructured Environments
机器人由两个主要平台组成:审议平台(deliberation platform)和执行平台(execution platform)。审议平台包含认知模块(cognitive module)和行动模块(acting module)。认知模块负责推理(reasoning)、规划(planning)、决策(decision-making)、人机交互(Human–Robot Interaction, HRI)和感知(perception),包括物体识别、场景理解、同步定位与建图(Simultaneous Localization and Mapping, SLAM)等。行动模块包含控制(control)、导航(navigation)和操作(manipulation)组件。

3. Foundation Models: Overview
3.1. Definition
基础模型(Foundation Models, FMs)是训练于大规模数据集并适应多种下游任务的大规模人工智能(AI)模型。其与机器人学相关的关键特征包括:上下文学习(in-context learning)、缩放行为(scaling behavior)和同质化(homogenization),这些特性使其在非结构化环境中具有优势,但同时也带来成本、延迟和可靠性挑战。

3.2. Concept Clarification
基础模型、大型语言模型(Large Language Models, LLMs)、大型视觉模型(Large Vision Models, LVMs)、大型多模态模型(Large Multimodal Models, LMMs)和生成式AI(Generative AI)之间存在重叠但非等同关系。本研究将基础模型视为广泛使能类,LLMs、LVMs和LMMs为模态导向示例,生成式AI描述其重要用途。

3.3. Transformer Architecture
Transformer架构通过注意力机制(attention mechanism)处理长序列并连接跨模态信息。对于机器人学,编码器-仅模型(encoder-only)主要用于语言理解,解码器-仅模型(decoder-only)用于生成和规划,多编码器或多模态模型(multi-encoder/multimodal)连接不同数据源(如文本和图像),适合感知和操作任务。

3.4. Modalities
3.4.1. Text Modality: Large Language Models (LLMs)
LLMs(如GPT-3、GPT-4、LLaMA、PaLM、Claude)是文本导向的基础模型,支持自然语言理解、指令解释、规划和人机交互。它们在机器人学中成为主要的入口点,但报告的能力仅在各自研究评估环境下讨论。

3.4.2. Image Modality: Large Vision Models (LVMs)
LVMs(如Vision Transformer、SAM)是视觉导向模型,改进了图像分类、分割和物体检测等感知任务。这些结果不应直接与机器人任务成功结果比较。

3.4.3. Multi-Modality: Large Multimodal Models (LMMs)
多模态模型(如CLIP、BLIP、3D-LLM、OpenScene、SpatialVLM、ImageBind、FoundationPose)连接文本、图像、音频或3D数据。CLIP是双编码器对比模型,用于文本-图像对齐;BLIP具有生成组件;动作条件模型用于物理控制。模型架构影响机器人使用方式。

3.5. Related Studies
现有综述(如Firoozi等、Xiao等、Hu等)提供了基础模型在机器人学中的广泛概述,但多聚焦于结构化或通用环境,缺乏透明、可重复的系统方法论,且未专门分析非结构化环境的复杂性。本研究通过系统、多维方法填补这些空白。

3.6. Recent Advancements: Vision–Language–Action (VLA) Models
近期进展包括从静态生成式AI向自主Agentic AI和视觉-语言-动作(Vision–Language–Action, VLA)模型的范式转变。VLA模型(如Physical Intelligence的pi zero)采用连续流匹配架构,输出高频灵活运动指令,实现实时适应非结构化环境。其他研究(如Song等、Li等)聚焦于降低延迟和改进空间推理。Coronado强调从LLMs向Agentic AI的过渡。由于该领域快速发展,需要独立的系统综述专注于VLA模型和Agentic机器人学。

4. Research Methods
4.1. Schema Overview
本研究采用多维系统方法,位于基础模型、机器人学和非结构化环境三个领域的交叉点。该框架包含三个平面:XY平面(审议性行动理论)、XZ平面(基础模型在机器人学中的应用)和YZ平面(基础模型在非结构化环境中的应用)。通过分别分析各平面,识别出高级认知应用与物理机器人执行之间的脱节,即主要研究空白。

4.2. Database and Search Query
选择Web of Science(WoS)、Scopus和ArXiv作为数据库,以涵盖期刊论文和预印本。构建两个搜索查询:一个针对基础模型在机器人学中的应用(XZ平面),另一个针对基础模型在非结构化环境中的应用(YZ平面)。查询基于三个关键词族:基础模型、机器人学和非结构化环境。

4.3. Study Identification
应用搜索查询后,排除重复、非英语文献、时间范围(2018-2024)外文献,并限制文献类型为期刊和会议论文。通过两轮筛选(标题摘要和全文),最终在XZ和YZ平面分别获得71和76篇(共147篇)研究。

5. Findings
5.1. XZ-Thematic Plane: Application of Foundation Models in Robots
5.1.1. Foundation Model Usage Trends
GPT家族模型占主导(超过44%),GPT-3.5/ChatGPT最常用,GPT-4增长迅速但成本较高。CLIP作为最常用的视觉语言模型(VLM)排名第二,用于视觉-语言导航(Vision–Language Navigation, VLN)和操作任务。其他模型使用频率较低,表明领域仍处于早期阶段。

5.1.2. Robot Morphology
在36项通过真实机器人验证的研究中,单臂机器人最常用,因其简单形态适合验证有限任务。移动操作器用于覆盖认知和行动任务,但更复杂形态(如四足、人形)研究较少。

5.1.3. Current State-of-the-Art: Application of Foundation Models in Robotic Tasks
基础模型主要用于认知任务(72%),而非行动任务(28%)。LLM导向系统占69%,VLM导向系统占20%。感知和规划是最常见目标,人机交互(HRI)也很重要,包括指令理解、公众感知和文本生成。推理和决策任务利用常识知识,但决策能力研究较少。行动任务中,控制、操作和导航研究相对不足。

5.1.4. Robotic Task Integration
共现网络显示,HRI与感知的连接最强,表明多数研究利用LLMs的文本分析能力。导航节点较小,与其它任务共现频率低,反映领域集中于认知任务。决策节点连接弱,需更多研究。推理与感知节点有较强连接,但应用于行动任务较少。

5.1.5. Datasets and Evaluation Benchmarks
数据集和基准包括:Open-X-Embodiment(OXE)汇总100万真实机器人轨迹;BridgeData V2提供约6万高质操作轨迹;DROID扩展至7.6万轨迹;ManiSkill 3支持GPU并行仿真;RoboCasa聚焦家庭场景;BEHAVIOR-1K定义1000项长时移动操作任务;HomeRobot OVMM和LIBERO用于语言条件操作;SpatialVLM和OpenScan用于3D空间推理;CALVIN、RLBench、R2R、Habitat等用于视觉-语言导航和具身推理。

5.2. YZ-Thematic Plane: Application of Foundation Models in Unstructured Environments
5.2.1. Foundation Model Usage Trends
GPT家族模型同样主导,GPT-4与GPT-3.5使用频率相近,表明研究较新。模型多样性低于机器人学领域,提示领域处于更早期阶段。

5.2.2. Current State-of-the-Art: Application of Foundation Models in Unstructured Environments
LLM导向系统占73%,VLM导向系统占16%,LVM导向系统占11%。应用领域包括建筑、工程和施工(AEC)超过37%,聚焦于施工安全(如危险识别、安全培训)、项目管理(自动报告、合同审查)和任务规划。灾区应用包括自然灾害检测、灾害报告和社交媒体信息提取。场景和地理空间理解用于地下场景、动态天气变化和GIS数据分析。关键发现是实证空白:多数研究未通过物理机器人验证,基础模型目前作为软件工具运行而非具身系统。

6. Synthesis and Discussion
6.1. Intersection of Thematic Planes (XZ- and YZ-Planes): Foundation Models in Robotics and Unstructured Environments
XZ和YZ平面的交叉显示,感知任务与其他任务连接最紧密,表明未来机器人可通过基础模型实现增强认知。例如,机器人可检测自然灾害、分析社交媒体、生成报告并建议行动。跨领域知识转移可能实现,但控制与操作任务验证不足,需更多研究。

6.2. Fusion of XYZ Planes
6.2.1. Benchmark: Level of Automation (LoA)
受SAE标准启发,为机器人定制了五级自动化水平(Level of Automation, LoA)量表,涵盖认知和行动任务的独立性及泛化性。该量表是定性基准,用于分类当前研究。

6.2.2. Current State-of-the-Art
基于系统综述发现,当前机器人基础模型集成处于3级:条件自动化(conditional automation)。证据包括:认知任务主导(72%)、LLM和VLM主导(69%+20%)、单臂和移动操作器使用频繁、缺乏真实物理验证。多数研究处于模拟或受控实验室环境。

6.2.3. Conceptual Foresight and Research Agenda: Scenario A
场景A设想未来机器人通过降低动态性、增加可观测性和减少不确定性,将非结构化环境转化为更结构化的设置。例如,机器人可连续监控并预测潜在问题,增强安全性和性能。

6.2.4. Future Pathways: Scenario B
场景B描述不利结果:机器人引入额外复杂性,增加动态性、降低可观测性并增加不确定性。例如,多机器人-人类协作可能产生混乱,数据过载淹没操作员,模型幻觉导致不安全行为。

6.2.5. Limitations and Challenges: Moving Toward Scenario A
实现场景A需克服以下挑战:空间智能不足(缺乏3D数据)、模型幻觉、人机信任与伦理、延迟(云API瓶颈)、模型效率与能耗、以及失败案例的未充分报告。风险分类法将每个挑战映射到操作故障模式、当前缓解策略和评估要求。

6.2.6. Advances Toward Higher Levels of Autonomy
迈向4级(认知自动化)需要解决幻觉、实现3D空间推理并分解高层目标。迈向5级(具身通用人工智能)需要新架构(超越Transformer)、边缘计算和6G通信。两种范式:端到端视觉-语言-动作(VLA)模型(如RT-2)和带有反馈的模块化管道(如LLM3),后者提供可解释性但引入延迟。

6.2.7. Critical Examination
基础模型并非唯一路径,混合智能系统可能更佳。例如,结构化领域可依赖传统自动化,边缘部署的小型语言模型(SLMs)可能更高效。混合方法结合LLM的灵活性和符号规划器的严谨性,或使用基础模型作为高层协调器,将任务委托给专门模型。最有效路径可能不是完全替代,而是深思熟虑的集成。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号