从基础模型到建筑机器人:双流综述、能力匹配与部署框架

《ADVANCED ENGINEERING INFORMATICS》:From foundation models to construction robotics: A dual stream review, capability matching, and deployment frameworks

【字体: 大 中 小 】 时间:2026年10月23日 来源:ADVANCED ENGINEERING INFORMATICS 11.5

编辑推荐:

   **主要贡献** • 一篇双流程系统综述,将基础模型赋能的机器人技术与建筑机器人技术相连接。• 一个三族能力供给模型,用于抽象基础模型为机器人技术提供的能力。• 一个能力匹配模型,用于将基础模型能力与建筑机器人技术进行匹配。• 面向部署的框架,用于在建筑机器人技术中应用基础

  

**主要贡献**

• 一篇双流程系统综述,将基础模型赋能的机器人技术与建筑机器人技术相连接。• 一个三族能力供给模型,用于抽象基础模型为机器人技术提供的能力。• 一个能力匹配模型,用于将基础模型能力与建筑机器人技术进行匹配。• 面向部署的框架,用于在建筑机器人技术中应用基础模型能力。

**引言**

建筑机器人技术(CR)作为提升施工过程效率、质量和安全性的手段,正受到越来越多的关注[1], [2]。近年来,随着建筑工程行业(AEC)中越来越多的CR系统被引入,包括自动化建筑打印[3]、机器人木材组装[4]、建筑尺度机器人制造[5]、更广泛的现场建筑施工[6]、部署影响研究[7]、现场人机协作[8]、预制构件[9],以及建筑和基础设施的检查与监测[10]。然而,大多数CR应用被设计为面向特定任务的解决方案(例如重复性组装[6]和例行检查[10]),依赖于预定义的工作流程和受控环境[11], [12]。此类设计仍难以扩展到真实的施工环境中,因为在真实环境中,布局、材料活动和人员活动不断变化[11]。因此,CR在实现所需适应性的能力方面仍面临挑战,而该适应性是其在不断演变、非结构化的施工现场条件下可靠运行所必需的。

人工智能(AI)正被越来越多地引入CR中,以支持视觉进度跟踪[13]、检查数据捕获[14]和安全监测[15], [16]等任务。然而,大多数现有实现仍局限于窄域AI范式,其中智能能力被开发为面向特定任务的模块(例如目标检测、跟踪和基本意图识别),并独立部署,而未将感知、推理和动作整合为统一系统[12], [17]。这些基于窄域AI的CR的局限性在于:(1) CR无法对感知观察进行高层推理。许多系统将感知转换为面向特定任务的输出,但并未维护一个面向项目的推理界面以支持更广泛的决策。例如,关于建筑工人意图识别的研究可以从不完整的视觉观察中推断出多粒度的意图[18]。(2) CR无法根据不断变化的现场条件和人机交互调整其行为。对不断变化的材料状态、工作空间条件或人机交互的适应,往往仍依赖于人工辅助、监督、工作空间准备或砌砖及相关组装任务中预定义的操作流程[6], [7], [8]。(3) CR无法跨任务和场景进行泛化。跨任务的迁移仍然有限,因为许多砌筑机器人和用于构件搬运的机械臂通过预定义的工作流程和规划轨迹运行,使得难以应对不可预见的现场变化或人为干预[6], [19]。这些局限性表明需要增强CR的通用性、集成性和适应性能力。

基础模型(FM),包括大语言模型(LLM)、视觉-语言模型(VLM)和视觉-语言-动作(VLA)模型,为通向更具通用性、集成性和适应性的能力提供了一条有前景的路径,包括通用推理、感知定位和具身动作[20]。简要来说,LLM是以语言为中心的模型,能够解释指令、对话、文档和反馈,使得高层任务意图可以被分解和组织为结构化的计划、代码或工具调用[21], [22]。VLM通过将这些能力扩展到将语言定位到视觉观察中,实现了感知环境与任务相关实体或指令之间的对齐[23], [24]。VLA模型将这种语言-视觉接口扩展到具身执行,通过以多模态输入(如语言、图像和机器人状态)为条件来调整机器人策略,并产生动作标记、技能参数、轨迹或控制提案[25]。近期研究展示了这些能力在机器人任务中的有效性。例如,LLM已被用于在取放等多步操作任务中为机器人生成可执行策略[26]。VLM使机器人能够解释复杂的视觉场景,并将语言指令定位到物体和空间关系上[27]。VLA模型支持指令条件下的动作,例如将物体放入匹配的容器中,即使是对于先前未见过的物体[28]。这些进展表明FM的潜力在于克服当前CR的关键局限性,特别是通过在不断演变、非结构化的施工现场条件下实现统一推理、定位感知和自适应任务执行。

然而,仍有一个研究空白存在:如何将基础模型能力与CR的适应性需求相匹配以形成可部署的解决方案?尽管FM提供了通用和集成的能力,但它们仍然难以直接应用于CR,特别是在真实世界的现场条件下[29], [30]。CR系统在不断发展、非结构化的建筑环境中运行,其中材料频繁移动,工作空间重新配置,观察往往是残缺且不稳定的。此外,CR系统往往涉及危险工具,处于动态的、有人参与的环境中,其中安全性和可靠性至关重要[31], [32]。这些条件要求机器人行为必须是可预测的、可控的和可解释的,以确保在任务约束下的安全运行。然而,FM可能产生自信但不正确的输出[20],这使得可靠地控制其行为变得具有挑战性。这在FM灵活的输出行为与CR中对可预测、可控操作的要求之间造成了错配。解决这种错配需要系统化的能力匹配,以识别哪些FM能力可以直接支持CR,哪些需要适应,哪些必须留在模型权限之外。为缩小这一差距,本文提供了一篇结构化综述,回答三个具体的研究问题(RQ):

• RQ 1:当前FM为机器人提供了哪些通用能力?
• RQ 2:如何将所提供能力与现有CR跨任务的需求相匹配?
• RQ 3:如何以面向部署的方式在CR中应用基础模型能力?

贡献在于回答上述三个研究问题:(1) 为了回答第一个问题,开发了一个三族能力供给模型,通过系统文献综述来表征FM为机器人提供的通用能力;(2) 为了回答第二个问题,将CR局限性综合为四个施工侧需求维度,并构建了一个共享的中间匹配接口,以便在同一分析层面对比FM供给与CR需求;(3) 为了回答第三个问题,提出了三个面向部署的概念框架,共享一个共同的部署契约结构,该结构为每个框架规定:FM组件可以提出什么、哪个非FM模块必须接收和检查它、谁拥有决策权,以及在提出现场性能声明之前还需要验证什么。本文综述的问题陈述如图1所示。

本文其余部分组织如下。第2节介绍了研究方法和整体综述设计。第3节介绍了用于组织FM赋能机器人技术和CR文献的双流程搜索、筛选和共词分析。第4节开发了三族能力供给模型并回顾了机器人技术中的FM,重点关注LLM、VLM和VLA模型如何贡献于推理、感知和具身动作。第5节通过四个施工侧需求维度考察了CR局限性,并开发了FM供给与CR需求之间的匹配分析。第6节提出了将FM整合到CR中的通用面向部署框架。第7节确定了未来研究方向。第8节对论文进行了总结。

**方法**

图2展示了本文的整体研究框架。第3节从双流程文献综述开始,涵盖两个平行的研究体:一般用途环境下的FM赋能机器人技术,以及AEC环境中的CR与自动化。系统化的筛选和分类产生了一致且可比较的文献体。其目的是将高级AI模型的能力供给与建筑实践的应用需求置于共同的分析背景中。

**双流程综述设计与研究选择**

本文采用双流程设计,以桥接两个与研究目标高度相关的研究体。一方面,关于FM赋能机器人技术的文献提供了供给侧视角,展示了近期FM能提供哪些类型的推理、感知、定位和具身控制能力。另一方面,关于CR和自动化的文献提供了需求侧视角,展示了哪些系统要求、可部署性约束以及……

**FM在机器人技术中的概念与分类体系**

机器人技术中的FM可以被理解为大规模预训练模型,它们提供可跨多个下游任务复用的能力,而不是针对单一窄定义功能进行优化[20]。它们的重要性不仅在于规模,还在于可迁移性:单个预训练模型通常可以被适配以支持多样化的机器人功能,如指令理解、视觉定位、语义映射、任务规划或策略条件调整。这是一个重大突破……

**CR的需求侧分析**

CR涵盖了多样的系统集合,包括检查与监测平台、物流移动机器人、面向特定任务的安装与砌筑机器人以及协作机器人,所有这些在硬件和任务背景上存在广泛差异[7], [11]。近期的CR和HRC综述描述了类似的系统级多样性[12], [116], [117]。然而,部署往往较少受机器人类别影响,而更多受到行业关切、采用壁垒以及特定现场的技术和工作文化约束所塑造……

**从能力匹配到面向部署的概念框架**

第5节的能力匹配分析识别了当前FM能力与建筑机器人技术需求对齐的地方。然而,仅有能力匹配并不构成一个可部署的机器人系统。语义描述、候选任务计划、动作提案或恢复建议在系统指定输出在哪里被接收、哪些检查必须通过以及哪个人工或计算权限后……

**未来研究方向**

未来的研究议程应从展示孤立的FM输出转向测试有界的、面向项目集成的建筑机器人模式。项目数据基础设施。在FM赋能的机器人能够适应现场之前,建筑项目需要可用的多模态数据层。未来的工作应该构建受治理的项目数据空间,将BIM、图纸、进度安排、信息请求(RFI)、检查记录、现场图像、点云和机器人日志与来源关联起来……

**结论**

本文综述了如何将基础模型能力与CR的需求相匹配,而不将模型视为完整的机器人系统。在供给侧,分析区分了基于LLM的推理与编排、基于VLM的感知与定位,以及VLA风格的具身动作。在需求侧,它组织了建筑需求为四个维度:现场与环境条件、项目定位与信息绑定、任务可行性与物理……

**CRediT作者贡献声明**

Wenxuan Li:撰写——初稿,项目管理,方法论,概念化。Yilin Wang:撰写——审阅与编辑,撰写——初稿,方法论,概念化。Chao Mao:撰写——审阅与编辑,方法论,概念化。Maxwell Fordjour Antwi-Afari:撰写——审阅与编辑,概念化。Xingyu Tao:撰写——审阅与编辑,监督,项目管理,方法论,概念化。

**利益冲突声明**

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所报告的工作。

**致谢**

本研究由浙江省"先锋"和"领军"科技计划项目(2026C04040)、香港理工大学(UGC)新研究员启动基金(P0056204)以及FCE青年CRF项目(P0061706)资助。

Wenxuan Li | Yilin Wang | Chao Mao | Maxwell Fordjour Antwi-Afari | Xingyu Tao
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号