《AUTOMATION IN CONSTRUCTION》:Generating Building Information Models via computer-use agents
编辑推荐:
摘要:计算机使用智能体(computer-use agents)旨在通过图形用户界面(Graphical User Interface, GUI)直接与软件环境交互,以突破对应用程序编程接口(Application Programming Interface,
摘要:计算机使用智能体(computer-use agents)旨在通过图形用户界面(Graphical User Interface, GUI)直接与软件环境交互,以突破对应用程序编程接口(Application Programming Interface, API)的传统依赖。借助多模态大型语言模型(multimodal Large Language Models, LLMs)的进展,此类智能体能够理解屏幕截图并进行语义推理,像人类一样感知屏幕并通过键盘和鼠标自主执行任务。现有研究已在网页浏览、Windows应用自动化、移动设备控制和开放世界视频游戏等通用环境中探索其能力。然而,在高度专业化的建筑、工程与施工(Architecture, Engineering, and Construction, AEC)领域,计算机使用智能体的潜力仍未被充分探索。建筑信息模型(Building Information Modeling, BIM)是该领域不可或缺的技术,作为集成三维几何数据以及丰富语义和拓扑信息的数字表示,支撑建筑全生命周期。实践中,建筑师和工程师依赖专业BIM创作软件创建复杂模型,但当前以人工为中心的建模工作流面临专业软件命令系统和GUI复杂、参数选项众多导致培训成本高与学习曲线陡峭,以及建模流程中大量重复操作增加人工投入和时间消耗等瓶颈。为缓解人工负担,已有自动化方法多依赖底层BIM创作API;该API范式要求复杂编程技能以维护大量API工具库,API可能无法覆盖全部软件功能,并缺乏捕捉细微建模调整所需的直观视觉反馈。相较之下,计算机使用智能体通过直接利用为人类设计的高层GUI抽象实现范式转变。研究人员提出BIMgent,一种基于多模态LLM的多智能体框架,专门面向基于GUI的早期BIM模型生成(约LOD 200),将多模态设计输入转换为三维BIM模型,并集成领域知识在复杂软件环境中规划与执行任务。方法上,混合感知管道将传统图像分割模型与多模态LLM结合,从输入平面图中提取结构化信息;分层规划结构由高层规划器将整体设计分解为构件级步骤,低层规划器检索相关软件文档以推导可执行GUI操作;纯动作工作流(Pure-Action Workflow)面向快捷键和常规构件放置并采用推测性多动作执行,视觉驱动工作流(Vision-Driven Workflow)采用基于微调屏幕解析器模型的动态GUI接地以降低视觉噪声;LLM作为评判者提供实时反馈,实现自我反思与纠错。为评估专业工程场景,研究人员构建包含45个真实建筑建模任务的领域基准,每个任务以真实二维栅格平面图和简要文本规格为输入,要求智能体自主生成对应三维BIM模型,覆盖墙体、窗、门、楼板、屋顶和楼梯等基本建筑构件,视任务复杂度需40至200个顺序GUI动作。评估沿平面图理解与操作评估两个维度展开。实验结果表明,BIMgent实现77.8%的端到端成功率,显著优于领先通用计算机使用模型Claude-Sonnet-4.5(2.2%)和GPT-5.4(11.1%),表明领域专用GUI智能体在专业自主BIM创作中的有效性。该研究旨在开发并验证领域专用计算机使用智能体框架,通过GUI直接与专业BIM软件交互而非依赖API,从多模态建筑设计输入自主生成早期BIM模型;据研究人员所知,BIMgent是首个专门面向专业BIM创作软件的计算机使用智能体框架,并贡献动态GUI接地、检索增强生成(Retrieval Augmented Generation, RAG)驱动分层规划、长时程自反思执行管道以及包含45个真实任务、平均每任务63.5个构件子任务、总计超过4800个动作的领域基准。
研究背景与问题。建筑、工程与施工(Architecture, Engineering, and Construction, AEC)领域的建筑信息模型(Building Information Modeling, BIM)集成三维几何、语义与拓扑信息,支撑建筑全生命周期。实践中,建筑师和工程师依赖专业BIM创作软件建模,但人工建模存在两方面瓶颈:专业软件命令系统与图形用户界面(Graphical User Interface, GUI)复杂、参数选项众多,学习曲线陡峭;建模流程重复操作多,人工投入和时间消耗大。已有自动化多依赖BIM创作应用程序编程接口(Application Programming Interface, API),需要复杂编程技能维护API工具库,API可能无法覆盖全部软件功能,且缺乏直观视觉反馈以支持细微建模调整。通用计算机使用智能体在网页、桌面和游戏等通用环境表现较强,但在专业BIM软件中仍面临视觉噪声、长时程依赖、领域操作知识和评测基准缺失等问题。为此,作者Zihan Deng、Changyu Du、Stavros Nousias和André Borrmann在《AUTOMATION IN CONSTRUCTION》发表研究,提出BIMgent,旨在通过GUI直接操作专业BIM创作软件,自主生成早期BIM模型(约细节层次(Level of Development, LOD)200),并构建领域基准验证其有效性。其意义在于提出从API中心向GUI中心转变的自动化范式,复用面向人类的软件交互抽象,降低编程封装负担,并展示领域专用智能体在专业工程软件中的潜力。
关键技术方法(≤250字)。BIMgent以二维平面图和文本要求为输入,经平面图理解、动作规划、动作执行与全局记忆完成建模。样本来源为CubiCasa5K数据集的真实住宅平面图,经去除家具、文字和尺寸标注,并由专家为多层任务补充楼梯后形成45个任务;实验平台为Vectorworks 2025。关键技术包括:DeepFloorPlan分割、骨架矢量化与多模态LLM后处理的混合感知管道;高层规划器与低层规划器的分层规划,并结合官方软件文档的RAG;动态GUI接地,采用感兴趣区域(region-of-interest, ROI)裁剪与微调OmniParser-v2屏幕解析器;纯动作与视觉驱动两类执行工作流;监督智能体、自反思纠错与全局记忆;以及覆盖单层、双层、三层住宅的多维评测基准。
研究结果。Floorplan understanding(平面图理解):研究在不同空间阈值τ下评估平面图理解层,门在τ=50 px时F1为0.896,墙为0.854,窗为0.799,楼梯为0.958;阈值放宽后分数提高,累计误差曲线平台表明仍存在不可约假阴性。Dynamic GUI grounding(动态GUI接地):研究微调屏幕解析器的YOLO-v8组件,使用547张BIM弹窗截图按8:1:1划分;检测指标在前期快速收敛并高于0.99,mAP@0.5:0.95达0.907;微调后平均置信度由0.225升至0.813,并采用YOLO优先的OCR合并后处理。BIM authoring operation(BIM创作操作):端到端成功率为77.8%(35/45);组件级中楼板与楼梯均100%,洞口99.3%,墙98.7%,屋顶95.6%,设计层92.2%。Performance by task difficulty(按任务难度性能):单层、双层、三层端到端成功率分别为100.0%、80.0%、53.3%,平均运行时间约10、21、35 min;组件级仍较高,跨层依赖尤其是设计层和屋顶配置是主要挑战。Baseline evaluation(基线评估):Claude-Sonnet-4.5端到端成功率2.2%,GPT-5.4为11.1%,BIMgent显著优于二者(Fisher精确检验p=1.67×10
?14与p=1.35×10
?10);基线组件级成功率多在20%–65%。Ablation study(消融研究):去除监督与反思降至55.0%,去除文档RAG降至17.8%,去除动态GUI接地降至0.0%,去除分层规划降至40.0%,去除屏幕解析器微调降至62.2%,说明各组件均关键。Qualitative analysis(定性分析):成功案例的执行轨迹显示BIMgent可依次完成平面图理解、设计层、墙/楼板/洞口和屋顶创建,生成模型较基线更准确合理。Error analysis(错误分析):2859个组件级子任务中36个失败,追踪204个动作步骤中122个失败;规划错误102个(83.61%),执行错误20个(16.39%),接地错误为0;示例包括屋顶创建遗漏前置选择及动作格式无效。
讨论与结论。讨论部分明确研究范围:当前聚焦住宅建筑、人工设计平面图输入和约LOD 200早期建模,未覆盖详细尺寸、材料、纹理和高级参数配置;成本与延迟方面,Pure-Action与推测性多动作执行减少视觉查询和LLM调用,成本约比Claude低一个数量级,单层任务约10 min,但仍慢于API自动化和熟练人工;泛化性方面,动作空间和GUI解析模型不特定于Vectorworks,RAG可替换文档源,但跨平台仍需实证;未来方向包括GUI与API混合架构、软件可访问层、标准化工程软件评测和人机协同。局限包括平面图理解对非住宅、未清理输入未验证,单平台和单次运行评测,LOD 200范围,以及GUI自动化的延迟与安全风险。研究结论可翻译概括为:第一,所设计的平面图理解与分层规划机制有效应对专业软件中的视觉噪声和长时程依赖,动态GUI接地与自反思反馈可过滤无关界面信息并从操作错误中恢复;第二,研究建立了基于真实建筑布局的领域基准,BIMgent端到端成功率达77.8%,显著优于领先通用智能体Claude-Sonnet-4.5(2.2%)和GPT-5.4(11.1%),表明领域适配框架能够应对工程软件复杂性;第三,研究提出从API中心向GUI中心自动化转变的范式,通过模仿人类交互绕过传统脚本自动化的学习曲线和编程壁垒。结论同时强调,BIMgent当前在 curated 住宅平面图、单一BIM平台和LOD 200任务上验证,GUI范式仍存在延迟、安全与鲁棒性挑战,不应视为API或专家设计师的直接替代,而应在需要视觉判断、未文档化界面功能或灵活交互时补充现有工作流,并需混合GUI–API架构、更强接地机制和高风险操作的人为监督。