从规范到视觉:面向多模态建筑安全培训的约束驱动人工智能智能体
《Engineering Applications of Artificial Intelligence》:From norms to visuals: A constraint-driven artificial intelligence agent for multimodal construction safety education
【字体:
大
中
小
】
时间:2026年08月30日
来源:Engineering Applications of Artificial Intelligence 9.0
编辑推荐:
**摘要**
建筑安全教育对于减少不安全行为至关重要,但现有依赖于法规文本和静态图形的材料在复杂现场条件下缺乏直观性和适应性。尽管生成式人工智能(AI)能够实现自动化内容创建,但在强监管的工程背景下确保符合行业标准仍然具有挑战性。为了解决这一问题,本研究提出了一种整合检索增强
**摘要**
建筑安全教育对于减少不安全行为至关重要,但现有依赖于法规文本和静态图形的材料在复杂现场条件下缺乏直观性和适应性。尽管生成式人工智能(AI)能够实现自动化内容创建,但在强监管的工程背景下确保符合行业标准仍然具有挑战性。为了解决这一问题,本研究提出了一种整合检索增强生成、大语言模型和多模态合成的规范约束多模态生成方法。该方法以施工计划和行业标准为基础,首先生成程序性工作流,利用检索到的法规条款对其进行完善,然后将这些约束传播到分镜图像和教学视频生成中,确保视觉清晰度和规范一致性。在六个代表性场景上的实验,由 40 名从业者进行评估,表明所提方法在语义对齐、跨模态一致性、可用性和可解释性方面优于基准方法,并且在法规密集场景下表现出更强的鲁棒性。结果表明,这为可信的生成式人工智能在建筑安全教育中的应用提供了一条可行途径。
**引言**
建筑活动具有高风险、强动态性和显著不确定性,导致事故率居高不下,已成为制约行业高质量发展的主要因素(Chellappa and Luximon, 2025; Park et al., 2020)。统计数据显示,2010 年至 2019 年期间,中国建筑业共发生 6005 起安全事故,导致 7275 人死亡,相当于平均每天约有 2 名工人死亡(Xu and Xu, 2021)。这一问题并不局限于单一国家或地区。在美国,建筑工人仅占劳动力的约 4%,却贡献了近 20% 的职业死亡事故,其受伤率比其他行业高出约 71%(Al-Bayati, 2021)。这些发现凸显了建筑安全挑战的全球普遍性,其难点不仅在于事故的高频率,还在于工作环境的复杂性、风险的快速演变以及严重后果。
针对持续高发的建筑事故,现有研究普遍认为不安全行为,特别是对安全法规的违反,是主要诱因之一(Xu and Xu, 2021)。例如,高处坠落事故通常与工人未佩戴或正确使用个人防坠落设备密切相关(Khan et al., 2023; Kang, 2018)。对 384 名建筑工人的问卷调查显示,约 40% 的受访者曾从事未佩戴所需个人防护设备的工作(Al-Bayati et al., 2023)。然而,当前的安全管理实践仍严重依赖基于视频的证据收集和事后处理,反映了一种以被动反应为主的范式。这种方法通常存在隐患识别滞后、风险预警不足以及错过干预窗口的问题(Xu et al., 2023; Ding et al., 2024)。因此,仅靠事后监督不足以从根本上降低建筑安全风险。迫切需要转向源头的主动预防。在此背景下,加强安全知识传播和培训,从而提高工人的风险感知、合规意识和行为自律,代表了减少不安全行为的关键途径(Lin et al., 2023)。
尽管现有研究不断探索建筑安全教育的改进,但当前方法仍难以针对真实建筑工地上动态出现的风险提供高效、准确且情境自适应的支持。安全教育主要依赖传统媒体,如法规文本、插图手册、幻灯片和传统视频。虽然这些方法可以传达基本的安全知识,但通常存在呈现抽象、交互性有限、情境相关性弱以及内容更新缓慢的问题,使其不足以在复杂的建筑环境中实现知识内化和行为转变(Gong et al., 2024)。特别是在高度动态的建筑环境中,无法根据具体工作条件快速组织和直观呈现的安全教育内容,往往无法及时转化为有效的风险意识和行为干预。
为了增强沉浸感和情境适应性,近期研究探索了虚拟现实(VR)和增强现实(AR)技术在建筑安全教育中的应用(Lampropoulos et al., 2024; Man et al., 2024)。现有研究表明,基于 VR 的培训可以提高工人的危险识别和风险管理能力(Jeelani and Han, 2020),而更强的感官刺激可以进一步激活更深层的认知和记忆过程(Xu et al., 2024)。尽管 VR 和 AR 在提高培训效果方面具有潜力,但其工程部署仍面临两大挑战:硬件成本高以及场景建模和内容开发周期长(Davila Delgado et al., 2020; Calik et al., 2025)。前者限制了其在中小型建筑项目中的 widespread adoption(广泛采用),而后者削弱了其支持针对特定工作条件进行快速定制和动态更新的能力。因此,目前的基于 VR 和 AR 的方法仍无法同时满足建筑工地对低成本、高效率、情境自适应且可快速更新的安全教育内容的实际需求(Park et al., 2025; Hussain et al., 2024; Eiris et al., 2020)。这些局限性凸显了对一种内容生成方法的迫切需求,该方法能够为真实建筑场景快速生成视觉表现力强且符合法规的安全教育材料。
生成式人工智能,特别是大语言模型(LLMs)的发展,为自动化生成建筑安全教育内容创造了新的机遇。与传统静态培训材料相比,LLMs 在语义理解、内容组织和文本生成方面表现出强大的能力,能够实现安全教育材料的快速构建和个性化交付(Uddin et al., 2023)。现有研究已尝试将 LLMs 引入建筑安全培训,例如生成基于问答的教学内容,或开发基于情境学习和游戏化理论的安全培训框架,以提高工人的安全意识和应急响应能力(Naderi and Shojaei, 2025)。然而,当前研究仍主要关注文本生成和对话交互,未能从根本上超越文本模态。在建筑安全教育中,仅基于语言的生成不足以有效表示复杂工作条件下的空间关系、危险位置、操作动作和行为规范,导致直观性、沉浸感和认知强化有限(Bang et al., 2025; Eiris et al., 2021; Lin et al., 2018; Vignoli et al., 2021)。因此,将生成式人工智能从文本生成扩展到包括图像和视频在内的多模态内容生成,已成为提高建筑安全教育效果的一个重要方向。
为了克服大语言模型在场景表示和视觉呈现方面的局限性,近期研究探索了它们与图像和视频扩散模型的整合,结合语言模型的逻辑推理能力与生成模型的视觉合成能力(Rabbi and Jeelani, 2024)。图像扩散模型现在可以从复杂提示生成具有详细场景表示的图像(Wu et al., 2025a),而视频扩散模型在时间连续性和视觉一致性方面取得了显著进展(Peng et al., 2025; Wan et al., 2025; Kong et al., 2024)。然而,在建筑领域,生成式人工智能研究仍主要关注 LLMs 的文本应用,而关于图像和视频生成的工程导向研究仍然有限(Taiwo et al., 2024, 2025)。更重要的是,通用生成模型主要依赖大规模通用语料库和参数记忆,缺乏对工程标准和专业约束的显式遵守。因此,它们可能会生成看似合理但不合规的内容(Liu et al., 2024)。在代表安全关键场景的建筑安全教育中,这种偏差不仅仅是信息错误,还可能误导工人的操作理解,从而引入真实的安全风险。因此,生成式人工智能在建筑工程中的应用不应仅关注生成能力本身,还必须解决在强监管约束下实现可信生成的关键挑战(Sammour et al., 2026)。
为了解决这些挑战,领域微调(domain fine-tuning)和检索增强生成(RAG)已成为将工程知识纳入生成模型的两个潜在途径。与需要随着领域知识演变而反复重新训练模型的领域微调不同,RAG 从可维护的外部知识库中动态检索任务相关的法规条款,并将其纳入生成上下文。这种方法可以降低训练和维护成本,同时提高生成内容的新颖性、透明度和来源可追溯性(Lu et al., 2025; Lee et al., 2024; Zhao et al., 2026)。现有研究表明,RAG 在建筑管理信息检索、知识问答和安全信息生成中表现有效,提高了生成内容的专业性、完整性和情境相关性(Wu et al., 2025b; Uhm et al., 2025)。此外,一些研究引入了结构化知识组织方法,如知识图谱,以解决传统 RAG 在知识分块、检索准确性和上下文建模方面的局限性,同时探索其在个性化安全培训中的潜力(Chen et al., 2026)。然而,现有的基于 RAG 的研究仍 largely confined to(主要局限于)文本生成和问答任务。很少有研究关注将检索到的条款级约束传播到场景分解、图像合成和视频生成中。在建筑安全教育中,缺乏一种系统机制,在保持来源可追溯性和语义一致性的同时,将法规要求转化为跨阶段生成条件。
据此,本研究提出了一种用于建筑安全教育的规范约束多模态生成框架。基于施工计划和行业标准,该框架整合了 RAG、LLMs 和多模态生成模型,以自动化将安全说明文本转换为分镜图像和教学视频的过程。与仅使用法规知识支持文本生成的方法不同,所提框架将检索到的条款级约束嵌入到旁白脚本、分镜描述、图像提示和视频提示中。这些约束从而通过多模态生成管道进行传播,减少了跨模态转换过程中的信息丢失和语义漂移,同时加强了施工流程、视觉表示和行为描述的工程一致性和可追溯性。本研究为生成式人工智能在强监管工程背景下的可信应用提供了一条可行的技术途径。
**章节摘要**
**研究空白**
尽管现有研究在建筑安全教育和生成式人工智能应用方面取得了进展,但仍有三个关键局限性。
(1) 缺乏针对建筑工地的快速重构和按需生成能力:现有的安全教育材料主要依赖静态格式,如法规文本、插图手册和传统视频,难以根据工作类型、操作条件和风险的变化快速组织和更新内容。
**方法概述**
为实现第 2 节提出的建筑安全教育目标,并支持强监管工程场景下可控和可解释的生成式人工智能应用,本研究开发了一种规范驱动的多模态安全教育视频生成框架。该框架由“规范约束模块”和“多模态生成管道”组成,形成了从用户输入到安全教育视频输出的完整生成工作流程,如图 1 所示。在
**实验设计**
为评估所提规范约束多模态生成框架在建筑安全教育中的有效性,进行了一项对比实验,以检查其对生成输出的质量和工程适用性的影响。实验重点关注结合施工工作流基础、法规条款约束和跨模态约束传播是否改善了法规合规性、内容准确性、跨模态
**结果与讨论**
本节比较了完整所提配置(A1)和保持框架但不使用 RAG 的配置(A2)的端到端性能。分析结合了人工评分、条款级合规性检查、分数分布以及基于场景和角色的比较。据此,观察到的差异被解释为施工工作流基础、法规条款检索、规范约束编译和跨模态约束传播的共同效应。
**讨论**
本研究通过开发一种规范约束的多模态生成框架来解决生成式人工智能在工程场景中的可信应用问题,该框架将外部程序性和规范性知识转化为文本、分镜、图像和视频中的可追溯约束。该框架旨在减少当通用生成模型应用于建筑时可能发生的程序不完整、缺乏技术支持的细节和法规遗漏。
**结论**
本研究提出并评估了一种用于建筑安全教育的规范约束多模态生成框架。主要结论如下。
(1) 该框架建立了一个分阶段的基础过程,其中施工文件支持工作流生成和验证,而适用的法规条款被编译为与步骤绑定的约束。通过规范约束账本,这些约束在旁白、自适应分镜分解、图像
**CRediT 作者贡献声明**
Qi Hongtuo:初稿撰写,项目管理。Qu Haixiang:初稿撰写,调查,数据整理。Gao Pan:方法论,调查。Liu Jiepeng:监督,资金获取。Shan Wenchen:审阅与编辑,方法论,资金获取,概念构思。
**写作过程中生成式 AI 及 AI 辅助技术使用声明**
在准备本作品期间,作者使用生成式 AI 进行校对。
使用此工具后,作者根据需要审阅和编辑了内容,并对发表内容承担全部责任。
利益冲突声明
代表所有作者,我声明我们与其他任何个人或组织之间不存在可能不适当影响我们工作的财务和个人关系,我们在任何产品、服务和/或公司中没有专业或其他任何性质或种类的个人利益,这些利益可能被解释为影响题为"从规范到视觉:建筑安全教育中的约束驱动多模态生成"的稿件中呈现的立场或对该稿件的评审。
致谢
本工作得到了国家重点研发计划(2024YFC3809602)和四川省科技计划项目(No. 2026NSFSC1303)的支持。
祁鸿拓 | 屈海翔 | 高攀 | 刘杰鹏 | 山文辰
中国 重庆大学 土木工程学院