综述:面向认知意识的增强现实技术在建筑安全中的应用:系统综述与双循环框架

《Safety Science》:Toward cognition-aware augmented reality for construction safety: a systematic review and dual-loop framework

【字体: 大 中 小 】 时间:2026年05月12日 来源:Safety Science 5.4

编辑推荐:

  鲍文·马 | 布莱恩·H.W. 郭 | 霍磊 | 季祖珍 新西兰坎特伯雷大学土木与环境工程系 **摘要** 增强现实(AR)在建筑安全领域的应用日益增多,用于提供特定现场的信息,提高危险识别、沟通、培训和工作指导的效果。然而,大多数现有的AR系统仍然是开环的,主要关

  鲍文·马 | 布莱恩·H.W. 郭 | 霍磊 | 季祖珍
新西兰坎特伯雷大学土木与环境工程系

**摘要**
增强现实(AR)在建筑安全领域的应用日益增多,用于提供特定现场的信息,提高危险识别、沟通、培训和工作指导的效果。然而,大多数现有的AR系统仍然是开环的,主要关注技术功能,而对工人的认知状态关注较少。这可能会降低AR在动态和认知要求高的建筑环境中的支持效果。增强认知(AugCog)结合了实时认知状态感知与适应性人机交互,为解决这一限制提供了有前景的途径。为了阐明这一潜力,本文提出了一个双环框架,该框架整合了现场状态循环和认知状态循环,并利用它来指导对两个互补文献流的系统回顾。回顾涵盖了128篇经过同行评审的研究,包括28篇基于AR的建筑安全研究和100篇以认知为重点的建筑安全研究。结果表明,当前的AR研究在现场状态感知、可视化和任务支持方面取得了显著进展,但在工人认知方面仍主要是开环的。相比之下,以认知为重点的文献在认知状态感知和推断方面取得了实质性进展,但在适应性和评估方面的进展较为有限。将这两个循环直接整合到单一的AR安全系统中仍然很少见。本研究提供了一个基于证据的框架,以理解如何将AR和AugCog整合到建筑安全中,并确定了开发能够更好地支持工人情境意识并减少认知负担的适应性、认知感知AR系统的实际途径。

**1. 引言**
建筑行业被认为是风险最高的行业之一(Guo等人,2016年;Man等人,2021年)。建筑工地的环境复杂、动态且不断变化,工人、材料和机械之间的时空交互对建筑安全构成了重大挑战(Ramos-Hurtado等人,2022年)。在这种情况下,对风险的误解对工人安全构成了严重威胁(Sun等人,2025a)。然而,Carter和Smith(2006年)以及后续的研究(Albert等人,2014年;Bahn,2013年)显示,该行业的危险识别技能水平一直较低。在这样一个动态的环境中,发展和维持高水平的情境意识(SA)对于有效的危险识别和安全至关重要(Zhang等人,2025年)。然而,由于现场的动态性和复杂性,情境需求(例如隐藏的危险)往往超出了工人的认知能力。工人自然难以注意到所有危险,甚至是不可能的。由于心理和身体疲劳(Zhang等人,2023b)、生产压力(Hashemian和Triantis,2023年)以及自满情绪(Namian等人,2016年),工人容易出现认知负担过重,这反过来又削弱了他们的安全动机和危险识别能力(Jaeger和Adair,2017年;Matthews和Campbell,2010年;Moore和Tenney,2012年)。因此,关键危险可能会被忽视(Albert等人,2017年),人为错误的可能性也会增加。虽然之前的研究已经探讨了支撑危险识别的认知机制(Babalola等人,2023年;Sun等人,2024年;Zhang等人,2022b),但许多技术干预措施尚未将这些见解充分整合到安全支持系统的设计中。

在过去十年中,增强现实(AR)作为一种有前景的技术方法,被用于提高建筑安全。通过将虚拟信息叠加到物理环境中,AR可以丰富感知并实现实时访问与安全相关的内容(Li等人,2018年)。通过头戴显示器(HMD)等硬件和集成计算机视觉和空间映射的软件,AR系统可以提高用户对周围危险的意识(Arena等人,2022年;Carmigniani等人,2011年;Hou等人,2017年)。许多研究探讨了AR在危险识别(Fenais等人,2019年;Kim等人,2017年;Su等人,2013b年;Wu等人,2022年)、安全检查(Dzeng等人,2024年;Ramos-Hurtado等人,2022年;Zhou等人,2017年)、培训(Abdeen等人,2022年;Albert等人,2014年;Gong等人,2024a年;Pratama等人,2022年)以及实时沟通和工作指导(Abbas等人,2020年;Chen等人,2024a年;Dai等人,2021年;Foroughi Sabzevar等人,2021年;Wu等人,2023年)方面的实用性。尽管这些应用很有前景,但大多数现有的基于AR的安全研究主要集中在功能结果上(例如,提高危险检测准确性或培训效果),而对用户的潜在认知过程关注较少(Faiz等人,2024年)。这些系统通常以任务为中心或事件驱动的方式设计,例如,专注于识别和传达显著的危险(Kim等人,2017年)。它们往往忽略了用户的即时心理状态或认知工作负荷。在许多情况下,缺乏足够的闭环耦合(状态感知的适应性),例如,AR提供的危险信息不符合工人的需求。例如,Camacho-Fidalgo等人(2025年)的研究发现,尽管许多当前的AR-HMD系统提高了任务表现,但它们可能会损害用户的情境意识和安全意识。这是因为这些系统没有根据环境复杂性或用户当前的工作状态调整提示的形式或频率。

这就是增强认知(AugCog)范式提供重大潜力的地方。AugCog的机制涉及实现用户与计算机之间的紧密耦合,这是通过感知用户的认知状态来实现的(Reeves和Schmorrow,2007年)。通过检测和解释人类认知状态,并调整计算机的响应以匹配用户当前和预测的需求(Stanney等人,2015年),AugCog系统能够提供持续的、适应性的支持,从而优化任务和安全表现。这种动态调整不仅减轻了认知负担过重或不足的问题,还通过确保信息在正确的时间、以正确的形式和适当的细节水平呈现来增强用户的情境意识。

AugCog系统的好处已经得到了充分的研究和证据支持。Morrison等人(2006年)指出,适应性认知增强策略显著提高了性能:感觉-记忆处理能力提高了108%,注意力处理能力提高了380%,执行功能任务提高了241%。AugCog的研究和开发工作已经产生了各种经过验证的原型和操作系统,应用于不同的军事应用和培训领域(Reeves和Schmorrow,2007年)。这些结果突显了AugCog的变革潜力,但在基于AR的建筑安全研究中,这些能力很少被研究和应用。

迄今为止,已有几项综述研究从不同角度探讨了AR在建筑安全中的应用,如技术特性和发展趋势(Li等人,2018年)、扩展现实(XR)应用(Mu?oz-La Rivera等人,2024年;Zoleykani等人,2023年)以及安全培训效果(Gong等人,2024a)。然而,缺乏从AugCog的角度系统性和批判性地分析基于AR的安全系统的综述。这是一个重要的遗漏,因为危险识别和安全行为本质上是认知和决策过程。在建筑安全中,AugCog使用现代神经科学工具来监测工人的即时认知状态。然后系统会调整界面、警报和工作流程,使信息需求与人类的能力实时匹配,从而减少负担过重、错误和受伤风险。了解AR系统如何与工人的认知互动和支持认知对于设计更有效的安全干预措施非常重要。此外,将AR系统开发与工人的认知需求对齐,可以确保以安全为导向的系统有效支持实际操作。弥合这一差距需要从以功能为中心的设计转向以认知为中心和以人为中心的设计。

因此,本文从AugCog系统的角度对建筑安全的AR应用进行了批判性回顾。具体而言,本文的研究目标如下:
(1)识别和分类当前的建筑安全AR应用;
(2)评估AugCog原则(感知、推断、适应和评估)在现有AR系统中的程度;
(3)定义用于建筑安全的闭环AugCog-AR机会和技术(感知/推断/适应/评估)。

**2. AugCog的基础**
AugCog可以定义为应用实时生理和行为感知来适应信息系统,以支持人类认知表现(Stanney等人,2009年)。它旨在测量、建模和缓解人类的认知瓶颈,如注意力、记忆负荷和疲劳。早期的AugCog模型包括将用户状态映射到计算响应的动态认知模型(Young等人,2004年)以及实现自适应显示和警报的注意力分配模型(Pavel等人,2003年)。作为人类系统集成中的新范式,AugCog起源于美国国防部的倡议,例如国防高级研究计划局(DARPA)资助的研究项目(Rouse,1988年;Schmorrow等人,2012年)。AugCog的目标是通过行为和生理测量实时监测认知状态,克服人类操作者的固有认知瓶颈(例如,注意力、感觉处理、工作记忆和执行功能的限制),并通过自适应和增强的人机界面来提高性能(Schmorrow和Kruse,2004年)。它是一个整合了实时心理生理和行为感知来监测认知状态(例如,注意力、工作负荷和记忆)并相应调整系统响应的人类系统(例如,危险警报)。与传统AR系统不同,基于AugCog范式设计的AR旨在实现认知适应性,即系统辅助与用户当前认知状态的动态对齐程度。实际上,当系统能够感知用户的认知状况,推断与任务相关的认知状态,相应地调整信息呈现或辅助,并评估这些调整是否改善了任务表现或安全结果时,就实现了认知适应性(Kirsh,1996年)。

从这个角度来看,AR主要作为信息显示和交互渠道,而AugCog则作为控制策略,根据用户的认知状态决定何时、多少以及呈现什么信息(或抑制什么信息)。换句话说,AR提供了信息传递的界面,而AugCog则实现了支持并扩展核心认知能力(如感知、注意力、记忆和情境意识)的闭环适应机制。

AugCog的研究领域围绕在复杂任务执行过程中系统地测量、解释和适应性地增强人类认知过程而建立。其基础框架首次在DARPA AugCog项目中提出,包括三个相互关联的原则:(1)认知状态评估;(2)适应性缓解;(3)人机集成。表1总结了AugCog的核心原则及其与建筑安全的相关性。

**表1. AugCog的核心原则及其与建筑安全的相关性**
| 原则 | 简要描述 | 与建筑安全的相关性 | 关键参考文献 |
| --- | --- | --- | --- |
| 认知状态评估 | 持续监测大脑、生理和行为数据(例如,脑电图(EEG)、眼动追踪、心率变异性)以推断操作者的工作负荷、疲劳或压力 | 实时检测起重机操作员、驾驶员和重型机械使用者的心理疲劳或认知负担过重,有助于防止由人为错误引起的事故 | (Pavel等人,2003年;Stanney等人,2009年) |
| 适应性缓解 | 根据检测到的认知状态动态调整任务需求、界面复杂性或信息传递 | 可以在工人注意力或情境意识下降时自动减慢工作速度、触发安全警报或阻止危险行为 | (Forsythe等人,2006年;Fuchs等人,2007年) |
| 人机集成(HSI) | 人类认知模型与智能系统之间的无缝耦合,创建闭环反馈机制 | 通过将系统响应与人类决策同步,在复杂的建筑环境中增强团队合作和情境意识 | (Stanney等人,2015年;Young等人,2004年) |
| 伦理和神经适应性设计 | 在认知增强技术中整合以人为中心的、非侵入性的感知和数据隐私原则 | 促进现场安全且合乎伦理的神经适应性可穿戴设备的实施,确保工人的隐私和心理福祉 | (Clinch和Ward,2023年;Schmorrow,2018年) |

图1显示,情境意识是目标认知结果,而AugCog提供了支持它的闭环机制。现场状态路径通过感知现场条件并呈现相关的AR信息来支持工人的感知、理解和预测动态变化的危险。认知状态路径监测工人在高工作负荷、注意力狭窄、疲劳或压力等情况下是否具备认知准备来感知和处理这些信息。通过整合这两个路径,系统可以调整信息的显著性、模式、时间和密度,使危险信息既符合上下文相关又易于认知处理。这样,AR作为信息渠道,而AugCog作为适应性控制逻辑。

**3. 方法论**
本研究采用了系统回顾和科学计量分析相结合的方法。系统评价是一种基于证据的方法,有助于在指定的研究领域内全面识别、筛选和批判性评估所有相关文献(Papaioannou等人,2016年;Zhang等人,2023a年)。为了补充这种定性综合分析,本研究使用VOSviewer(版本1.6.20)进行科学计量映射,通过共现网络分析来量化概念元素之间的关系(Van Eck和Waltman,2010年)。此外,本研究遵循了2020年系统评价和元分析的优先报告项目(PRISMA)指南,以提高可重复性(Page等人,2021年)。通过采用这种综合方法,本研究旨在全面客观地评估AR技术在建筑安全中的应用和潜力。它还试图通过检索过程中加入与认知相关的关键词,来明确相关研究热点的发展趋势,并确保更广泛地覆盖与AR-安全认知相关的主题。

为了系统地评估AugCog原则(包括感知、推理、适应和评估)在现有AR系统中的应用程度以及在建筑安全研究中测量认知状态的应用程度,本研究开发了一个闭环图作为分析框架。如图2所示,该框架由两个主要循环组成:现场状态循环(Loop 1)和认知状态循环(Loop 2)。现场状态循环描述了AR系统如何感知物理建筑环境(例如,通过计算机视觉和实时定位传感器),生成或更新增强信息(例如,危险提示或限制区域),并将这些信息呈现给工人。这些增强提示会影响工人的行为,进而改变系统在下一个循环中感知的现场条件。

相比之下,认知状态循环关注工人的内部状态。系统首先感知并推断工人的认知状态,然后相应地动态调整辅助功能。随后使用可测量的指标(例如,危险检测时间和误报/漏报率)来评估这些调整的有效性。这些评估结果随后用于重新校准系统的认知状态估计器,并更新适应规则或阈值,从而在后续部署中提供更安全、更有效的辅助。

双循环框架的理论逻辑基于三种互补的认知机制。首先,现场状态循环通过改善对动态变化危险的感知和理解来支持工人的情境意识。其次,认知状态循环考虑到工人的注意力容量和认知工作量会随时间波动,这意味着如果以过大的量、不当的时间或不适当的模式提供客观相关的安全信息,可能仍然无效。第三,疲劳、压力和警觉性的下降会进一步损害建筑中的危险识别和决策能力,因此需要根据状态进行适应。因此,AugCog的作用不仅仅是感知工人的内部状态,而是调节AR辅助,使危险信息在上下文中保持可认知处理和安全相关。在本文中,这两个循环并不旨在穷尽所有的人机交互因素;相反,它们代表了建筑安全中适应性AR支持所需的两个最小状态领域:外部现场状态和工人的认知状态。

图3总结了本研究的整体过程。研究包括五个主要步骤:文献搜索、文献选择、数据收集(编码)、数据分析和讨论。每个步骤的详细信息将在后续部分提供。为了提高评价的有效性和可靠性,两名研究人员独立进行了文献筛选。研究人员的具体角色将在后续部分进行描述。

为了提供更全面的文献评价,本研究采用了双循环模型作为分析框架。文献搜索集中在AR、建筑安全和AugCog的关键概念上,并分别针对Loop 1和Loop 2开发了两组关键词。第一组关键词针对Loop 1,旨在识别AR技术如何提高建筑环境中工人安全性能的研究。通过系统地回顾AR在建筑安全中的应用,本研究试图识别与AugCog实际实施相关的现有证据。为了减少错过相关研究的风险,搜索过程中还包含了混合现实(MR)和扩展现实(XR)等额外相关术语。

第二组关键词针对Loop 2,关注研究用于监测建筑安全研究中工人认知状态的技术。这一部分对应于AugCog框架中的认知感知和监控阶段。通过系统地检查建筑环境中生理数据收集和处理技术的当前发展,本研究进一步确定了AugCog原则在建筑安全研究中的应用程度以及现有的研究空白。通过结合分析这两个研究主题,本研究旨在从认知增强和认知感知两个互补的角度理解AR和AugCog在建筑安全中的潜在整合。Scopus被用作文献数据库,其全面性和质量已通过众多先前的研究得到验证(Chen等人,2021年;Falagas等人,2008年;Wiyono等人,2021年)。选择Scopus作为唯一数据库,因为它提供了建筑、工程和技术期刊的广泛跨学科覆盖,从而允许在本评价范围内进行一致和可重复的筛选协议。用于文献搜索的关键词和操作列在表2中。

为了确保搜索结果的权威性和准确性,排除了书评和社论。这一步确保了所有检索到的文章都可以在一致的分析框架内进行评估,无论是在研究目标还是方法论方面(Li等人,2018年)。

在初步关键词搜索之后,共识别出372篇相关文章。其中,206篇论文与AR在建筑安全中的应用有关,而166篇论文专注于测量建筑安全研究中工人认知状态的方法,这些方法与AugCog密切相关。

在获得初步搜索结果后,进行了两阶段筛选过程以识别相关研究。在第一阶段,审查了372篇文章的标题、关键词和摘要,以排除明显不相关的出版物。同时,也排除了非英语出版物,以确保分析的一致性。对于第一组文献,排除了与AR技术无关的研究。对于第二组文献,排除了与建筑安全领域无关的文章。在第二阶段,使用预定义的纳入和排除标准检查了剩余文章的全文。对于第一组,只保留了在建筑安全相关背景下明确应用AR技术的研究,而排除了综述论文、纯概念性研究以及不在建筑行业进行的研究。对于第二组,除了排除与建筑安全无关的研究外,还只保留了明确描述测量工人认知状态的方法并报告相应测量结果的文章。

在全文筛选阶段之后,保留了107篇文章进行进一步分析。此外,在全文审查过程中应用了滚雪球搜索技术,使用相同的纳入标准识别了相关的正向和反向引用。这一过程又发现了21篇相关文章。最终,共有128篇文章被纳入深入评价和分析。在这些研究中,28篇论文关注AR在建筑安全中的应用,而100篇论文研究了建筑环境中工人认知状态的检测或测量。最后,构建了一个PRISMA流程图来说明评价和筛选过程。

通过编码提取关键内容,可以使文献系统地重构,从而在后续研究阶段进行多维度比较和分析。本研究采用了模板分析方法进行证据综合,这种方法在文献评价的定性数据分析中广泛使用,因为它具有灵活性(Jones等人,2009年;Zhang等人,2022a年;Zhang等人,2024年)。为了全面映射当前AR在建筑安全中的应用,开发了一个文章主题分析模板。除了编码基本的文献信息外,还使用了以下主题类别:(1)不同场景下的AR应用子领域;(2)AR设备的类型;(3)收集环境数据的方法;(4)输出中提供的内容和类型;(5)实验结果;(6)AR与安全之间的关系。对于第二组文献,根据以下方面对文章进行了编码:(1)研究中调查的认知状态(例如,认知负荷、疲劳、工作负荷和注意力);(2)用于测量这些认知状态的技术(例如,EEG、眼动追踪、皮肤电反应(GSR)和NASA任务负荷指数(NASA-TLX);(3)研究是否达到了AugCog框架的不同阶段(感知、推理、适应和评估);(4)实验环境(实际建筑现场或实验室设置);以及(5)认知状态是否实时分析。

通过这种编码框架,本研究系统地检查了AugCog技术在建筑安全中的当前发展。它还确定了现有研究在多大程度上实施了双循环模型的不同阶段,以及在实际建筑环境中进行的研究的当前状态。

为了识别和分类用于建筑安全的AR应用,进行了科学计量分析。科学计量分析是一种强大的可视化方法,用于揭示出版物之间的关系(Cobo等人,2011年)。它使用定量和统计方法来检查特定领域或主题内的研究结构、动态和影响(Haghani,2023年)。使用VOSviewer(版本1.6.20)进行了分析,旨在定量探索不同概念之间的关联(Van Eck和Waltman,2010年)。首先,我们根据以下指标评估了当前基于AR的安全系统在感知建筑现场和提供信息输出(例如,危险信息)方面的性能。为了操作化所审查的AR-for-safety研究中的现场状态循环,我们开发了表3作为结构化的证据提取框架,以总结这些系统的评估方式。这些标准来自两个来源:(1)双循环分析框架的逻辑,要求评估AR系统如何感知现场条件、生成/更新安全信息以及影响工人反应;(2)所审查的AR建筑安全文献中报告的反复出现的评估维度。因此,这些标准被组织成四个指标家族:算法性能指标,捕捉感知和注册准确性;AR系统性能指标,反映界面质量、及时性和可用性;参与者的经验和行为指标,捕捉任务和危险情境中的用户反应;以及认知和学习效果指标,反映以人为中心的结果,如心理负荷、知识获取、保留和情境意识。

表3。用于站点状态循环评估的编码框架。
**度量指标家族**
| 度量指标 | 简要定义/计算方法 | 算法性能指标 | 对齐误差 | 控制点处AR叠加与实际测量值之间的差异;报告均方根误差(RMSE)及低于阈值的帧数百分比 | 漂移率 | 循环闭合前连续运动期间对齐误差的增长 | 重新定位鲁棒性 | 追踪丢失时的稳定性和恢复能力:无追踪时间百分比及中位恢复时间 | 危险/标记识别准确性 | 正确识别的危险或标记占总实例的比例 | 危险识别精确度 | 真正阳性识别与总检测实例的比例(精确度指标) | 人-危险距离测量准确性/误差 | 测量与人-危险实际距离之间的偏差 | 参与者位置识别误差 | 系统估计位置与实际参与者位置之间的误差 |

**AR系统性能指标**
| 度量指标 | 内容准确性 | 通过AR界面呈现的信息正确性 | 效率测试 | 完成检测或指导任务的总体系统效率 | 易用性 | 用户操作AR系统的简单性和舒适度感知 | 系统可接受性 | 用户对系统的整体质量和可靠性感知 | 响应和更新及时性 | 现实世界状态变化与AR内容更新之间的时间间隔 |

**参与者体验和行为指标**
| 度量指标 | 危险方向识别时间 | 参与者正确识别危险方向所需的时间 | 危险/目标识别率 | 参与者正确识别的危险与总呈现危险的比例 | 危险识别持续时间 | 参与者在危险区域停留的时间 | 任务完成情况 | 参与者是否以及多高效地完成了分配的任务 | 心理负荷 | 参与者在AR交互过程中感知到的认知负荷或工作负荷 | 用户的认知和学习效果指标 | 知识获取 | 通过AR辅助培训获得的新知识量 | 延迟后(例如一周)保留的知识百分比 | 危险情况意识提升 | AR培训后参与者对危险或现场条件的意识提升 |

**与双闭环分析框架相关**,我们使用四维评分标准(即感知、推理、适应、评估)评估了每项AR安全研究中的AugCog嵌入程度,每个维度的评分范围为0到3。评分标准和指导原则如下表所示:
**表4. AR安全研究中AugCog评估的评估指标**
| 维度 | 0 = 无 | 1 = 基础 | 2 = 中级 | 3 = 成熟 |
| --- | --- | --- | --- | --- |
| 感知 | 无用户状态信号 | 事后或单一代理;非实时 | 实时行为/生理 + 质量保证/信心处理;报告延迟 | 多模态(≥2)同步;现场条件下的鲁棒性;隐私保护 |
| 推理 | 无映射信号 → 状态 | 启发式映射 + 校准/验证 | 跨验证模型;不确定性估计;解决混淆因素;在线重新校准 |
| 适应 | 无状态依赖变化 | 手动/基于时间的切换 | 实时、状态依赖的策略 + 时间滞后;临界规则 | 多级策略;任务阶段意识;可解释性;覆盖/故障安全 |
| 评估 | 仅演示 | 仅可用性(例如NASA-TLX) | ≥1个客观安全/过程指标和非自适应基线 | 基于结果的现场/高保真 + 策略/模型更新;不良事件报告 |

**为了综合AugCog研究进展并将其应用于建筑安全,采用了一种系统的证据映射方法。**每篇论文都被分析以提取AugCog闭环四个阶段的验证技术。研究根据三个标准进行优先排序:(a) 使用生理或行为数据实验验证的认知状态测量或推理,(b) 在人机界面中实现的适应机制,以及(c) 包括神经生理和性能结果的评估。验证的方法和技术被概念性地映射到基于AR的建筑安全功能中,包括危险识别、安全培训、检查和任务指导。**

**两名研究人员独立使用预定义的标准对纳入的研究进行了筛选和编码。**由于编码决策主要基于二元的是/否判断,因此使用百分比一致性来评估评分者间的一致性,该一致性超过了90%。分歧通过讨论解决,未解决的案例由相应作者裁决。

**4. 结果**
**4.1. 建筑安全中AR应用的研究主题**
从科学计量分析中确定了四个研究主题(如图5所示),包括危险识别、培训和教育、安全检查以及任务指导。需要注意的是,图5仅基于第一组论文的关键词共现情况。因此,与认知状态相关的主题可能可见度较低,因为这些主题在第二组文献中得到了更充分的体现。

**下载:**下载高分辨率图像(322KB)
**下载:**下载全尺寸图像
**图5. 关键词共现情况。**

**4.1.1. 危险识别**
基于AR的危险识别支持工人的感知,并避免工作区域内存在或即将出现的危险。常见目标包括隐蔽的公用设施和墙内服务、移动的设备和车辆、未受保护的边缘和脚手架缺陷以及人机协作区域。主要用户是在现场操作的一线工人、观察员和监督员。下表5展示了文献中用于检测不同风险的相关技术。关于对安全认知的影响,基于AR的危险识别应用通过提高危险感知来增强注意力和一级及二级情境意识。

**表5. 基于AR的危险识别。**
| 危险对象 | 危险类型 | 应用场景/目标 | 危险识别技术 | 典型AR输出 | 参考文献 |
| --- | --- | --- | --- | --- |
| 地下管道 | 地下公用设施碰撞/机械操作风险 | 挖掘安全和地下公用设施监测 | 地理信息系统(GIS)+ AR + 临近分析 | 3D AR可视化 + 不确定性缓冲带 | (Su et al., 2013b) |
| 工程车辆 | 机械碰撞 | 实时识别工人和设备之间的“撞击”危险 | 计算机视觉(CV)+ 模糊逻辑 + 图像处理 | 带有方向箭头和颜色编码危险级别的AR叠加 | (Kim et al., 2017) |
| 墙内的设施 | 人机协作和建筑工地安全通信 | 相机-投影仪系统 + 姿势估计 | 投影AR(光线投射到物理表面) | (Xiang et al., 2021) |
| 未受保护的边缘 | 空间入侵/工作区风险 | 实时安全警报系统 | 混合现实(MR)+ CV + 对象跟踪 | MR叠加(3D警告图标 + 音频/视觉警报) | (Wu et al., 2022) |
| 机器人 | 人机交互/空间碰撞风险 | 机器人辅助木结构组装和操作员安全 | MR + 人机协作 + 空间跟踪 | MR虚拟边界 + 颜色突出显示的危险区域 | (González-B?hme and Valenzuela-Astudillo, 2023) |
| 机器人 | 机器人碰撞 | 人机协作 | 基于AR的机器人操作系统(ROS)+ 手部跟踪 + 3D可视化 | AR文本 + 3D模型叠加 + 安全区域可视化 | (Bavelos et al., 2024) |
| 未受保护的脚手架边缘 | 结构坍塌/与跌落相关的次级风险 | 自动检测和可视化脚手架组装缺陷 | AR + 深度学习(YOLOv5)+ BIM集成 | AR叠加突出显示(边界框 + 缺陷标签) | (Dzeng et al., 2024) |

**然而,存在几个共同的局限性。**大多数实现仍然是开环的,几乎没有用户状态感知,状态依赖的适应很少,基于结果的评估也很少。同时,大多数现有研究基于受控环境,无法真正反映多变的实际建筑工地条件。**

**4.1.2. 安全检查**
基于AR的安全检查应用旨在支持对现场条件和符合预定义标准、图纸或规范的结构性验证。与基于AR的危险识别不同,后者旨在实时发现危险,安全检查强调对计划工作流程中合规性和条件的系统检查。代表性场景包括民用结构(如隧道、桥梁)的检查、临时工程(如脚手架、集体防护设备)和生命安全系统(如消防设备)的检查。主要用户是进行定期或任务触发评估的安全检查员和监督员。文献中有三种方法论模式反复出现:(i) 基于模型的比较,例如将BIM/CAD/点云模型与实际环境进行注册以突出偏差(Dzeng et al., 2024, Patel et al., 2021, Zhou et al., 2017);(ii) 模板或检查表引导的叠加,例如在使用点呈现检查步骤和接受标准(Chen et al., 2020b, Ramos-Hurtado et al., 2022);(iii) 计算机视觉(CV)辅助检查,例如在人工确认之前使用CV/深度学习标记缺失元素或缺陷(Dzeng et al., 2024)。由于便携性和对检查任务的干扰最小,移动AR(智能手机/平板电脑)占主导地位,而在需要免提和精确对齐的情况下采用头戴式显示器(HMD)。常见的输出包括目标状态的现场可视化(例如“按设计”叠加)、偏差突出显示(例如位移段、缺失的脚手架组件)、逐步检查提示以及与上下文相关的记录(照片捕捉、注释、合规标签)。下表6总结了该应用领域的研究进展。

**表6. 基于AR的安全检查。**
| 检查对象 | 检查目的 | AR技术应用 | 使用的设备/平台 | 典型AR输出 | 参考文献 |
| --- | --- | --- | --- | --- |
| 隧道衬砌段 | 测量和控制段位移以确保隧道对齐并防止结构缺陷 | 通过基于标记的注册将BIM模型叠加在真实隧道墙上(AR工具包) | 笔记本电脑 + 相机 + AR工具包软件;基于标记的AR | 3D叠加基线CAD模型与真实段;视觉对齐误差指示器 | (Zhou et al., 2017) |
| 桥梁组件(桥墩、梁、甲板) | 桥梁状况检查和文档记录 | 将地面激光扫描数据集成到BIM和AR中进行缺陷映射 | 平板电脑或HMD显示AR桥梁模型 | 实际3D模型的现场叠加;颜色编码的结构状况可视化 | (Patel et al., 2021) |
| 机械、电气和管道(MEP)安装 | 提高标记和安装精度;减少培训工作和错误 | 基于HoloLens的AR,用于在现场叠加BIM MEP模型;支持精益视觉管理 | Microsoft HoloLens HMD + BIM(Revit/Unity) | 3D BIM叠加用于MEP路由、视觉任务指导、颜色编码的标记精度反馈 | (Dallasega et al., 2023) |
| 消防安全设备(灭火器、警报器、消防栓) | 常规检查和维护,确保符合法规 | 将BIM模型与AR移动应用集成;Cobie数据 + iBeacon用于设备位置和状态 | iOS应用 + ARKit + Revit + iBeacon传感器 | 实时AR可视化设备信息、状态指示器、检查清单叠加 | (Chen et al., 2020b) |
| 一般现场安全检查和消防安全设备 | 促进专家和新手安全检查员之间的经验传递,提高特定现场的危险意识 | XR(AR + VR)框架:在VR中捕获专家检查路径 | AR界面在平板电脑/移动设备上(例如iPad Pro) | AR可视化专家检查路线、关键区域注释、危险和检查步骤的颜色编码突出显示 | (Liu et al., 2022a) |
| 建筑立面和结构框架 | 快速地震后损害侦察 | 使用线段检测(LSD)在虚拟原型环境中进行非接触式测量 | AR HMD原型与RTK-GPS + 相机 + OpenGL模拟 | AR叠加的线框基线与真实建筑边缘,视觉漂移间隙指示器 | (Dong et al., 2013) |
| 一般建筑工地、安全设备和工作区域 | 提高检查效率和检查员之间的沟通 | 集成数字检查清单和3D空间引导的移动AR工具 | 移动设备(智能手机或平板电脑) | 屏幕上的AR标记和与检查清单项链接的警告叠加 | (Ramos-Hurtado et al., 2022) |
| 跌落危险检测 | 提高高层建筑跌落风险检查的效率 | 基于机器学习的跌落危险检查 | AR HMD在AR界面中突出显示检查区域 | (Liu et al., 2024) |

**关于工人的认知状态,**基于AR的安全检查减少了2D到3D的心理转换和符号查找,从而降低了额外的认知负荷(Hou and Wang, 2013, Kwiatek et al., 2019, Liu et al., 2021b),并支持一级及二级情境意识以进行合规性判断(You et al., 2025)。在设备检查任务(如消防安全检查)中,AR在用户的视野内直观地呈现目标区域和任务。这减少了环境之间的注意力切换和基于纸张的检查清单,从而降低了检查的难度并提高了效率(Chen et al., 2020b)。与基于AR的危险识别类似,大多数系统仍然是开环的,缺乏基于用户表现或认知状态的适应性反馈。在高强度检查期间,复杂和上下文不适当的信息仍可能引起用户困惑和认知超载。因此,闭环信息呈现机制对于推进AR辅助的安全检查具有重大潜力。

**4.1.3. 安全培训和教育**
基于AR的安全培训和教育旨在建立工人的意识、知识、技能和离线(或在受控/模拟环境中)的危险识别能力。在某些情况下,培训还提供了在职微学习。与基于AR的任务指导不同,后者针对即时表现,培训强调学习成果并转移到后续工作中。代表性场景包括设备操作程序、理解安全规定和现场布局、脚手架和边缘保护原则以及危险识别练习。主要用户是学徒、学生和早期职业工人;监督员可能使用AR模块进行复习培训和能力评估。文献中主要有两种设计模式:包括基于AR场景的模拟和基于对象或图纸的指导。基于场景的模拟通过移动AR或头戴式显示器提供交互式、情境化的练习,通过将危险、程序步骤和即时反馈叠加到模型或高保真现场模拟上。例如,针对地铁建设风险的AR模块与基于幻灯片的指导进行了基准测试,HMD/移动平台用于设备操作,以及用于危险识别的增强现实环境(Albert et al., 2014, Kim et al., 2019)。另一方面,有一些研究应用基于对象或图纸的指导,将AR内容与计划或物理工件关联起来。扫描图纸或组件会触发特定上下文的解释、动画或步骤序列。例如,增强现实工作流程在现场增强纸质平面图,基于QR/标记的方法将位置与即时指导绑定,以及支持现场解释2D建筑图纸的工具(Pratama et al., 2022)。表7总结了安全培训和教育中AR应用的相关研究。**AR在安全培训和教育中的应用**

**培训重点**
**培训/教育目标**
**方法论重点**
**AR技术**
**典型的AR输出**
**参考文献**

**危险识别技能评估与安全认知**
**建筑管理专业的学生**
**控制实验评估(定量与定性)**
**沉浸式AR(基于规则的动态不安全/安全场景)**
**具有动态不安全/安全场景的真实3D现场;交互式危险检测**
(Kim等人,2019年)

**风险感知与危险识别**
**建筑监督员、安全主管和工程专业的学生**
**VR与传统幻灯片/照片方法的实验比较**
**虚拟现实+基于BIM的可视化**
**虚拟建筑现场可视化;交互式危险识别任务**
(Perlman等人,2014年)

**挖掘机操作安全与生产效率培训**
**重型机械操作员、现场管理人员、安全官员**
**混合方法可用性分析**

**无标记移动AR(MAR)**
**挖掘机操作的3D可视化;交互式操作;无风险模拟**
(Abdeen等人,2022年)

**建筑工程与安全教育课程开发**
**理工学院学生(土木与建筑专业)**
**基于场景的模拟与体验式学习**
**混合VR–AR模块(基于标记的AR与3D BIM集成)**
**建筑组件的3D AR叠加;关于安全与不安全行为的视觉/文本指导**
(Pratama等人,2022年)

**风险识别、评估与响应培训**
**地铁建筑工人、安全管理人员和土木工程专业学生**
**控制组间实验(前测/后测)**
**手持AR(3D危险场景+基于QR码的系统)**
**AR危险场景叠加在真实环境中;交互式操作和查看**
(Gong等人,2024b年)

**基于XR的安全培训方法评估与优先级排序**
**安全培训师、教育工作者和领域专家**
**模糊环境中的混合Delphi–AHP多标准分析**
**XR框架的概念可视化及比较性能指标**
(Shringi等人,2023年)

**危险识别与安全意识**
**建筑工人和安全专业人士**
**基于场景的模拟与严肃游戏**
**AR + VR与Unreal Development Kit**
**交互式3D危险环境及评分反馈;记忆强化**
(Albert等人,2014年;Camacho-Fidalgo等人,2025年)

**4.1.4. 任务指导**
**建筑工地上的任务指导**指的是将设计与施工相关信息有效传递给工人。然而,由于建筑工地的复杂性,工人往往无法及时获得准确的指导。此外,不准确或过时的安全信息可能导致指导无效甚至产生安全隐患(Tang等人,2019年)。实时可视化可以实时呈现目标信息,通过结合实时通信技术减少信息解读错误,提高信息传递的效率和准确性(Chi等人,2013年)。基于AR的任务指导系统包括在现场增强纸质平面图的工作流程、基于QR码/标记的方法将位置与即时指导绑定、远程实时通信指导方法,以及支持现场解读2D施工图纸的工具。典型场景包括:(i)工艺任务的程序指导(例如,钢筋检查/绑扎、组件安装)(Wu等人,2023年),(ii)远程协作(专家远程协助和共享注释)(Dai等人,2021年),(iii)紧急寻路(疏散路线),以及(iv)状态/警报(上下文安全提示)。主要用户是一线工人、工头和远程专家(Kanangkaew等人,2023年)。这些系统通常结合模型锚定(BIM/CAD/SketchUp)、基于标记/QR码或SLAM(同时定位与映射)的锚定进行注册,以及基于Unity的交互用于叠加、语音和手势控制。当需要免提操作和稳定对齐时,头戴式显示器(如HoloLens)是首选;在需要快速访问和移动性的情况下,智能手机/平板电脑更为常见(Foroughi Sabzevar等人,2021年)。一些系统集成语音/LLM(大型语言模型)接口用于信息检索和免提命令(Chen等人,2024a年;Dai等人,2021年)。典型输出包括逐步视觉提示、现场3D参考、公差和检查表、出口方向箭头以及事件驱动的警报(例如,接近度、不安全状态)。表8总结了AR在任务指导中的应用研究。**

**表8. AR在任务指导中的应用**
| 任务指导类型 | 使用的AR技术 | 典型AR输出 | 参考文献 |
| --- | --- | --- | --- |
| 远程安全通信/危险指导 | 带有共享空间注释的MR | Microsoft HoloLens + 平板电脑(协作环境) | Dai等人,2021年 |
| 设计到任务指导 | 使用Augment平台的基于标记的移动AR | 智能手机/平板电脑(Augment + QR码扫描) | Foroughi Sabzevar等人,2021年 |
| 紧急安全指导 | 与3D BIM集成的基于标记的AR | Android智能手机(Unity引擎 + Google Pixel 4) | Kanangkaew等人,2023年 |
| 现场组装与安全任务指导 | 带有空间锚点的可穿戴AR | HoloLens + GoPro + Unity服务器 | Wu等人,2023年 |
| 重型机械主动危险预防与操作员任务指导 | 带有实时环境感知的MR | Microsoft HoloLens 2、Unity 3D + Visual Studio;车载GPS/LiDAR/摄像头传感器 | Chen等人,2024b年 |
| 上下文感知的安全指导与认知辅助 | 结合计算机视觉和自然语言处理(NLP)交互的增强型AR | 头戴式AR显示器(HoloLens)或平板电脑AR;Unity + PyTorch/TensorFlow框架 | Chen等人,2024a年 |

**4.2. AR系统性能评估**
**本节介绍了28项关于AR在建筑安全中应用的同行评审研究的结果,评估内容涵盖了技术性能、用户体验和认知效果。**表9(Su等人,2013a)展示了AR在建筑安全中四个研究主题的评估指标分布。在危险识别方面,研究主要集中在算法性能上,包括对齐误差、危险/标记识别准确性、信息准确性以及系统的响应和更新及时性。这些指标在不同研究中表现出较高的一致性。同时,一些研究开始探讨AR系统如何影响用户的风险意识。然而,在AR系统性能指标方面,如易用性和系统可接受性等关键指标很少被提及;在用户的认知和学习效果指标方面,心理负荷和知识获取也受到有限关注。这种模式表明,当前的基于AR的危险识别系统倾向于优先考虑识别性能本身,而对用户体验和用户需求的关注不足。**

**表9. 不同应用场景下的AR评估指标分布**
在算法性能指标方面,安全检查研究与危险识别研究表现出高度一致性,同样强调错误控制和识别准确性。然而,在AR系统性能指标方面,两个领域存在差异:安全检查研究更重视系统的易用性和可接受性。这种差异可能源于任务目标的本质,即检查是一个对系统操作性要求较高的主动过程。因此,安全检查更依赖于用户的执行。相关研究更注重任务完成,并比危险识别研究稍微更多关注心理负荷和知识获取。

在安全培训方面,研究重点与基于AR的培训的核心功能一致。在算法性能指标方面,研究强调学习成果和参与者体验。在系统方面,信息准确性、易用性和可接受性是最常被考察的指标。在用户的认知和学习效果指标方面,危险/目标识别准确性和知识获取是核心。然而,很少有研究关注知识的长期保留,这一遗漏不仅限于安全培训,在四个建筑相关领域的AR应用中普遍存在。一个可能的解释是,许多AR培训研究依赖于短期实验评估,通常关注即时任务表现、可用性或用户体验结果。虽然这些指标提供了关于系统效果的有用见解,但它们并不一定能反映所获得的知识或技能是否能够长期保持。先前关于沉浸式培训技术的研究也指出,经常报告短期学习改进,而长期学习成果和知识向实际工作环境的转移则很少被评估(Cordeiro等人,2025年)。从安全管理的角度来看,这一局限性尤为关键,因为安全培训的主要目标不仅是提高即时任务表现,还包括培养长期的危险意识和安全行为习惯(Sun等人,2025a)。如果没有长期评估,基于AR的安全培训的有效性可能会被高估,因为在短期实验中观察到的改进可能不会转化为实际建筑环境中的持续学习或行为改变。因此,未来的研究应纳入纵向研究设计、延迟后测或重复暴露实验,以评估AR辅助培训是否能够带来危险识别和安全知识的持久改进。

在任务指导方面,评估指标与安全培训相似,强调信息准确性、系统易用性和可接受性。在算法性能指标方面,任务指导研究与危险识别和安全检查有部分重叠。它关注对齐误差和标记识别准确性,而这些在安全培训中很少被考察。在用户的认知和学习效果指标方面,任务指导更强调任务完成,这与它的任务导向目标一致。

**4.3. 与基于AR的建筑安全相关的AugCog进展**
**本节综合了在AugCog研究领域开发并验证的技术和方法,并将其应用于建筑安全,利用封闭的认知状态循环。我们优先考虑在AugCog研究中反复证明有益的技术和方法,并将其映射到建筑安全中。为了根据AugCog框架的不同阶段对研究进行分类,本节的研究根据它们对四个阶段的实施情况进行分类。**

**属于感知阶段的研究**包括所有明确描述通过各种传感器收集数据并使用这些数据进行认知状态识别的研究。**属于推理阶段的研究**在感知过程的基础上进一步发展,明确展示了基于收集的数据实时推断认知状态的能力或潜在能力。**适应和评估阶段**代表了超出推理的进一步发展。这些研究不仅推断用户的认知状态,还根据检测到的认知状态调整系统输出,并提供相应适应功能的验证。**

**4.3.1. 感知**
“感知”阶段是AugCog闭环系统的基础,作为人类认知过程与自适应数字环境之间的初始接口。它专注于捕捉反映认知状态(如注意力、工作负荷、压力和疲劳)的生理和行为信号。最近在可穿戴神经传感和眼动追踪技术方面的进展显著提高了实时认知监控的精度和可行性,特别是在建筑等动态和高风险环境中。当前的研究进展源于之前的研究,并在表10中进行了总结。

**表10. AugCog“感知”阶段的研究进展**
| 测量技术 | 描述 | 代表性参考文献 |
| --- | --- | --- |
| **EEG/心电图(ECG)** | •从EEG/ECG信号中提取频谱、熵、连通性和时频特征 | Bibbo等人,2022年;Fang等人,2024a年;Guo等人,2025年;Ju等人,2025年;Ke等人,2021年;Li等人,2024年;Liu等人,2021c年;Ouyang和Luo,2025年;Sun等人,2025b年;Tehrani等人,2022年;Wang等人,2023年;Wang等人,2024a年;Wang等人,2024c年;Wang等人,2025a年;Wang等人,2025b年;Wang等人,2025c年;Wang等人,2026年;Yang等人,2025年;Yue等人,2024年;Yue等人,2024年 |
| **眼动追踪** | •量化注视、眼跳、眨眼频率、瞳孔直径、扫描路径和兴趣区域(AOI)停留时间 | •常见分析:统计测试、回归、主成分分析(PCA)、支持向量机(SVM)、长短期记忆(LSTM)、基于规则的AOI映射 | Akcay等人,2022年;Drozd和Kowalik,2025年;Fu等人,2025年;Han等人,2025a年;Han等人,2025b年;Hasanzadeh等人,2018年;Liu等人,2021a年;Luo等人,2024年;Nafe Assafi等人,2025年;Ouyang和Luo,2024年;Patil等人,2025年;Sylvester Onuchukwu等人,2024年;Wu等人,2024年;Xu等人,2026年;Ye和K?nig,2019年;Eltahan等人 |
| **功能性近红外光谱(fNIRS)** | •将光学密度转换为氧合/脱氧血红蛋白信号 | •常见处理:过滤、修正的Beer–Lambert定律、GLM | •用于评估情境意识(SA)、心理负荷和决策动态 | Luo等人,2025年;Pooladvand和Hasanzadeh,2022年 |
| **心率(HR)/心率变异性(HRV)/光电容积描记(PPG)** | •推导自主指标如平均心率 | •捕捉生理唤醒和疲劳趋势 | •单独使用或与EEG、皮肤电活动(EDA)或视觉信号结合,用于疲劳、压力、警觉性和工作负荷识别 | Aryal等人,2017年;Wang等人,2024b年 |
| **EDA/GSR** | •使用平滑、分解和基线校正分离紧张和相位唤醒成分 | •提取的特征反映压力、分心和心理疲劳 | •常与回归、分类或多模态融合模型结合分析 | Ardecani和Shoghli,2025年;Chae和Kang,2021年;Muley等人,2025年 |
| **其他** | •包括呼吸、皮肤温度、汗液生物化学、面部视频、运动/运动学通道、语音和头部姿态 | •作为支持性多模态通道或低成本代理测量 | •主要针对疲劳、压力和注意力 | Cai等人,2020年;Ma等人,2025年;Mehmood等人,2023b年;Mehmood等人,2022年;Mehmood等人,2024年 |

**4.3.2. 推理**
“推理”阶段是AugCog闭环系统的分析核心,通过计算解释感知到的生理和行为信号以确定用户的认知状态。在此过程中,原始的EEG、fNIRS、眼动追踪或EDA数据被转换为工作负荷、注意力、疲劳或情绪唤醒的有意义指标,使用机器学习和深度神经模型。近期在这一阶段的进展主要集中在多模态数据融合、实时认知状态分类以及贝叶斯推断上,以应对动态环境中的不确定性。表11总结了当前在推理阶段的研究成果,重点介绍了所研究的认知状态、应用的分类类型、关键计算方法以及AugCog领域的代表性研究。

表11. “推理”阶段的研究进展

| 认知状态 | 分类类型 | 分类(推理)方法 | 参考文献 |
|---------|---------|------------|---------|
| 认知工作负荷 | 二分类/多分类(例如:低、中、高) | •FFT + 频谱分析 + RCF-IncepLite深度学习 •时频分析 + PSD + 双谱 | (Chen et al., 2016, Cheng et al., 2026, Shahrokhi et al., 2025) |
| 注意力 | 多层次(持续、波动、分心) | •统计建模 •相关性分析 •带自助法的中介分析 •EEG频谱分析(θ、α和β波段功率) | (Aroke et al., 2020, Wang et al., 2017) |
| 疲劳与警觉性 | 时间序列(动态状态跟踪) | •基于EEG和多模态生理信号的疲劳识别深度学习模型 •传统机器学习分类器用于疲劳状态分类 •信号处理和频谱分析以提取EEG疲劳特征 •生理和行为特征提取,包括HRV、EDA、EEG波段比率和面部标志点 •整合生理和视觉疲劳指标的多模态数据融合方法 •统计分析方法(ANOVA、回归、相关性)用于评估疲劳指标和模型性能 | (Chen et al., 2020a, Huang et al., 2025, Mehmood et al., 2023a, Mehmood et al., 2023b, Mehmood et al., 2024, Ouyang and Luo, 2021, Tehrani et al., 2022, Wang et al., 2024a, Wang et al., 2024b, Wang et al., 2023, Yuan et al., 2025, Yue et al., 2024) |

4.3.3 适应与评估
“适应”阶段是AugCog框架的核心,系统将推断出的认知状态转化为实时的、以用户为中心的调整。在这个阶段,感知和解释的数据指导适应性响应(例如,修改界面复杂性、调整任务节奏或调节自动化水平),以保持用户在其最佳认知表现范围内。神经人体工程学和认知工程的进步促进了基于EEG的适应性自动化、被动脑机接口(pBCIs)和神经自适应反馈系统的发展。这些进步使机器能够智能地响应心理工作负荷、注意力和疲劳的变化。

“评估”阶段是AugCog闭环的最终和自我反思组成部分,系统性能、认知影响和用户体验被系统地评估,以验证适应性干预的有效性。通过持续测量神经生理、行为和主观指标,这一阶段确定调整是否达到了预期的效果(例如,减少认知负荷、提高准确性或增强参与度)。最近的研究强调多模态验证方法,结合EEG、fNIRS、HRV和任务性能数据来捕捉在真实操作条件下的神经和行为反应。表12总结了适应和评估阶段的研究进展,重点介绍了适应机制、认知状态以及评估AugCog系统的关键实证进展。

表12. “适应”和“评估”阶段的研究进展

| 适应与评估方法 | 用于适应的认知状态 | 适应机制 | 关键发现 | 参考文献 |
|-------------|-----------------|-----------|---------|------------|
| 基于EEG的适应性自动化和评估 | •认知负荷 | •EEG工作负荷指标触发适应性机器人控制策略(例如,根据工人认知负荷调整机器人速度) | •建筑机器人的感官适应将保护工人/操作员的心理状态,从而提高施工现场人机协作的安全性和信任度 | (Liu et al., 2021c, Liu et al., 2022) |
| 基于眼动追踪的疲劳检测触发适应性系统响应 | •视觉疲劳 | •基于LSTM的视觉疲劳监测触发适应性警告和休息建议(例如,实时检测视觉疲劳并提示休息) | •工作-休息调度系统通过提供及时休息来有效控制视觉疲劳的累积,防止任务期间视觉疲劳恶化 | (Xu et al., 2026) |
| 眼动追踪注视分析触发自动化危险感知反馈 | •危险/风险意识 | •结合监督学习模型的眼动追踪特征提取能够实现自动危险识别行为检测(例如,注视模式分类危险感知性能) | •这种个性化反馈使参与者能够认识到其危险搜索策略中的不足并提高危险识别性能 | (Jeelani et al., 2018) |

4.4 基于AR的建筑安全中的认知状态循环嵌入
为了补充表4中的评分标准定义,图6展示了使用认知状态循环框架评估的研究的得分分布。分布显示四个维度之间存在明显不平衡。感知是最发达的维度,许多研究达到了中级或成熟水平,表明在实时生理和行为监测方面取得了实质性进展。推理也在审查的研究中有所体现,但主要集中在基础到中级水平,表明许多系统可以将信号映射到认知状态,但仍依赖于相对有限的建模复杂性。相比之下,适应较少见,且成熟度较低,而评估是最不发达的维度,表明只有很少有研究通过验证适应性干预是否改善了安全或性能相关结果来闭合循环。

下载:下载高分辨率图像(111KB)
下载:下载全尺寸图像
图6. 认知状态循环成熟度得分分布
这种模式对于解释两个审查证据流之间的关系很重要。它表明,更广泛的以认知为中心的文献已经在感知和推理方面取得了实质性发展,但在适应和评估阶段的闭环实现仍然较少见。相比之下,在基于AR的安全文献中,直接整合认知状态循环的情况极为罕见。与这种模式一致,在所有审查的AR相关研究中,只有Chen et al. (2024b)和Xu et al. (2026)展示了部分认知状态循环。其余的AR研究主要集中在现场状态循环上,而工人认知状态循环仍然处于开放状态。

为了阐明评分逻辑,Chen et al. (2024b)的研究被归类为中级感知,因为它采用了多模态实时行为感知。然而,它被评定为基本推理,因为从信号到认知解释的映射仍然是启发式的,而不是基于经过验证的认知模型。其响应机制被评定为基本适应,因为它提供了被动警报而不是状态依赖的适应性辅助。相比之下,Xu et al. (2026)的研究也被归类为中级感知,但它展示了中级推理和中级适应,因为它已经实现了基于检测到的疲劳水平的实时动态休息提醒调整,从而帮助减少了用户的整体疲劳感。与前者的研究相比,这项研究反映了更完整的AugCog闭环结构。

5. 讨论
5.1 结果的总体讨论
本综述显示,当前关于基于AR的建筑安全的研究在场地状态发展和认知状态发展之间存在重要不平衡。第一组文献表明,AR已广泛应用于危险识别、安全检查、培训和教育以及任务指导。在这些主题上,现有系统在场地状态感知、可视化和任务支持方面取得了明显进展,特别是在对齐准确性、危险突出显示、空间指导和程序辅助方面。这些发现证实,AR现在是一种可行且有用的媒介,可以在建筑工地上提供上下文敏感的安全信息(Li et al., 2018)。
同时,综述还表明,大多数基于AR的安全系统仍然作为开环工具运行。它们改善了对外部危险信息的访问,但很少感知或响应工人的即时认知状态。这在AR文献中对系统中心指标的强烈关注中得到了体现,而认知或行为指标(如工作负荷、注意力分配、情境意识和学习保留)的使用有限。相比之下,第二组文献表明,通过EEG、眼动追踪、皮肤电活动和多模态感知等生理和行为方法,已经研究了建筑安全中的认知状态感知和推理(Hasanzadeh et al., 2018, Jebelli et al., 2018, Mehmood et al., 2023b)。总体而言,这两个证据流表明,该领域尚未实现成熟的AR + AugCog集成,但已经为此发展了大量的构建模块。

5.2 双循环框架的作用
因此,提出的双循环框架应被视为一个专注于分析和设计的适应性AR安全系统框架,而不是涵盖所有人机交互的详尽模型。其目的是捕捉对认知感知安全支持至关重要的两类状态信息。第一是场地状态,它决定了客观存在的危险、空间冲突、任务约束和环境不确定性。第二是工人的认知状态,它决定了这些信息是否可以实时、以何种形式有效处理。
这种区分赋予了该框架特定的建筑贡献。在许多传统的适应性人机交互设置中,用户状态感知主要被视为工作负荷调节或界面个性化的问题(Parasuraman et al., 2000, Parasuraman et al., 2008)。然而,在建筑安全中,适应必须响应动态危险、移动设备、部分遮挡、时间危险演变和工人准备状态的组合。在这种情况下,场地状态循环支持外部危险的感知和更新,而认知状态循环有助于确定工人是否能够有效感知、理解并采取行动。从这个意义上说,该框架并不新颖,因为它没有发明新的控制逻辑;相反,它的价值在于将已建立的适应性交互原则转化为特定的建筑安全背景。它也与Endsley的情境意识模型一致,其中有效行动取决于感知、理解和环境状态的预测(Endsley, 1995)。
Chen et al. (2024b)提供了一个典型的建筑特定示例,他们为重型机械操作员开发了一个混合现实危险预防系统。在这种情况下,场地状态循环通过驾驶场景、距离信息和预定义的危险区域进行编码,而认知状态循环实时监测操作员的眼睛、头部和手部以推断分心或疲劳。这两个来源共同决定了适应策略:当在危险区域出现异常操作员行为时,系统会触发分级视觉-听觉警告。该系统通过重复的室内和室外试验进行了评估,使用识别准确性和响应时间进行评估。

5.3 开环AR与神经自适应AR
AR和AugCog是相关但不同的概念。AR主要作为信息显示和交互渠道,将数字内容空间锚定在工作环境中,而AugCog则作为闭环控制逻辑,感知用户状态、推断与任务相关的认知条件、调整辅助并评估结果。如表13所示,这两个概念可以独立存在或结合使用。在当前的建筑安全文献中,大多数审查的系统属于“仅AR”象限:它们为危险识别、检查、培训或任务指导提供世界锚定的覆盖层,但相对于工人的认知状态仍然是开环的。相比之下,“无AR的AugCog”象限包括通过其他传递方式(如基于桌面的神经自适应培训或人机协作系统)实现认知感知和适应性支持的系统(Chong et al., 2021)。

表13. AR与AugCog之间的比较矩阵

| 空单元 | 无AugCog(开环) | 有AugCog(闭环) | 无AR | 传统辅助/自动化 |
|---------|-----------|------------|---------|-----------|
| •固定检查表/警报 | •无状态感知(例如,纸质脚手架检查表;恒定阈值蜂鸣器) | AugCog S/I/A/E: 0/0/0/0 | •音频/触觉/用户界面节奏 |
| •感知工作负荷/注意力(例如,可穿戴设备根据工作负荷调整警报方式;基于桌面的AugCog培训,人机协作) | AugCog S/I/A/E: ≥1/≥1/≥1/≥1 | •AR仅 |
| •世界覆盖层(BIM、地理围栏、危险)手动切换;无用户状态(例如,HMD显示设施/红色区域) | AugCog S/I/A/E: ~1/0–1/0–1/0–1 | •场地循环:经常报告 |
| AR + AugCog | •AR作为执行器实现闭环:感知(用户+场地)→推断→适应(清理、模式、缓冲区、预测)→评估 | 例如,注视/信心感知危险提示减少检测时间/遗漏/暴露 | AugCog S/I/A/E: ≥1/1/1/2;场地循环:经过验证 |

从技术成熟度的角度来看,这两个流派显示出不同的优势。当前的建筑安全AR研究(第一组)在场地状态感知、可视化和任务支持方面相对更成熟。它们的主要成就在于危险突出显示、空间注册、程序指导和上下文敏感的信息传递,其评估主要由技术和任务级别的指标(如对齐准确性、危险识别、及时性和可用性)主导(Li et al., 2018)。相比之下,第二组审查的以认知为中心的建筑安全文献在认知状态感知和推理阶段显示出更强的发展,但在适应和评估方面的进展有限但仍在出现。图6中的得分分布支持这一模式,表明感知和推理是认知状态循环中最成熟的方面,而适应尤其是评估方面发展较少。这表明当前的建筑研究在两个循环方面的发展不平衡:AR研究在场地状态循环方面更强,而第二组研究为认知状态循环提供了更强的证据基础。
这两个流派提供的证据类型也不同。开环AR系统目前在技术和近端任务结果方面有更强的证据,例如改进的危险检测、检查完整性、培训性能和任务效率。然而,这些系统很少评估提供的信息是否与工人的即时认知准备状态相匹配。相比之下,第二组文献为近端认知和行为安全指标提供了更有力的证据,包括工作量减少、视觉注意力改善、警觉性提高、认知压力降低以及在苛刻条件下的表现更加稳定(Hasanzadeh等人,2018年;Jebelli等人,2018年;Qin和Bulbul,2023年;Wu等人,2023年)。这些发现表明,认知感知机制在改善安全表现的条件方面具有明显的潜力,尽管它们尚未被广泛整合到基于AR的建造系统中。

5.4. 将AR研究与认知状态研究联系起来
因此,本综述的主要价值不在于声称已经存在成熟的AR + AugCog文献,而在于展示如何将两个相邻的文献流整合成一个连贯的整合路径。第一组的研究结果表明,当前的AR系统已经能够很好地完成以下任务:感知现场情况、可视化危险、引导注意力到外部条件,并提供空间锚定的任务支持。第二组的研究结果表明,在认知状态循环方面已经取得了有意义的进展,尤其是在感知和推理方面,尽管适应性和评估方面的发展较为缓慢,但仍提供了重要的例子。图6中报告的成熟度得分分布支持了这一解释,显示出认知状态文献在感知和推理方面最为强大,但在适应性和评估方面仍不够成熟。

这种整合可以在表14中总结的四个安全主题中得到应用。在危险识别方面,注意力和工作量感知可以帮助识别被忽略的视觉线索,并触发上下文敏感的AR高亮显示。在安全检查方面,认知监控可以检测到警觉性下降或疲劳,并支持检查任务的适应性优先级排序。在培训和教育方面,参与度和工作量指标可以用来调整节奏、重复次数和信息密度,以提高学习效果。在任务指导方面,实时评估认知负荷和压力可以支持在复杂程序工作中进行适应性排序和简化信息传递。关键在于,未来的AR系统不需要立即从静态覆盖层过渡到完全成熟的神经适应性平台。相反,它们可以通过将经过验证的认知状态功能整合到已建立的现场状态AR工作流程中来实现逐步进化。

表14. 基于AR的AugCog和现实设计解决方案
安全主题 | 主要认知整合 | AugCog的增强方式
-----------------|-----------------|-------------------
危险识别 | •注意力 | •感知:眼动追踪和EEG传感器监测注视行为、注视持续时间和工作量水平,以检测被忽略的视觉线索或过载
| •推理:ML模型分类注意力焦点和SA状态(例如,注意力不集中、分心或过载)
| •适应:AR覆盖层动态高亮未察觉的危险并在过载时简化外围数据;听觉或触觉反馈重新定向焦点
| •评估:系统记录危险检测率、注视覆盖率和认知负荷减少,以确认意识和响应性的提高

安全检查 | •注意力 | •工作量
| •疲劳 | •警觉性
| •感知:眼动追踪和生理信号(EEG alpha、HRV)持续监测注意力稳定性和警觉性
| •推理:认知状态模型检测长时间检查中的警觉性下降或过载
| •适应:AR眼镜触发休息提示、重新排序检查优先级或在注意力下降时高亮高风险区域
| •评估:比较适应前后的检查完整性、危险覆盖率和认知疲劳

安全培训和教育 | •注意力 | •参与度
| •学习保留 | •感知:EEG和眼动追踪监测AR安全模块期间的参与度、注意力转移和认知努力
| •推理:分类器实时检测参与不足或过载情况并估计学习效果
| •适应:AR系统调整课程节奏、重复频率或视觉密度以维持参与度并防止疲劳
| •评估:认知负荷(EEG/fNIRS)和培训后测试评估学习收益、保留情况和注意力范围的改善

任务指导 | •认知负荷 | •压力
| •工作记忆 | •感知:使用EEG、EDA和眼动追踪传感器收集实时认知负荷、压力和工作记忆指标
| •推理:ML算法分类工人认知压力并检测任务过载或困惑
| •适应:AR系统调整指令顺序、减少视觉信息密度或减缓任务节奏以平衡工作负荷并降低压力
| •评估:比较适应前后的任务完成准确性、时间和工作量指标,以确认认知负荷优化

5.5. 实际可行性和部署限制
尽管整合逻辑在概念上很强,但实际可行性仍然是一个主要限制。建筑环境嘈杂、移动且体力要求高。汗水、灰尘、振动、运动伪影以及与个人防护装备的兼容性都可能降低实验室级传感技术的可靠性。因此,应谨慎判断不同模式的可行性,并根据具体的部署环境来进行评估。

在所审查的方法中,EEG和眼动追踪似乎是短期内建筑应用中最有前景的。EEG已经应用于建筑环境中的压力和疲劳识别,最近的研究表明,可穿戴和轻量级设备可能支持现场条件下的实时监控(Fang等人,2024b;Jebelli等人,2018年)。眼动追踪也相对可行,因为它可以在不需要的侵入性设备的情况下捕捉视觉注意力和危险搜索行为(Hasanzadeh等人,2018年;Jeelani等人,2020年)。相比之下,fNIRS和GSR/EDA等模式在运动鲁棒性、校准稳定性和与PPE的兼容性部署方面面临更大的挑战。多模态感知可能会提高可靠性,但也会增加系统复杂性和处理负担(Mehmood等人,2023b)。

这些限制表明,可行性应该是不均匀的,而不是完全不存在的。在受限场景中,如设备操作、安全检查或认知要求高的组装任务中,近期部署是最可行的,其中选定的可穿戴模式可以在不造成过多干扰的情况下使用。更广泛的现场范围部署将需要在伪影处理、加固硬件、设备内处理、保护隐私的数据管道和工作流程整合方面取得进一步进展。

5.6. 未来研究方向
从本综述中可以得出三个未来的研究方向。首先,需要更多的工作来验证实际建筑条件下的认知感知。实验室演示很有价值,但它们不足以了解在运动、振动、环境噪声和PPE限制下感知质量的变化。其次,未来的工作应专注于实时且可部署的推理模型,这些模型需要在准确性、延迟和鲁棒性之间取得平衡,特别是对于可穿戴或移动应用。大多数现有的AugCog推理模型,尤其是用于EEG–fNIRS数据融合的深度神经网络,在计算上非常密集,并且针对离线处理进行了优化。这限制了它们在安全用途上的实用性。最近在神经人体工程学方面的研究已经取得了显著进展(例如Zanetti等人,2021年;Karmakar等人,2023年;He等人,2024年)。尽管有这些进展,但在动态建筑环境中可靠部署此类模型之前仍存在重大挑战。实时推理仍然面临准确性和延迟之间的权衡,特别是在移动或嘈杂的现场条件下。研究表明,提供过多信息可能是适得其反的(Kortschot等人,2022年;Mohamed,2023年)。为了解决这些挑战,未来的研究应优先考虑模型压缩、迁移学习和增量学习技术,以实现设备上的适应性调整。研究还应评估响应延迟和可靠性,确保推理在1到2秒内完成,以支持实时AR适应。

最后,研究应超越静态覆盖层,转向自适应AR界面设计,其中模式、密度、时间和节奏可以根据现场状态和认知状态信息进行调整。同时,评估实践也应更加雄心勃勃。当前的研究仍然主要关注可用性、识别准确性和短期性能指标。未来的研究不仅应评估工作量、注意力和情境意识,还应评估更有意义的安全指标,如不安全行为、暴露持续时间、接近事故的情况,以及在可行的情况下,长期的事故结果。只有这样,才能确定AR + AugCog系统是否不仅能提供更好的界面,还能真正实现更安全的建筑工作。

6. 结论
本文回顾了与未来认知感知AR系统在建筑安全领域发展相关的两个相邻的文献体。第一组文献研究了当前的基于AR的建筑安全研究,这些研究表明AR已广泛应用于危险识别、安全检查、培训和教育以及任务指导。这些研究表明,AR越来越能够支持现场状态感知、可视化和任务指导,但也表明大多数当前系统在工人的认知状态方面仍然是开环的。第二组文献研究了以认知为中心的建筑安全研究,这些研究为认知状态循环提供了更有力的证据,特别是在感知和推理方面,尽管在适应性和评估方面的发展较为有限但正在出现。

基于这两个证据流,本文认为未来建筑安全系统的主要机会在于现场状态意识和认知状态意识的整合。在这个背景下,提出的双循环框架并不是一个涵盖所有人机交互的详尽模型,而是一个用于自适应AR安全设计的重点框架。现场状态循环决定了哪些危险、限制和环境变化客观存在,而认知状态循环决定了工人是否能够实时有效地处理这些信息以及以何种形式处理。通过这种方式,AR作为信息显示和交互渠道,而AugCog提供了感知、推理、适应和评估的闭环逻辑。

综述进一步表明,AR + AugCog在建筑安全中的全面整合仍处于早期阶段。当前的AR系统在可视化和任务支持方面相对更为成熟,而以认知为中心的研究为工作量监控、注意力评估、疲劳检测及相关适应机制提供了主要证据基础。尽管目前只有少数研究将两个循环结合在一个系统中,但所审查的文献表明,未来整合的技术和概念基础已经在出现。因此,本文的贡献不在于声称存在一个成熟的整合领域,而在于提供了一个基于证据的整合框架和未来认知感知AR在建筑安全领域研究的结构化议程。

本文也有一些局限性。首先,综述主要基于Scopus数据库,可能没有涵盖其他数据库(如Web of Science、IEEE Xplore或Google Scholar)中的相关研究。其次,将建筑安全应用分为四个领域的分类是基于所选文献的主题开发的,可能无法完全代表所有可能的研究方向。第三,许多审查的研究依赖于实验室实验、短期试验或相对较小的样本,这限制了其发现对实际建筑环境的普遍性。此外,虽然像EEG和眼动追踪这样的传感技术显示出明显的潜力,但它们在建筑现场的实际部署仍受到运动伪影、环境噪声、PPE兼容性、校准稳定性和实时处理要求的限制。最后,持续监测工人的生理和行为数据还引发了与隐私、同意和数据治理相关的重要伦理问题。

总体而言,本文表明,从传统AR向认知感知AR在建筑安全领域的过渡既充满希望也充满挑战。因此,未来的研究应专注于认知感知的现场验证、实时和鲁棒的推理以及自适应AR界面设计,同时评估超出可用性和任务性能的结果,以获得更强的安全行为和安全性能指标。通过解决这些挑战,AR + AugCog系统可能支持更智能、更适应性和以人为中心的建筑安全管理。

CRediT作者贡献声明
Bowen Ma:撰写——原始草稿、方法论、调查、形式分析、概念化。
Brian H.W. Guo:撰写——审阅与编辑、撰写——原始草稿、监督、方法论、形式分析、概念化。
Lei Hou:撰写——审阅与编辑、监督、方法论、概念化。
Zuzhen Ji:撰写——审阅与编辑、方法论。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号