《Sustainability》：From Perception to Cognition: A Systematic Review of Informatics-Driven Vision-Based Safety Management for Sustainable Development in High-Risk Industries
高风险行业（HRI）因复杂环境和多因素风险面临持续的安全挑战。传统人工监控效率低下且反应被动。尽管计算机视觉（CV）和深度学习（DL）已实现自动化风险感知，但现有研究缺乏对向风险认知过渡的系统综述。本系统综述遵循PRISMA 2020指南，检索了Web of Science、Scopus和IEEE Xplore中2021年1月至2025年12月发表的研究。经过两阶段筛选，共纳入108项符合条件的研究。这些研究涵盖建筑、采矿、石油和天然气、石化、铁路、能源和海事行业，其中感知层应用占主导地位，而认知和预警层研究仍然有限。研究人员提出了一个“感知–认知–预警”框架，以映射从数据到信息、知识和可操作决策的演进过程。研究人员的发现表明，视觉感知技术（例如，个人防护装备（PPE）检测、目标跟踪）已成熟，但在多模态信息融合、知识推理和决策方面仍存在显著瓶颈。实现真正的认知飞跃需要多模态语义对齐、场景图构建和因果推理。所提出的框架使从业人员能够设计具有场景理解和可解释决策能力的认知安全视觉系统。关键实施策略包括解决少样本学习、跨域泛化和人机协作方面的挑战。通过整合AI驱动的感知、认知推理和主动干预，本综述支持联合国可持续发展目标。相关目标包括目标3（健康与福祉）、目标8（体面工作）和目标9（工业与创新）。
1. 引言
1.1 背景
高风险行业（HRI）被定义为满足以下至少两项标准的工业部门：高于平均的职业死亡率和伤害率、存在多种交互危险源的工作环境、高人员流动性或临时劳动力，以及动态的人-机-环境交互。这些行业包括建筑、采矿、石油天然气、石化、铁路、海事、能源及大型土木基础设施。大多数安全事故与现场不安全行为、设备异常、环境变化及多因素风险耦合相关。传统安全监控依赖人工检查、经验判断和事后分析，具有不连续性和主观性，难以实现复杂工业场景下的实时风险识别、语义解释和主动干预。为明确跨学科概念，本文定义了关键术语：计算机视觉（CV）指从图像或视频流中提取结构化信息的算法；深度学习（DL）指基于多层神经网络的机器学习方法；个人防护装备（PPE）包括头盔、安全带、反光服等；知识图谱（KG）是领域内实体及其语义关系的结构化表示；视觉语言模型（VLM）整合视觉与文本理解以实现跨模态推理；多模态大语言模型（MLLM）扩展大语言模型以处理图像、文本和音频等多种模态；建筑信息模型（BIM）是建筑环境设计管理的数字模型；城市信息模型（CIM）将BIM原理扩展到基础设施全生命周期管理；数字孪生（DT）创建物理系统的实时虚拟副本以进行监控和仿真。随着工业4.0、工程信息学、人工智能（AI）、物联网（IoT）、数字孪生和大数据分析的发展，HRI的安全管理正从被动合规检查转向主动风险预防。其中，CV和DL能够自动识别PPE合规、不安全行为、人机交互、空间入侵、结构缺陷、火灾烟雾、物料堆放及环境异常，因此展现出巨大潜力。然而，大多数应用仍停留在感知层面：检测可见对象或事件，却无法解释为何条件危险、风险如何传播以及应推荐何种干预措施。本文区分了基于视觉的安全管理与结构状态监测、故障诊断及通用工业AI等领域，明确聚焦于HRI中视觉技术用于安全风险感知、认知和预警的研究。从感知到风险的认知转变是实现主动安全的关键。检测工人未戴头盔是感知任务，而判断该行为在特定空间背景下是否构成坠落、打击或碰撞风险则需语义推理、规则匹配和因果解释。现有综述虽针对特定行业或技术类别提供了有价值见解，但未充分描绘跨行业从数据信息提取到知识推理和决策支持的转变。本研究通过信息学驱动的系统综述填补这一空白。该转变也符合联合国可持续发展目标（SDGs），直接贡献于目标3（健康与福祉）、目标8（体面工作）和目标9（工业与创新）。本综述遵循PRISMA 2020指南，围绕以下三个研究问题展开：RQ1：HRI中基于视觉的安全监控技术如何从孤立感知任务演变为集成的“数据-信息-知识-决策”链？RQ2：认知层技术在语义理解、风险推理和主动预警中扮演什么角色？RQ3：整合视觉感知、知识推理、多模态语义对齐和闭环预警干预的关键未来研究方向是什么？论文其余部分组织如下：第1.2节详述PRISMA 2020方法；第2、3、4、5节综合感知、认知和预警层的证据，回答RQ1和RQ2；第6节总结未来研究方向和实际意义，回答RQ3。
1.2 方法
本系统综述严格遵循PRISMA 2020指南，涵盖研究设计、文献检索、筛选、资格评估、数据提取和证据综合全过程。首先通过PRISMA协议明确文献检索和筛选策略，确保样本权威性和代表性。其次，以工程信息学“数据-信息-知识-决策”链为指导，构建“感知-认知-预警”分析框架作为文献分类和主题综合的理论基础。最后，依据该框架对纳入研究进行数据提取和主题编码。综述方案事先制定，包括研究问题、纳入标准、检索策略和综合方法，但未在PROSPERO或OSF注册，因研究聚焦工程信息学而非临床结果。所有方法决策在全文筛选前记录以确保透明度。
1.2.1 文献检索
使用Web of Science、Scopus和IEEE Xplore作为主要数据源。初始检索共获得1137篇相关文章，经排除156篇非预定时间范围（2021年1月1日至2025年12月31日）的文章后剩981篇，再去除256篇重复后剩725篇进行初筛，进一步排除424篇与AI应用无关或未聚焦高风险行业的文章后剩301篇进行全文审查。其中95篇因订阅限制、缺少全文链接或出版禁令无法获取，另有98篇会议摘要因无全文或实证数据被排除，最终纳入108项符合条件的研究。筛选由两位研究者独立进行，先进行标题/摘要筛选，再进行全文资格评估。筛选前两位研究者对20篇随机记录进行校准练习。标题/摘要筛选时，每篇记录独立分类为“纳入”、“排除”或“不确定”，“不确定”及意见不一致的记录自动进入全文审查。全文阶段两位研究者独立评估资格。对20%的记录（n=145）计算Cohen's kappa系数为0.84（高度一致），分歧通过讨论解决，无法达成共识时由第三位研究者决定。未使用自动化工具，所有筛选决定均记录在标准化提取表中。
1.2.2 数据提取与主题编码
从每篇纳入研究中提取关键信息，包括书目详情、行业背景、安全应用场景、风险类型、数据来源、AI/视觉技术类型、知识表示方法、验证策略、性能指标、部署模式、决策支持功能、主要发现和报告局限性。编码过程结合演绎和归纳方法：演绎上，以“感知-认知-预警”三层框架为主要编码结构；归纳上，在全文分析中细化子主题，如PPE检测、入侵预警、人机交互、环境异常识别、语义风险推理、多模态融合和主动干预。研究若覆盖多个层次则允许多重编码。编码分歧通过讨论解决，最终编码交叉验证。
1.2.3 纳入文献总结
为增强透明度和可追溯性，对108项纳入研究进行了系统总结，记录每项研究的行业领域、安全场景、技术层、核心方法、数据来源、验证方法、主要发现和报告局限性。表3展示了代表性研究的选取标准：覆盖所有三个框架层、所有主要行业、方法多样性（如YOLO、Faster R-CNN、Transformer、基于KG的方法）、不同证据质量等级，并优先选择有现场部署或现场验证的研究。全部108项研究的完整列表见补充材料表S2。多层编码允许每项研究被分配到多个层。例如，同时进行目标检测和生成风险预警的研究被编码为感知和预警；结合CV与知识图谱推理的研究被编码为感知和认知。因此，各层研究数量之和超过108。按技术层统计，感知层占主导（n=101项研究编码），认知层（n=15）和预警层（n=29）较少，表明知识级推理和主动干预仍是新兴领域。验证方面，53.7%的研究仅依赖自定义数据集，13.9%涉及现场部署，仅2.8%同时满足公开数据集、外部验证、基线比较和现场部署的高证据质量。这些发现凸显了开放数据集、标准化评估协议和面向部署验证的迫切需求。
1.2.4 综合策略与方案状态
采用主题映射方法，将纳入研究分为三个相互关联的分析主题：视觉感知（从原始视觉或多模态数据中提取安全相关信息）、视觉认知（通过语义理解、知识图谱、场景图、多模态融合、视觉语言模型和因果推理将信息转化为知识）、预警与决策支持（将感知和推理的知识转化为风险警报、决策建议和主动干预）。这一主题结构构成了第3、4、5节的分析框架。需承认若干方法学边界：文献检索仅限于三个数据库和英语出版物，可能遗漏非英语来源或灰色文献；检索时间范围（2021-2025）强调近期进展但可能排除早期基础研究。
1.2.5 偏倚风险评估
未进行正式的偏倚风险评估，因纳入研究在设计、方法和应用领域上异质性高，且不存在针对工程计算机视觉研究的标准化偏倚评估工具。取而代之，基于七个维度进行证据质量定性评估：数据集透明度、外部验证、数据泄露、基线比较、不确定性量化、可重复性和部署真实性。详细评估标准见补充材料表S1，证据质量水平分布见补充材料表S5。
1.2.6 方法学局限性
本综述存在若干方法学局限性：检索限制（仅三个数据库和英语出版物）、无法获取的报告（301篇中95篇无法获取）、双评审者筛选仅覆盖20%的记录、异质性结果（未进行元分析）、框架不确定性（先验框架可能存在循环推理）、证据质量评估框架未经验证。综述方案未在PROSPERO或OSF注册，视为方法学局限性。完整的PRISMA 2020清单见补充材料。
2. 从感知到认知：信息学驱动的技术演进与升级路径
提出的框架通过演绎理论和归纳编码迭代开发。理论上，基于工程信息学“数据-信息-知识-决策”链和Endsley的情境意识模型，两者汇聚于三层结构。归纳编码中，三个分析主题出现：视觉感知、视觉认知和预警。框架的操作性决策规则定义如下：感知层以原始视觉或多模态数据为输入，产生结构化信息（如对象标签、位置和轨迹），核心操作是检测、分类、分割和跟踪；认知层以结构化信息为输入，产生像素上不可直接观察的知识，核心操作是语义理解、关系推理和因果推理；预警层以风险知识为输入，产生可操作决策（如警报、建议和干预）。包含多重功能的研究按能力成熟度模型分类：L1感知（无推理的自动检测）、L2基于规则的预警（检测触发预设警报）、L3认知（语义推理、知识图谱构建、场景图分析或因果推理）、L4集成（完整的感知-认知-预警链及自适应决策支持）。视觉安全风险监控的技术演进并非简单替代，而是工程信息学驱动的概念创新和系统重构。传统范式（如人工检查和早期基于规则的视频分析）大多停留在“数据-信息”初级阶段，缺乏深度关联和理解。随着DL和CV的发展，YOLO系列、Faster R-CNN、SSD等框架实现了安全要素的自动化高精度“感知”，显著提升了“从数据中提取信息”的效率。然而，工程信息学的核心是构建“数据-信息-知识-决策”模型，形成“感知-认知-预警”信息价值链。图2展示了从工程信息学视角的技术演进图：感知层利用CV将非结构化视觉数据转换为结构化信息；认知层通过知识图谱、场景图和因果推理技术理解信息间的语义和因果关系；预警层基于认知知识生成干预指令。工程信息学的发展为技术演进提供支撑：早期关注数据数字化（如BIM应用），现在向“智能工程信息学”转变，强调智能分析和决策支持。例如，视觉数据与BIM结合实现风险可视化定位，行为识别结果与安全知识图谱关联实现违规自动预警，最终推动安全管理从被动响应转向主动预防。
3. 安全风险视觉感知：从数据到信息的提取
在“感知-认知-预警”信息价值链中，感知是基础和起点，核心任务是从海量视觉数据中高效准确地提取与安全风险相关的像素信息。深度学习特别是卷积神经网络（CNN）技术的发展，使CV在目标检测、图像分类和语义分割（SS）等任务上取得突破性进展，为HRI安全风险的自动化感知提供了前所未有能力。本节详述CV技术在PPE合规检测、人员与设备目标检测与跟踪、环境与物料风险识别中的应用现状与挑战。
3.1 PPE合规检测
3.1.1 研究现状分析
PPE是HRI人员安全的第一道防线。早期PPE检测依赖传统图像处理和机器学习算法，如HOG和SIFT特征提取结合SVM或Adaboost分类器，在特定场景表现良好，但对光照变化、遮挡、视角多样性等复杂环境鲁棒性差。深度学习的兴起，特别是基于CNN的目标检测算法，大幅提升了PPE检测的准确性和实时性。相关算法分为两阶段检测器（如Faster R-CNN[75]、Mask R-CNN[105]）和一阶段检测器（如YOLO系列[70,71,72,73,74]、SSD[76]）。前者精度高但速度慢，后者因卓越实时性更适用于HRI监控需求。以安全头盔检测为例，A'la (2023)[93]使用YOLOv8在自建数据集上达到0.980的平均精度均值（mAP）；Kisaezehra等人(2023)[106]将YOLOv5应用于施工现场实时安全头盔检测；Wang等人(2023)[94]改进YOLOv4算法，结合BN层、K-means聚类、灵活NMS和多尺度特征融合，检测速度提升3.4倍并保持更高精度；Chowdhury等人(2024)[95]比较YOLOv5至YOLOv10系列模型，发现YOLOv9在精度、速度和模型尺寸间平衡出色，YOLOv8m在实时场景下速度最优。Li等人(2025)[80]在输电线路工程中采用轻量级网络SafeRopeNet，通过边缘-云架构实现实时PPE监控。此外，安全绳、反光服等PPE也可通过类似方法检测。然而，该领域仍面临小目标长距离检测困难、复杂光照和严重遮挡下模型泛化能力不足等挑战。
3.1.2 挑战与展望
PPE检测技术虽相对成熟，但仍面临小目标长距离检测、极端环境适应性、动态遮挡处理等问题。未来研究应关注多模态多尺度检测，引入注意力机制和上下文信息增强模型鲁棒性和泛化能力，并借助5G技术和边缘计算进一步提升检测精度和速度。
3.2 人员与设备目标检测与跟踪
3.2.1 研究现状分析
在HRI中，人员与设备的实时位置、运动轨迹和交互状态是安全风险评估的核心基础。CV技术可实现两者的自动检测与跟踪，为风险预警和事故预防提供关键时空信息。目标检测方面，YOLO系列和Faster R-CNN等深度学习模型表现突出，能准确识别人员、挖掘机、起重机、运输车辆等多种目标。例如，Wu等人(2023)[79]使用YOLARC框架对高速铁路沿线潜在安全隐患进行实时实例分割（IS）；Ma等人(2025)[122]优化YOLOv5模型用于地下矿井工作面分割；Ke (2025)[96]提出MSFA-TA算法，集成多尺度特征和时空注意力机制，在建筑工程安全监督中达到92.5%的mAP，尤其提高了小目标召回率。在目标跟踪方面，主流多目标跟踪（MOT）算法采用基于检测的跟踪范式，如DeepSORT用于特征提取。Mei等人(2025)[81]提及此类方法。近年来，MOT技术在复杂场景适应性上不断突破：Feng等人(2024)[126]提出可学习多尺度Gabor变换网络，提高行人轨迹预测精度；Chen等人(2025)[127]提出可变形时空交互图卷积网络，有效解决遮挡场景中的轨迹断裂问题。人员与设备跟踪技术可实现区域入侵检测、碰撞预警、异常行为检测和操作效率分析等多种安全监控功能。
3.2.2 挑战与展望
当前人员与设备目标检测与跟踪仍面临复杂环境鲁棒性差、遮挡问题、小目标多尺度问题、实时性要求高等挑战。研究人员正在探索多传感器融合（如结合LiDAR[98]）、更先进的特征提取网络（如MViTv2[128]）、低光照图像增强[129]和更鲁棒的跟踪算法。
3.3 环境与物料风险识别
3.3.1 环境风险识别
火灾烟雾检测方面，CV技术通过分析视频流中的火焰和烟雾特征实现早期非接触式火灾检测。Deng等人(2025)[99]提出级联深度学习框架，结合YOLOv8n、ECA和BiFPN，实现95.2%精度和88.3%召回率。结构缺陷检测方面，Li等人(2023)[100]提出基于两阶段迁移学习的混凝土坝表面裂缝智能检测方法，通过ResNet50和MPR模块达到88.3%的mIoU和92.7%的mPA。Zhou等人(2024)[101]提出基于Vision Transformer的坝面裂缝自动检测网络DCST-net。环境异常监测方面，视觉监控可识别气体泄漏、液体溢出等异常。地质灾害监测方面，视觉技术可识别滑坡、泥石流早期迹象。
3.3.2 物料风险识别
物料堆放合规检测、危险品识别、超载车辆识别等方面，CV技术发挥重要作用。Li等人(2024)[103]提出基于CV和DL的非接触式超载车辆识别方法。
3.3.3 挑战与展望
环境和物料风险识别面临复杂背景干扰、目标多样性、数据稀缺、实时性与准确性平衡等挑战。研究人员正在探索多模态数据融合、半监督或无监督学习、注意力机制等技术。
4. 安全风险视觉认知：从信息到知识的推理
在信息价值链中，认知是将感知阶段提取的离散信息转化为具有深层语义和关联关系的“知识”的关键环节，目标超越“看到什么”，实现“理解正在发生什么”、“为什么发生”和“可能导致什么后果”。近年来，多模态大语言模型（MLLM）、知识图谱（KG）和场景图等技术为实现这一飞跃提供了强大工具。
4.1 不安全行为识别与语义分析
不安全行为是HRI事故主因之一。早期行为识别基于骨架提取和光流法，结合RNN或LSTM捕捉时序特征，但缺乏对行为上下文的理解。语义分析的核心是超越简单行为识别，达到对行为“意图”和“后果”的深层理解。模型需具备三个关键能力：上下文感知能力、规则知识融合能力、因果推理能力。多模态MLLM和VLM的兴起为这些能力提供了核心技术支撑。例如，Li等人(2025)[169]基于Flamingo和Perceiver架构的Otter模型，通过上下文指令调优增强感知和泛化能力；Mini-Gemini[170]和DeepSeek-VL[171]通过优化视觉编码器提高视觉场景与文本规则的匹配精度。这些研究表明，不安全行为识别正实现从“感知”到“认知”的核心飞跃。典型案例如Duan (2025)[175]提出基于KG的煤矿安全风险管控方法，通过多模态传感器和视觉算法识别工人违规操作等不安全行为，并关联安全KG构建语义链，实现实时风险推理。
4.2 场景图与风险关系推理
HRI安全风险源于人、设备等多实体间的复杂交互。场景图作为结构化知识表示形式，能捕捉图像中对象及其关系，为风险推理提供支持。场景图与KG均具有“实体-关系-实体”核心结构，但侧重点不同：场景图捕捉特定场景中实体的实时空间和语义关系，动态变化；KG存储领域规则、事故案例和实体属性，跨场景更持久。两者通过“动态关系+静态规则”链接，形成“感知场景→匹配规则→推理风险”范式。场景图在风险推理中的应用体现在四个方面：复杂上下文风险识别、多因素耦合风险分析、不安全行为语义解释、与KG融合。Mei等人(2025)[81]将YOLOv5和DeepSORT与KG结合，识别建筑工地不安全行为并提出建议；Wu等人(2025)[178]基于BERT-BiLSTM-CRF构建建筑事故KG；Liu等人(2023)[85]通过生成现场场景图、提取知识并结合BERT模型信息提取，实现PPE合规检查。当前认知方法仍面临场景图自动生成质量不稳定、知识图谱构建维护成本高、关系推理准确性不足等挑战。
5. 技术集成与预警系统：从知识到决策的实施
推进HRI视觉安全风险监控需要将“感知-认知-预警”信息价值链集成到统一系统中，并有效实施于实际工程场景。这涉及决策支持模型构建、与BIM/CIM等工程信息系统无缝集成。
5.1 决策支持模型
5.1.1 实时预警与自动化干预
传统预警多依赖固定干预动作（如停机、声光报警）。Alenjareghi等人(2025)[97]的SRMS机制在识别到人机碰撞风险后自动触发紧急停机。深度干预需建立“风险等级-干预强度-场景适配”动态映射机制，结合强化学习和数字孪生技术自主优化干预策略。
5.1.2 风险态势可视化与交互查询
风险可视化的核心价值是提供“场景还原-趋势预测-方案对比”的深层决策支持，需结合KG和因果推理实现可视化与决策的深度绑定。例如，在BIM/CIM三维平台上动态标记风险传递链，自动生成不同干预方案并量化关键指标。
5.1.3 智能决策推荐与辅助分析
系统可基于预设规则库、知识图谱或机器学习模型推荐最优干预措施。Aderamo等人(2024)[4]的AI驱动预测安全系统通过实时监测和机器学习预测危害并优化响应策略。
5.1.4 人机协同决策
AI提供信息、知识和建议，最终决策由人类专家做出，要求系统具备良好可解释性（XAI）。Mosqueira-Rey等人(2023)[187]强调人在系统控制、交互和模型解释中的作用。Hu等人(2025)[184]的TDSP框架通过上下文交互和证据融合提高系统信任度和决策准确性。
5.1.5 自动化干预的可靠性、安全性与治理
视觉系统固有误报和漏报，需校准置信度阈值和不确定性感知决策规则。不确定性在感知、认知和决策层传播，需量化并传达给操作员。频繁误报导致警报疲劳，需自适应预警优先级。系统需具备故障安全模式，传感器故障时默认安全状态。人类应保留高后果决策的覆盖权。视觉监控系统是网络攻击目标，需安全数据传输、访问控制和对抗鲁棒性训练。视觉数据涉及人员隐私，需匿名化、数据最小化和合规处理。AI决策的法律责任问题未解决，需明确系统开发者、运营商和设施所有者的责任。自动化干预系统需符合行业安全标准和法规。
5.2 BIM/CIM接口与挑战
5.2.1 BIM/CIM接口
BIM/CIM接口的核心是将视觉监控系统捕获的实时数据（人员位置、设备状态、环境风险）与BIM/CIM模型中的静态数据（几何信息、构件属性、空间拓扑）进行空间和语义对齐，实现多源异构数据融合。例如，Wei等人(2025)[84]将CV目标检测应用于MEP构件，与BIM模型比较发现偏差。Wu等人(2023)[7]结合近海隧道施工风险与BIM模型，利用Revit技术实现可视化。跨行业系统接口方面，BIM/CIM可与SCADA、DCS、CMMS、IoT传感器网络等通过标准化数据交换协议（如OPC UA、IFC）链接，实现3D可视化实时过程数据和视觉监控结果。
5.2.2 挑战
BIM/CIM接口面临数据互操作性与标准化缺失、实时数据同步与处理压力、语义对齐与知识映射困难、模型轻量化与渲染效率、隐私与安全、跨域泛化与少样本学习等挑战。Su等人(2025)[185]探索区块链技术在安全风险监控中的应用，为解决数据安全和信任问题提供了方案。真实部署约束包括可扩展性、成本和集成挑战。大多数研究在单站点单摄像头设置上验证，多站点多摄像头部署面临模型一致性、分布式推理和集中管理问题。视觉安全系统需要大量前期投资，成本效益未被系统评估。部署需与现有安全管理流程、法规合规框架和遗留IT系统集成，挑战包括数据格式不兼容、通信协议差异、组织阻力等。
5.2.3 框架验证策略
建议五种互补验证策略：受控环境试点部署、数字孪生仿真、与现有系统基准比较、安全专业人员专家评审、逐层增量验证。这些策略应在未来研究中优先实施，并透明报告验证结果。
6. 结论与展望
6.1 综述发现总结
本综述系统综合了2021-2025年间108项HRI视觉安全风险监控研究。发现1：视觉感知技术已达到高任务特异性成熟度，PPE检测、目标跟踪和环境异常识别在任务特定数据集上常报告mAP超过0.90，但泛化到未见环境仍是持续挑战。
