基于眼动追踪与深度学习的工业巡检视觉注意力分析方法

《Sensors》：A Visual Attention Analysis Method for Industrial Patrol Inspection Based on Eye Tracking and Deep Learning

　　

人工工业巡检在很大程度上依赖于现场的目视观察，而巡检人员对特定目标设备的视觉注意力难以量化。本研究提出了一种融合眼动追踪（Eye Tracking, ET）与基于深度学习的目标检测（Deep Learning-based Object Detection）的工业巡检视觉注意力分析方法。利用可穿戴眼动追踪设备采集第一人称巡检视频、眼动追踪数据及相机参数。在完成多模态数据的时间对齐后，将三维（3D）注视点投影至对应的二维（2D）巡检视频帧上。采用YOLO12m检测目标设备，随后将二维注视点与设备边界框进行逐帧匹配。基于匹配结果，计算七项视觉注意力指标，以定量表征巡检过程中的视觉注意力。现场实验共有10名参与者，获得21条巡检记录，总体视觉注意力得分范围为43.16至89.71，平均值为75.99。三位专家独立对21条记录进行评级，系统生成的评级与多数专家的评级在19条记录上一致。这些结果表明，在当前实验条件下，所提出的方法能够利用多项指标定量分析巡检人员对特定目标设备的视觉注意力，并提供可解释的结果。

工业巡检是设备运行维护的重要环节，通常需要巡检人员沿规定路线对设备运行状态和关键检查点进行查看，以发现设备异常和潜在故障。人工巡检在工业现场仍发挥重要作用，但依赖巡检人员的现场目视观察，具有一定主观性。巡检人员是否对目标设备投入充分的视觉注意力（Visual Attention）是影响巡检质量的关键因素。然而，现有数字化与智能化巡检研究多集中于可穿戴设备辅助、增强现实、巡检路径优化等任务支持与过程管理方面，对实际巡检中巡检人员视觉注意力的定量表征关注不足。眼动追踪（Eye Tracking）能够记录注视信息，深度学习目标检测（Object Detection）能够自动定位设备，为建立注视信息与特定设备之间的关联提供了技术基础。因此，本研究旨在提出一种融合眼动追踪与深度学习目标检测的工业巡检视觉注意力分析方法，实现对巡检人员不同设备视觉注意力的定量分析。

研究人员在污水处理厂高密度沉淀池区域开展现场实验，10名参与者佩戴Microsoft HoloLens 2可穿戴眼动追踪设备，沿预定路线巡检11个目标设备（含阀门、变送器、搅拌器、流量计和刮泥机）。关键技术包括：利用HoloLens 2同步采集第一人称视频、眼动追踪数据（注视原点、注视方向、注视距离）及相机参数（投影矩阵、位姿矩阵）；通过视觉同步标记对多模态数据进行时间对齐；基于相机参数将三维（3D）注视点投影至二维（2D）视频帧；采用YOLO12m模型检测五类目标设备；逐帧匹配二维注视点与设备边界框；基于匹配结果定义七项视觉注意力指标（S1-S7）并计算总体评分。

**4.1 眼动追踪实验（Eye-Tracking Experiment）**
通过选取巡检人员观察某阀门的一段连续时间数据，将眼动追踪数据与对应视频帧和相机参数进行时间对齐，并将三维注视点投影至二维视频帧形成注视轨迹。该实验验证了现场巡检过程中眼动数据采集与三维到二维注视点投影的可行性，为后续注视点与设备边界框的匹配提供了基础。

**4.2 建模（Modeling）**
利用现场采集的第一人称巡检视频