通过使用眼动追踪技术优化人机交互（HCI）界面和工作-休息安排，来减轻基于增强现实的建筑缺陷检测过程中的视觉疲劳

《ADVANCED ENGINEERING INFORMATICS》：Reducing visual fatigue by optimizing HCI interface and work–rest scheduling using eye tracking in AR-based building defect inspection

增强现实（AR）建筑缺陷检查中视觉疲劳的优化方法研究，提出基于眼动数据的遗传算法（GA）界面布局优化与LSTM动态工休调度模型，实验表明可提升信息识别效率并降低眼动负荷。

　　

徐文宇|陈凯宇|谭毅

教育部沿海城市韧性基础设施重点实验室，中澳BIM与智慧建筑联合研究中心，深圳大学，中国深圳

摘要

基于增强现实的建筑缺陷检测（AR-BDI）在建筑实践中的应用日益普遍。然而，在长时间使用AR头戴显示器（AR-HMD）过程中，视觉疲劳及相关不适仍然是一个实际的人体工程学问题，这可能对工人表现和安全产生负面影响。为了解决这一人体工程学挑战，本研究提出了一种集成方法，该方法结合了人机交互（HCI）界面优化和基于眼动追踪数据的工作-休息调度。通过遗传算法（GA）优化了一个总目标函数，并引入了惩罚机制以提高界面布局效率。此外，还使用基于LSTM的模型实时监测视觉疲劳水平并动态调整休息间隔。现场实验表明，优化后的HCI界面提高了信息识别效率并减少了眼球运动负担。所提出的调度系统通过实现及时的休息干预进一步支持视觉疲劳管理。通过将人体工程学界面设计与AR-BDI任务中的顺序视觉疲劳预测和疲劳感知工作-休息调度相结合，本研究提供了一种结构化的方法，以提升建筑环境中的用户体验和系统长期可用性。

引言

增强现实（AR）已越来越多地应用于多个行业的各种任务中[1]。特别是在建筑缺陷检测（BDI）领域，BDI是一种系统化的过程，用于检测、分类、测量和记录建筑缺陷，以便进行维护和质量管理。标准的BDI工作流程通常包括[2]、[3]、[4]：（1）视觉表面扫描以定位缺陷；（2）根据预定义的分类法对缺陷进行分类；（3）几何量化缺陷；（4）验证记录并获得签字确认。AR的出现通过将数字信息与物理环境相结合，改变了传统的检测方法[5]、[6]。基于AR的建筑缺陷检测（AR-BDI）的主要目标是通过实时数字叠加帮助工人快速识别和评估缺陷，从而提高工作效率和决策质量[7]。AR-BDI的实施过程通常包括几个关键步骤[8]、[9]、[10]、[11]、[12]。首先，使用计算机视觉对表面进行视觉扫描以定位和分类缺陷。接下来，通过基于AR的应用程序测量缺陷。最后，确认检测结果并自动保存以供进一步分析。

尽管AR-BDI可以显著提高工作效率和用户互动性，但使用AR-HMD（例如HoloLens 2）的工人容易出现视觉疲劳[13]、[14]、[15]。视觉疲劳是由于视觉系统过度劳累导致的生理紧张或压力[16]。受影响的部位包括调节-集合（A/V）联动、眼外肌和睫状肌、泪膜和瞳孔反应，以及维持性能的任务驱动的视觉-注意力过程[17]。与传统2D显示器相比，AR-HMD将虚拟内容叠加在真实场景上，这通过引入（A/V）冲突和焦点竞争加剧了这些需求[18]。工人在有限的视野范围内必须不断在物理组件和叠加信息之间重新分配视线和注意力，同时反复阅读文本和符号提示，从而导致注视时间延长、扫视活动增加以及认知负荷升高[19]、[20]。长时间使用AR-HMD，尤其是单次使用超过30分钟，与增加的人体工程学负担和更高的视觉疲劳风险相关[21]、[22]。随着时间的推移，视觉疲劳的影响可能会加剧，因此有效监测和管理视觉疲劳对于保持AR-BDI中的最佳性能和准确性至关重要。

尽管基于AR的检测技术取得了进展，但专门针对视觉疲劳管理和缓解的研究仍然有限。通过优化HCI界面，特别是通过视觉注意力机制，可以帮助用户专注于关键信息并减少不必要的视觉搜索。随着使用时间的增加，视觉疲劳会累积，因此持续监测用户状态变得至关重要。长短期记忆（LSTM）模型可以从序列数据中学习时间模式，为AR-BDI中的实时视觉疲劳监测提供了有效的解决方案。因此，本研究提出了一种集成方法，结合HCI界面优化和工作-休息调度来减少AR-BDI中的视觉疲劳。本研究的贡献包括：（1）提出了一种带有惩罚机制的遗传算法（GA）来优化AR-BDI中的HCI界面，该方法提高了信息识别效率并减轻了视觉疲劳；（2）开发了一种基于LSTM的工作-休息调度系统，该系统在AR-BDI中动态调整休息间隔以减少视觉疲劳并提高任务性能。本研究的其余部分结构如下：第2节进行全面的文献综述；第3节详细说明所提出的方法；第4节通过现场实验验证该方法；第5节讨论局限性和未来工作；第6节总结本研究。

章节片段

用于HCI界面优化的视觉注意力机制

< />

方法论

本研究结合了HCI界面优化和工作-休息调度，以提高AR-BDI的效率和效果，从而提高整体任务性能。图1展示了一个包含三个部分的流程图：（1）基于视觉注意力机制的HCI界面优化；（2）基于眼动追踪的视线数据收集与分析；（3）AR-BDI中的基于LSTM的工作-休息调度。首先，根据视觉注意力机制制定一个总目标函数以优化

实验设置

实验有两个目标：（1）评估HCI界面优化的效果；（2）验证工作-休息调度系统的有效性。使用了两个主要的评估指标：信息识别效率（${\lambda }_{ino}$）定义为单位有效工作时间完成的任务数量，计算公式为：${\lambda }_{ino}=\frac{{\text{N}}_{\text{task}}}{{\text{T}}_{\text{eff}}}$眼球运动负荷是指在

局限性和未来工作

尽管实验结果证明了所提出方法在减少AR-BDI过程中的视觉疲劳方面的有效性，但仍需承认几个局限性：首先，虽然选定的参与者在人口统计上具有一致性，但由于样本仅包括大学生，因此可能难以推广到更广泛的工人群体。未来的工作应涉及更多样化的参与者，以提高所提出方法的稳健性和适用性。

结论

本研究提出了一种集成方法，将HCI界面优化与眼动追踪驱动的工作-休息调度相结合用于AR-BDI。视觉疲劳被认为是持续使用AR-HMD操作中的一个人体工程学问题，通过协调的界面设计和操作调度来解决这一问题。从视觉注意力机制中得出的总目标函数通过带有惩罚机制的GA进行制定和优化，以提高界面布局效率。此外，还构建了一个数据集

数据可用性声明

支持本研究发现的一些或所有数据、模型或代码可向相应作者提出合理请求后获取。

CRediT作者贡献声明

徐文宇：撰写——原始草案、可视化、验证、软件、资源、方法论、形式分析、数据管理、概念化。陈凯宇：撰写——审阅与编辑、监督、项目管理、调查。谭毅：撰写——审阅与编辑、监督、项目管理、资金获取、形式分析、数据管理、概念化。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本研究得到了中国国家重点研发计划（2023YFC3807500）和国家自然科学基金（NSFC）（资助编号：52308319）的支持。