《Computers & Graphics》:UrbanGazeVis: A visualization system for analyzing eye-tracking data on urban safety perception
编辑推荐:
•基于VR的眼球追踪数据收集方法。用于收集和筛选基于眼球追踪的安全评估数据。•UrbanGaze 数据集。包含安全信息、眼球追踪数据及语义信息的多模态里约街道视景数据集。•UrbanGazeVis 可视化系统。通过语义信息将眼球追踪模式与安全状况关联起来的交互式系统。•主要研究结
- •
基于VR的眼球追踪数据收集方法。用于收集和筛选基于眼球追踪的安全评估数据。
- •
UrbanGaze 数据集。包含安全信息、眼球追踪数据及语义信息的多模态里约街道视景数据集。
- •
UrbanGazeVis 可视化系统。通过语义信息将眼球追踪模式与安全状况关联起来的交互式系统。
- •
主要研究结果:对城市杂乱景象(例如涂鸦、破损的人行道、架空电线)的视觉注意力与较低的安全感知程度相关。
引言
街道景观中的安全感知在很大程度上受视觉注意力的影响,然而眼球追踪行为与城市杂乱状况之间的关系仍不明确。破窗理论[1]及后续的实证研究[2][3]表明,如外观破败的建筑和受损的基础设施等可见的忽视迹象会降低安全感知,并加剧杂乱现象,进而影响行为、犯罪和心理健康。尽管最近的研究[4]指出,个别杂乱因素(如架空电线或结构损坏)可能对感知产生不同影响,但大多数方法仍在图像层面对安全性进行建模。现实世界的街道景观在结构和社交方面也存在差异:如图1所示,某些区域拥有维护良好、秩序井然的基础设施(图1.a),而其他区域则表现出明显的杂乱,如墙壁破损、垃圾堆积和建筑不规整(图1.b)。要理解注意力如何在这些相互矛盾的线索中迁移,需要超越静态的图像级安全评分,采用时空视觉分析方法。街道视景影像(SVI)使得大规模的安全研究成为可能,例如StreetScore[5]、Scenic-or-Not[6]和Place Pulse[7]等项目,这些研究将街道场景与众包评估相结合。然而,这些方法主要关注整体安全性或美观度,而没有揭示人们在评估过程中具体看向何处或注意力如何分布[8][9][10]。最近的一些沉浸式和眼球追踪研究开始解决这一问题:虚拟和混合现实环境允许控制各种因素(如照明、绿化和密度)对安全、美观和活力的影响[11],而城市环境中的眼球追踪研究[12]则可以识别出吸引注意力的区域。不过,研究结果通常以静态的、汇总的注视图形式呈现,未能展现注意力的动态、时间和语义维度。
在这项研究中,我们采用以可视化为核心的视角。我们使用来自里约热内卢的150个街道视景场景进行了头戴式眼球追踪实验,参与者对这些场景的安全感知进行评分。我们使用头戴式光学透明(OST)设备作为独立的装置,用于控制2D刺激的呈现和眼球追踪数据的捕获。眼球追踪轨迹被投影到语义分割后的场景上(如建筑物、人行道和树木),并标注了杂乱线索(如破损的墙壁、架空电线、垃圾和涂鸦),从而形成了整合了场景内容、视觉注意力模式和安全感知评分的多模态数据集。为了分析这些数据,我们开发了UrbanGazeVis,这是一个用于探索城市安全研究中眼球追踪数据的可视化系统。该系统支持事后检查注视行为与语义区域及安全评估之间的关系,将眼球追踪轨迹、注视模式和场景元素联系起来,为研究人员和实践者提供假设生成和证据评估的辅助。我们的贡献有三方面:
头戴式眼球追踪数据收集方法。一种用于选择、筛选和分配SVI数据的眼球追踪协议,包括校准、实验设计和质量控制,以收集经过整理的安全评估数据。
UrbanGaze 数据集。包含里约热内卢街道视景图像、安全评分、眼球追踪数据、语义分割和参与者元数据的多模态数据集,适用于城市感知研究。
所有数据集、补充材料和源代码将在获得接受后按照会议机构的匿名化指南提供。
章节片段
相关工作
本研究涵盖了五个领域:(i)城市感知与计算机视觉,(ii)环境犯罪学,(iii)用于城市感知的眼球追踪,(iv)城市可视化中的沉浸式和混合现实,以及(v)用于眼球追踪数据的视觉分析。
城市感知与计算机视觉。城市感知研究探讨了建筑环境在视觉上的特征以及人们如何根据街道级影像评估安全性[13][14][15]。
系统概述
眼球追踪研究表明,眼球追踪数据量庞大且具有时空特性,但感知评估往往简化为图像级评分,限制了人们对眼球追踪-语义-评分关系的交互式探索[38][39]。基于“先整体概览,再详细Zoom和筛选”[47]以及成熟的眼球追踪分析任务抽象[38],我们制定了
图2总结了我们的端到端工作流程,从使用SVI和头戴式眼球追踪进行的多模态数据集整理到第6节详细介绍的交互式视觉分析环境。本节涵盖第一阶段:构建数据集验证与稳健性
在将收集到的多模态数据整合到
系统评估与价值驱动评估
一项有22名来自不同学术和专业背景的参与者参与的用户研究评估了
讨论
第5节中的定量验证证实了
局限性与未来研究
尽管本研究提供了关于城市安全感知的可解释见解,但仍存在一些限制,影响了研究结果的范围和普遍性。首先,在参与者多样性和实验背景方面,我们来自同一机构的30名参与者样本足以进行方法学评估,但并不能代表里约热内卢居民的社会经济多样性。此外,分析依赖于在受控的头戴式环境中观看的静态SVI数据,时长为15秒。
结论
我们提出了我们的研究结果表明,仅通过图像级评估无法完全理解安全感知。通过将眼球追踪行为、时间注意力……
CRediT作者贡献声明
Andres De-la-Puente:撰写 – 审阅与编辑、初稿撰写、方法论、调查、形式分析、数据整理、概念化。Luis Sante:撰写 – 初稿撰写、可视化、数据整理。Felipe Moreno-Vera:撰写 – 审阅与编辑、初稿撰写、可视化、方法论、调查、数据整理、概念化。Mauro Diaz:可视化、软件、方法论。Jorge Poco:撰写 – 审阅与编辑、初稿撰写、项目规划
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。
致谢
本工作得到了国家科学技术发展委员会(CNPq,资助编号#311144/2022-5和#132349/2025-6)、巴西联邦研究生教育支持与评估机构(CAPES,资助编号#88887.684234/2022-00)、里约热内卢州研究支持卡洛斯·查加斯基金会(FAPERJ,资助编号#E-26/204.593/2024)、圣保罗研究基金会(FAPESP,资助编号#2021/07012-0和#2024/05760-8)以及盖图利奥·瓦加斯基金会的支持。