《Proceedings of the Human Factors and Ergonomics Society Annual Meeting》：I-AOI Algorithm to Detect Eye Fixations for Near Real-Time Processing in Virtual Reality
编辑推荐：
眼动追踪研究通常采用两阶段方法检测兴趣区（AOIs）上的眼动注视（eye fixations）：速度阈值识别（I-VT）算法首先将原始注视数据分类为眼动注视，随后将其映射至AOIs。该方法对后处理有效，但对近实时应用而言可能过慢。兴趣区识别（I-AOI）算法通
眼动追踪研究通常采用两阶段方法检测兴趣区（AOIs）上的眼动注视（eye fixations）：速度阈值识别（I-VT）算法首先将原始注视数据分类为眼动注视，随后将其映射至AOIs。该方法对后处理有效，但对近实时应用而言可能过慢。兴趣区识别（I-AOI）算法通过直接在AOIs内识别眼动注视提供了潜在替代方案，但此前尚无研究在输出相似性与计算效率两方面对两种方法进行比较。本研究在虚拟现实（VR）任务中比较了基于I-AOI与基于I-VT的方法，30名参与者在5×5网格排列的7个依次高亮的球体上进行注视，使用HTC Vive Pro以100 Hz采样注视数据。两种方法在平均眼动注视计数与扫描路径长度上产生相似输出，平均眼动注视时长存在小而显著的差异。然而，基于I-AOI的方法运行速度约为前者的两倍，支持其用于近实时基于AOI的眼动注视检测。
研究背景方面，在眼动追踪研究中，识别视觉目标或任务定义的兴趣区（AOIs）上是否发生眼动注视（eye fixation）时，通常采用两阶段方法：首先利用速度阈值识别（I-VT）算法从按特定采样率（如100 Hz或每10 ms）采集的原始注视坐标数据中识别眼动注视，其次判断检测到的眼动注视是否落在定义的目标或AOIs内。例如Kang和Landry（2015）先识别空中交通管制员的眼动注视，再将检测到的眼动注视映射至目标，以确定注视是否发生在空中交通管制雷达显示器上的航空器或数据块上。然而，当需要更快的数据处理时，如近实时应用，上述两阶段方法可能并不适用，因为先应用I-VT算法再映射检测到的眼动注视至AOIs是为后处理设计的。迄今尚无有效的近实时眼动注视数据处理方法。一种可能途径是采用Salvucci和Goldberg（2000）首次提出的兴趣区识别（I-AOI）方法，该方法不依赖I-VT或类似算法定义眼动注视：若连续原始注视数据点落在同一AOI内的时间超过时长阈值（如100 ms），则识别为一次眼动注视。相比传统基于I-VT的两阶段方法，这可能是更快地在AOIs内处理数据并检测眼动注视的可行途径。据研究人员所知，尚无研究比较上述两种方法的输出与效率，即基于I-AOI的方法与先应用I-VT再评估检测到的眼动注视是否发生在AOIs上的两阶段基于I-VT的方法。因此，本研究在虚拟现实（VR）环境中比较两种方法，考察其输出相似程度及一种方法相较另一种方法快多少。尽管研究在VR中进行，研究发现可推广至使用眼动追踪设备采集注视数据的其他环境。
在背景部分，Kang等（2016）基于上述两阶段方法提出了使用动态凸形AOIs的方案，适用于任务中存在多个移动目标对象或AOIs的情形，其目标是将眼动注视像素坐标映射至以凸形AOIs表示的多个移动目标对象，并引入了将眼动追踪系统提供的眼动注视像素坐标映射至空中交通管制雷达显示器上航空器与数据块的详细步骤。在I-VT算法中，眼动注视坐标定义为被分类为单次眼动注视的原始注视数据点的平均x和y坐标（Salvucci & Goldberg, 2000）。具体而言，I-VT算法使用注视速度阈值，若原始注视数据点的速度低于阈值则分类为眼动注视点，否则分类为眼跳（saccade）点；评估原始注视点后，I-VT算法将连续分类为眼动注视的注视数据点合并为眼动注视组，并以各组质心计算眼动注视坐标。然而，Salvucci和Goldberg（2000）未明确I-AOI算法或三维空间中眼动注视坐标应如何确定。本研究对I-AOI与I-VT均将眼动注视坐标定义为各注视组内原始注视数据点的平均x、y和z值。
研究人员开展了如下研究：参与者为从俄克拉荷马大学招募的30名参与者（11名女性，19名男性），平均年龄M=22.4岁（S.D.=2.6），自报先前VR经验平均M=1.6小时（S.D.=2.2）。实验设备为HTC Vive Pro Eye头显，注视数据以100 Hz（即每0.01 s）采样；VR环境与实验任务在Vizard（WorldViz, Santa Barbara, CA; WorldViz [n.d]）中开发，并用于记录每次试验中的原始注视坐标。任务与场景方面，参与者置于三维沉浸式VR环境中，被指示将眼睛注视于场景中呈现的高亮球体；25个球体排列为5×5网格，7个球体依次高亮各2 s供参与者注视，每次试验总任务时长为14 s。程序方面，参与者到达后提供知情同意并完成包含先前VR经验的简要人口学问卷，随后佩戴HTC Vive Pro Eye头显，在任务开始前完成内置5点眼动追踪校准程序；校准后向参与者简要说明任务并指示其注视每个高亮球体，随后完成试验，会话以摘下头显和任务后说明结束。变量方面，自变量为眼动注视检测方法（基于I-AOI vs. 基于I-VT），在同一原始注视数据上实施被试内设计；因变量为每名参与者计算的四项眼动与绩效指标：（1）每AOI平均眼动注视计数，即7个高亮AOIs中各检测到的眼动注视平均数量；（2）平均眼动注视时长，即落在AOIs内的检测眼动注视的平均时长（秒）；（3）扫描路径序列长度，即相对于呈现的7个AOIs按序列访问的AOIs数量；（4）算法运行时间，即每名参与者处理注视数据所需的毫秒数。数据分析方面，将I-AOI与I-VT两种眼动运动分类算法应用于原始注视数据以识别眼动注视；I-VT算法采用150°/s的速度阈值，鉴于100 Hz采样率，该阈值对应连续样本间1.5°的角位移；两种方法在眼动注视计数、AOIs内眼动注视时长、扫描路径序列长度与算法运行时间上进行比较，正态分布指标采用配对t检验，非正态指标采用Wilcoxon符号秩检验。
研究结果显示，基于I-AOI与基于I-VT的方法在基于眼动注视的指标与扫描路径长度上产生相似结果。每AOI平均眼动注视计数在两种方法间无显著差异（I-AOI：M=1.26，S.E.=0.08；I-VT：M=1.43，S.E.=0.10，t(29)=?1.67，p=0.11），两者均接近每AOI一次眼动注视。基于I-AOI方法的平均眼动注视时长（1.33±0.08 s）略低于基于I-VT方法（1.41±0.10 s），差异具统计学显著性（t(29)=?3.36，p=0.002）。相比之下，当两种方法应用于每名参与者约1,300个原始注视数据点时，计算性能出现明显差异：Wilcoxon检验表明基于I-AOI方法的运行时间（5 ms）显著短于基于I-VT方法（11 ms；W=0.0，p<0.001）。扫描路径序列长度方面，相对于呈现给参与者的7个AOIs，基于I-AOI方法产生较短的扫描路径序列（8.8个AOIs）而非基于I-VT方法（10.0个AOIs），但该差异无统计学显著性（W=160.0，p=0.21）。两种方法对代表性参与者检测到的AOIs上眼动注视的可视化呈现显示，呈现给参与者的7个AOIs以蓝色高亮；基于I-AOI方法在每个AOI生成单次眼动注视，且未在定义的AOIs之外产生眼动注视点，但当参与者短暂看向AOI外后返回时仍可观察到多于一次的眼动注视，导致基于I-AOI方法的平均眼动注视计数为1.26；相比之下，基于I-VT方法在同一AOI内识别出多个眼动注视点，并识别出AOI外的眼动注视点，这些模式与观察到的眼动注视计数和扫描路径长度差异一致。
讨论部分总结如下：两种方法的比较表明，在检测发生在视觉目标（即定义的AOIs）上的眼动注视时，基于I-AOI的方法运行速度约为基于I-VT方法的两倍。该运行时间优势反映了算法结构差异：基于I-VT的方法需要计算连续注视点之间的注视速度、应用速度阈值以分离眼动注视与眼跳、聚合眼动注视点，然后检验每次眼动注视是否落在定义的AOI内（Salvucci & Goldberg, 2000）；相比之下，基于I-AOI的方法通过利用每个注视点已可用的AOI信息绕过这些阶段。尽管本任务使用统一尺寸的静态AOIs，算法差异表明在目标移动或尺寸可变的环境中该运行时间优势将更为显著，因为基于I-VT的方法需相对于目标运动评估注视速度并选择可跨不同运动模式泛化的阈值。尽管基于I-AOI方法的运行时间显著更短，两种方法产生相似的基于眼动注视的输出：平均眼动注视计数或平均扫描路径长度无显著差异；虽然平均眼动注视时长显示统计学显著差异，但差异幅度小于0.1 s，该差异可能源于各算法检测眼动注视的方式——I-AOI算法仅检测AOIs上的眼动注视并丢弃发生在定义AOIs之外的注视点，即使用户确实注视了AOIs外区域，而I-VT算法仍能检测发生在AOIs外的眼动注视，导致平均注视时长略高。因此，若研究人员关注任务期间发生在定义AOIs之外的眼动注视，基于I-VT的方法可能更合适；此外，I-AOI算法仅识别眼动注视，而I-VT算法区分眼动注视与眼跳，因此若研究人员关注眼跳运动，基于I-VT的方法也可能更合适。这些发现表明，当需要近实时眼动注视检测以进行实时反馈时（Kang et al., 2023），可使用基于I-AOI的方法；若研究人员关注高层次分析，如比较定义的AOIs上的视觉扫描路径与基于眼动注视的指标，基于I-AOI的方法应已足够。总体而言，结果表明对于基于AOI的研究问题，基于I-AOI的方法提供了计算高效的替代方案而不损害标准眼动注视指标的保真度，支持其在实时或交互式VR应用中的使用。未来研究与局限方面，本研究观察到的运行时间优势表明基于I-AOI的方法可能很适合交互式VR应用中的实时基于注视的反馈（Kang et al., 2023）；未来工作应在VR系统中实现并评估基于I-AOI的方法，以验证离线运行时间优势是否能转化为实际实时性能。定义的AOIs上的眼动注视计数与时长等眼动注视指标可能作为用户参与度估计的输入，进而为及时提供支架（scaffolding）特征提供依据。此外，由于基于I-AOI的方法降低了计算需求，它可使更先进的基于扫描路径的分析在近实时中进行；从视觉扫描路径序列可导出眼动注视转移与转移概率矩阵，从这些矩阵可计算视觉分组（visual groupings；Kang & Landry, 2015）与视觉熵（visual entropy；Jeong et al., 2019）等指标，视觉分组识别序列中频繁一起被注视的AOI簇，视觉熵量化AOIs间注视转移的随机性，值越高表示扫描模式越不可预测；未来工作应研究此类指标能否使用基于I-AOI的方法近实时计算，这将把其适用性从基本的基于注视的输出扩展至对用户注意与视觉策略更丰富的表征（Lee & Kang, 2025）。此外，本研究使用统一尺寸的静态AOIs，因此应在目标移动或尺寸变化的更动态环境中进一步比较两种方法；在此类环境中，基于I-VT的方法面临额外挑战：注视速度必须相对于目标运动与尺寸评估，因为单一速度阈值可能无法泛化至任务期间的所有眼动；因此本研究观察到的基于I-AOI方法的运行时间与准确性优势在动态条件下可能更为相关，此类研究将有助于确定各方法的稳健性与泛化性。研究结论部分翻译如下：总之，两种方法的比较表明，在检测发生在视觉目标（即定义的AOIs）上的眼动注视时，基于I-AOI的方法运行速度约为基于I-VT方法的两倍；尽管基于I-AOI方法的运行时间显著更短，两种方法产生相似的基于眼动注视的输出；总体而言，结果表明对于基于AOI的研究问题，基于I-AOI的方法提供了计算高效的替代方案而不损害标准眼动注视指标的保真度，支持其在实时或交互式VR应用中的使用。
