随着智能系统和人工智能(AI)的快速发展,人机交互(HCI)经历了深刻的变革(Zongxing, Jie, Ligang, Jinshui, & Hongbin, 2024)。这些显著的发展使得人类和机器能够在各种环境中更加无缝和直观地交互(Song et al., 2024)。注视跟踪已成为HCI和增强现实(AR)的关键技术,并迅速应用于由智能系统驱动的头戴式边缘交互设备中(Blakey, Katsigiannis, Ramzan, 2025, Ghosh, Dhall, Hayat, Knibbe, Ji, 2024)。随着深度学习和计算机视觉的快速进步,图像增强(Li, Wen, Zhu, Ou, Guo, Chen, Xiong, 2025a, Li, Wen, Zhu, Ou, Guo, Chen, Xiong, 2025b)、图像分类(Liu, Zeng, Deng, Liu, Liu, Zhang, Li, 2025b, Liu, Zhang, Deng, Xie, Liu, Li, 2025c, Zeng, Liu, Liu, Liu, Wang, Yang, Zhang, 2025)和语义分割(Wen, Hu, & Li, 2024)等技术的准确性和鲁棒性得到了显著提高,从而极大地提升了智能专家系统的性能。因此,通过这些系统准确分析用户的视觉注意力,注视跟踪不仅增强了沉浸感和交互性,还实现了包括注视点渲染、心理健康评估、行为分析和身份认证等一系列创新应用(Li, Liu, & Rehg, 2023b)。
具体来说,眼球特征,如瞳孔和角膜反射(闪光),源自眼球区域,具有可用于注视跟踪和估计的独特视觉特征(Chennamma, Yuan, 2013, Roumpas, Michanetzi, Minas, Fotopoulos, Xenos, 2025)。注视方向和注视点是注视跟踪和估计的两个基本指标。人类眼球的生理结构如图1所示,该图直观地展示了角膜、眼球、瞳孔、Kappa角以及光学轴和视觉轴之间的定义和空间关系(Kar, Corcoran, 2017, Pathirana, Senarath, Meedeniya, Jayarathna, 2022)。视觉轴偏离光学轴,决定了注视方向,而注视点被定义为注视方向与物体表面的交点(Pathirana, Senarath, Meedeniya, Jayarathna, 2022, Sun, Sun, Guo, Jia, Sun, 2016)。更重要的是,下一代注视跟踪和估计技术的研究重点在于提高注视点定位的准确性和鲁棒性,同时增强响应频率和上下文意识(Cho, Seo, Lee, & Lee, 2024)。
为了提高响应频率,高速基于帧的相机和定制的通信接口可以显著增加带宽。然而,它们的高功耗和成本阻碍了其广泛应用(Zhao et al., 2023)。因此,为了克服边缘交互设备的功耗和计算限制,注视跟踪和估计系统应优先考虑低功耗和成本效益(Ding, Wang, Gao, Liu, & Chen, 2024)。FovealNet引入了一种先进的AI驱动的注视跟踪框架,通过裁剪机制去除无关像素来优化系统性能(Liu, Duinkharjav, Sun, & Zhang, 2025d)。NVGaze训练了一个基于神经网络的瞳孔定位模型,实现了亚毫秒级的延迟(Kim et al., 2019)。尽管上述基于帧的方法可以实现注视跟踪和估计,但它们本质上在分辨率和帧率之间存在权衡,因为每个像素都需要能量和带宽进行传输和处理(Akinlar, Kucukkartal, Topal, 2022, Feng, Goulding-Hotta, Khan, Reyserhove, Zhu, 2022)。因此,基于帧的相机严重限制了注视跟踪系统的准确性和实时性能。更重要的是,注视跟踪主要依赖于与眼球对应的像素区域,而图像帧中的大部分背景像素是冗余的。这种冗余和数据过载是高速、高分辨率基于帧的相机产生的大量图像数据的不可避免的结果(Chen, Shen, Zhang, Yang, & Wen, 2025)。
为了解决上述问题,基于事件的相机通过在注视移动期间自适应采样视觉信息来减少数据冗余并降低功耗。根据基于事件的成像的物理原理,只有当入射辐照度的瞬时变化超过预定义阈值时,单个像素才会生成事件(Zhao et al., 2023)。这一过程产生包含时间戳、像素坐标和极性属性的异步事件流,这些共同代表了像素级别的亮度变化。在注视跟踪中,注视点的运动在时间和空间域上通常是稀疏的(Zhang et al., 2024)。因此,基于事件的相机更高效地利用带宽,比传统的基于帧的相机实现更高的时间分辨率,因为只捕获和处理相关的视觉变化。EX-Gaze提出了一种针对设备上扩展现实的基于事件的实时眼动跟踪系统,实现了高跟踪频率和低延迟(Chen et al., 2025)。类似地,Swift-Eye提出了一种离线、精确且鲁棒的瞳孔估计和跟踪框架,以支持高频近眼运动分析(Zhang et al., 2024)。(Sui et al., 2026)提出了一种利用脉冲神经网络(SNNs)的基于事件的低功耗尖峰注视估计方法,以利用时间稀疏性。这些研究共同展示了基于事件的注视跟踪系统的优势和鲁棒性。
尽管基于事件的注视跟踪研究已经显示出有希望的结果(Li, Chang, Raychowdhury, 2024, Zhang, Shen, Zhao, Wang, Chen, Bai, Zhou, 2024, Zhao, Shen, Zhang, Shen, Zhou, Wen, 2025),现有方法仍然面临与事件流噪声、计算效率和误检测相关的挑战。首先,由于基于事件的相机根据眼球运动和照明变化生成事件数据流,它们本质上容易受到随机噪声的影响。此外,边缘设备的有限计算能力和能源供应严重限制了深度学习模型的推理速度和检测精度。更重要的是,照明变化、随机事件噪声和误检测等干扰因素会显著降低跟踪和估计性能,以及整体的人机交互体验。为了解决这些问题,我们提出了一种基于事件相机的的高频精确注视跟踪和估计方法。所提出框架的概述如图2所示,包括三个主要模块:(1)计数和时间受限的事件体积构建方法,(2)基于结构重新参数化和标准化损失的轻量级事件检测网络,以及(3)基于卡尔曼滤波器的低延迟注视跟踪模块。
本文的主要贡献如下:
•为了有效利用事件流并抑制随机事件噪声,我们提出了一种计数和时间受限的事件体积方法,在快速注视移动前后减少随机事件噪声。
•为了实现基于事件相机的高频精确注视跟踪,我们提出了一种基于结构重新参数化、标准化高斯分布损失和标准化三角角度损失的轻量级事件检测网络。
•为了确保在边缘交互设备上的高效计算,我们提出了一种基于卡尔曼滤波器的低延迟注视跟踪方法,并采用n阶多项式回归器来校准和估计瞳孔与注视点之间的映射关系。
•与现有方法相比,所提出的方法表现优异,并具有很强的鲁棒性。实验结果表明,该方法能够精确定位和跟踪注视移动,从而验证了其有效性。
本文的其余部分组织如下:第2节介绍了基于帧和基于事件的注视跟踪和估计的相关工作。第3节详细描述了多个提出的模块。第4节讨论了实验细节、提出的方法的比较和消融实验结果。第5节总结了本文并讨论了未来的研究方向。
相关工作
相关工作
在本节中,我们具体介绍了基于帧和基于事件的注视跟踪的相关研究的优点和缺点。
整体框架
所提出的注视跟踪框架由三个连续且相互依赖的模块组成:(1)事件体积处理,(2)椭圆检测网络,以及(3)基于卡尔曼滤波器的跟踪和注视估计。事件体积处理模块使用计数-时间约束将事件流转换为结构化的事件体积,为神经网络提供数据输入。然后椭圆检测网络从每个事件体积中回归瞳孔的几何参数。
实验与讨论
在本节中,我们介绍了实验细节、评估指标、数据集、比较和消融实验结果及讨论。EV-Eye数据集如图6所示。椭圆检测结果的定性和定量比较显示在图7和表1中。
结论
在本文中,我们提出了一种基于事件相机的高频精确注视跟踪方法,用于辅助理解人类行为。首先,我们设计了一种计数和时间受限的事件体积方法,在快速注视移动前后减少事件噪声。然后,我们提出了一种基于结构重新参数化和标准化高斯分布及角度损失的轻量级事件检测网络。接着,我们采用了一种注视跟踪方法
未引用的参考文献
(Li, Bhat, & Raychowdhury, 2023a), (Wang, Lu, Shao, Yuan, & Xia, 2022).
CRediT作者贡献声明
文书媛:撰写与原始草稿、方法论、实验、可视化、监督、软件、资金获取和项目管理。
李文超:撰写与审稿与编辑、监督、形式分析、方法论、实验、资金获取、软件和验证。
CRediT作者贡献声明
文书媛:撰写——原始草稿、方法论、可视化、监督、软件、资金获取、项目管理。
李文超:撰写——审稿与编辑、监督、形式分析、方法论、资金获取、软件、验证。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。