面向真实世界系统的眼动追踪：一项系统综述

《Journal of Eye Movement Research》：Eye Gaze Tracking for Real-World Systems: A Systematic Review

　　

摘要专业翻译 眼动追踪（Eye Gaze Tracking, EGT）已成为以人为中心的智能系统的关键特性，并在人机交互（Human–Computer Interaction, HCI）、扩展现实（Extended Reality, XR）、行为分析及安全关键监控等领域拥有广泛应用。尽管深度学习和大规模数据集推动了该领域的快速发展，但该领域仍处于碎片化状态，因为所报告的性能往往无法转化为稳健的真实世界部署。本文遵循PRISMA指南，对涉及学习范式与深度学习模型的当代文献进行了系统综述，并利用跨研究证据探讨了数据集特征、评估协议及传感选择对报告性能的影响。特别关注了数据集中的偏差、评估的脆弱性、泛化的失败以及应用愿景与部署现实之间的差距。本文进一步分析了RGB、红外、深度及生理模态之间的权衡，以展示多模态融合尚未实现的潜力与现有不足。分析表明，眼动追踪领域的未来发展较少依赖于架构的增量式改进，而更多地依赖于对基准测试的鲁棒性感知评估、算法的纵向评估与部署，以及对模型的评估。本综述旨在提供对眼动追踪技术现状的全面理解，以指导未来研究走向可靠的真实世界系统。

论文主体内容总结

1. 引言

该部分阐述了眼动追踪（EGT）在感知视觉注意、意图和人类行为方面的广泛应用，涵盖人机交互（HCI）、扩展现实、行为分析、无障碍技术、交通安全和医疗健康等领域。研究回顾了从早期基于巩膜搜索线圈和眼电图（EOG）等侵入性生理测量技术，到基于单目和双目相机的几何眼建模与角膜反射方法，再到基于外观的数据驱动方法的演进历程。该部分指出，现有综述大多将眼动追踪视为基准优化问题而非真实世界部署挑战，对跨域泛化、标定依赖、评估可靠性和部署鲁棒性等关键问题的探讨不足。研究提出了四个核心研究问题（RQ1–RQ4），分别涉及学习范式演变、技术实现与工具流行度、数据集与评估实践中的偏差和不一致性，以及跨域泛化和多模态集成等局限性。

2. 最新技术进展

该部分概述了眼动追踪领域的最新发展，指出研究已从基于模型和重度标定的方法转向基于数据集、可扩展且易于部署的方法。卷积神经网络（CNN）在2D注视点和3D注视方向估计中广泛使用，在头部姿态和光照变化下显著优于传统几何算法。然而，报告的性能提升往往受数据集特征和评估协议影响，未必完全归因于方法本身的改进。MPIIGaze、Gaze360和ETH-XGaze等流行数据集虽支持跨用户泛化学习，但跨用户和跨域鲁棒性仍然薄弱。新兴趋势包括少样本个性化、设备端学习和域泛化策略，以及基于Transformer和注意力机制的模型，但其计算复杂度和异构数据集上的表现仍存在开放问题。

3. 综述方法

该部分详细描述了遵循PRISMA 2020指南的系统综述流程。研究在IEEE Xplore、ACM Digital Library、ScienceDirect、Scopus和Web of Science五个数据库中进行系统性文献检索，检索时间为2026年1月。初检获得1337条记录，经标题和摘要筛选后711篇进入全文评估，最终208篇研究纳入系统综述，其中70篇纳入定性综合，138篇列入补充材料。纳入标准涵盖2020年至检索日期发表、以眼动追踪为核心任务、使用相关传感模态、提供充分方法学信息和定量或定性评估的研究。排除标准包括重复记录、非英文出版物、核心任务不符、全文不可获取等。数据提取采用预定义框架，记录传感模态、追踪类型（2D/3D）、学习范式、数据集、评估指标、报告性能、局限性等信息。质量评估涵盖数据集规模与多样性、标注质量、验证协议、标定要求、评估指标适当性、报告完整性、代码与数据可用性以及结果和局限性透明度八个维度。语料级证据综合显示，跨数据集验证仅占16.3%，跨被试验证占34.1%，49.5%的研究仅依赖数据集内验证；公开源代码仅占13.9%。

4. 眼动追踪学习范式的演变

该部分回应RQ1，系统梳理了从几何方法到基于外观方法的历史演进。几何方法以巩膜搜索线圈（SSC）、眼电图（EOG）和脑电图（EEG）为代表，虽具有高时间精度但侵入性强、实用性受限。基于特征的技术通过瞳孔中心、角膜反射等眼部特征的非接触式估计实现了重大进步，但对受控光照、头部固定和标定仍有依赖。基于外观的方法通过直接学习眼部或面部图像外观与注视方向之间的映射关系，提高了对头部姿态和光照变化的容忍度，但性能高度依赖训练数据的质量与代表性。学习合成方法虽扩大了训练数据覆盖范围，却引入了合成与真实数据之间的域失配问题。表格对比分析表明，研究已从物理基础明确、可解释性强的方法逐步转向可扩展、实用的基于外观方法。

5. 眼动追踪中深度学习模型的流行度

该部分回应RQ2，分析了深度学习模型在眼动追踪研究中的分布。CNN方法在208项研究中出现于121项（58.2%），仍是主导架构。注意力与Transformer方法占17.8%，个性化与自适应微调占16.3%，多模态融合占14.9%，轻量级与设备端追踪占13.0%，少样本与元学习占8.7%。个性化与少样本方法通过少量标定样本适应个体用户以减少跨用户性能损失，但面临可扩展性和适应质量不一致的挑战。Transformer模型虽能捕捉全局上下文和长程依赖关系，但计算和内存开销较大，在资源受限设备上的实时推理能力存疑。多模态追踪通过整合头部姿态、深度信息、红外传感和生理信号等增强鲁棒性，但增加了特征融合、同步和传感器集成的复杂性。

6. 基准测试实践

该部分回应RQ3，批判性地考察了基准数据集和评估指标。Columbia Gaze、MPIIGaze、TabletGaze、Gaze360、ETH-XGaze、RT-GENE和GazeCapture等大规模数据集推动了学习方法的进步，但各数据集在标注协议、相机设置、评估划分和屏幕几何方面存在显著差异，导致跨数据集直接比较困难。ETH-XGaze被认为是最全面的数据集之一，因其提供大规模多视角数据、极端头部姿态变化和高质量标注；而MPIIGaze和Gaze360因其自然环境和真实用户行为在无约束注视估计研究中仍具重要价值。评估指标方面，角度误差（angular error）是3D注视估计最常用的指标，像素误差和厘米误差用于屏幕2D任务，但不同数据集使用的指标和协议不一致，导致报告性能可能高估模型真实能力。

7. 眼动追踪中的实现框架与实践采用

该部分回应RQ2和RQ3，考察了深度学习框架和计算机视觉库的使用情况。PyTorch是最常报告的框架（29.8%），其次是TensorFlow/Keras（24.5%）和OpenCV（22.6%）。Tobii、Pupil Labs和EyeLink等专用平台报告频率较低。OpenCV广泛用于图像预处理、眼部检测、面部关键点提取和头部姿态估计，Dlib和MediaPipe在面部网格生成和轻量级特征跟踪方面受到欢迎。该部分同时指出实现可变性和基准测试不一致问题：不同研究在预处理方法、面部关键点检测器、标定方法和训练设置上存在差异，导致直接比较困难。可复现性方面，许多研究未公开源代码、预训练模型或详细实现设置，阻碍了结果的独立验证。

8. 局限性

该部分回应RQ4，识别了四个主要限制。跨域泛化问题源于数据集间在标注策略、相机配置、屏幕几何、光照条件和人口统计多样性方面的差异，多数模型仅在单一数据集上训练和测试，缺乏系统的跨数据集和跨设备验证。真实世界鲁棒性不足表现为模型对光照变化、遮挡、快速头部运动、运动模糊和设备差异的脆弱性，实验室性能与现场应用之间存在显著差距。多模态集成探索不充分，缺乏大规模标准化多模态数据集，融合策略多限于简单早期或晚期融合，注意力融合和Transformer多模态学习等方法研究不足。数据集偏差方面，常用数据集偏向特定环境、设备设置和人口统计分布，导致模型在真实场景中性能下降。评估方法不一致方面，角度误差、像素误差、命中率等指标混用且缺乏标准化协议，使跨研究比较困难。

9. 按研究问题综合发现

该部分将各章节发现按RQ1–RQ4进行综合。学习范式方面，研究已从几何和基于特征的方法明确转向基于外观的深度学习方法，CNN占据主导地位，同时个性化、少样本学习和Transformer方法正在兴起。实现工具方面，PyTorch和OpenCV等通用框架广泛采用，反映了研究向实用和可部署方向发展的趋势。基准测试方面，跨数据集验证和公开代码的比例较低，数据集偏差和评估不一致问题突出。局限性方面，跨域泛化、真实世界鲁棒性、多模态集成和评估标准化是当前最关键的未解决问题。

10. 未来研究方向

该部分基于识别出的局限性和发现提出了未来研究方向，强调需要开发更多样化和标准化的数据集、建立部署导向的评估框架、加强纵向评估和算法部署研究，以及深化多模态融合策略的系统性探索。

11. 眼动追踪的主要应用领域

该部分概述了眼动追踪的主要应用领域，包括人机交互、扩展现实、行为分析、无障碍技术、交通安全监控和医疗健康等，指出各领域对注视估计器的依赖程度不同，且系统局限性在无约束行为条件下尚未被充分定义。

12. 结论

该部分总结综述的关键发现和整体见解，指出眼动追踪领域的未来发展更依赖于鲁棒性感知的基准评估、纵向部署评估和模型评估，而非架构的增量式改进。综述强调，尽管深度学习在受控条件下显著提升了注视追踪精度，但泛化能力、评估规范性和多模态集成仍是实现可靠真实世界系统的核心挑战。