GMGaze：基于MoE（Memory Evolution）的上下文感知视线估计技术，结合CLIP（Convolutional LSTM Pilot）和多尺度Transformer模型

《Knowledge-Based Systems》：GMGaze: MoE-based context-aware gaze estimation with CLIP and multiscale transformer

　　赵新源|吴奕航|艾哈迈德·查达德|萨拉·A·阿尔科代尔|里姆·卡特布
中国桂林电子科技大学人工智能学院

摘要
注视估计方法通常利用面部特征来预测人的注视方向。然而，先前的研究表明，基于卷积神经网络（CNN）、基于变换器的方法以及基于对比语言图像预训练（CLIP）的方法存在三大挑战：图像特征的后期融合、缺乏因子感知的条件化，以及容量扩展的不切实际性。为了解决这些问题，我们提出了全局条件化多尺度注视估计（GMGaze），该方法采用了多尺度变换器架构。具体来说，该模型首先引入了语义原型条件化，利用四个学习到的原型库（即照明、背景、头部姿态和外观）来调节CLIP的全局图像嵌入，生成两个互补的、具有上下文偏置的全局标记。这些标记与CLIP patch标记和CNN标记在第一层进行融合，从而避免了后期合并时常见的信息丢失。最后，每个标记通过稀疏专家混合（Mixture-of-Experts）模块，实现了有条件的计算能力提升，而不会均匀增加密集参数的数量。为了进行跨域适应，我们采用了一种对抗性领域适应技术，并加入特征分离损失，以保持两个全局标记之间的独立性。实验使用四个公开基准测试集（MPIIFaceGaze、EYEDIAP、Gaze360和ETH-XGaze）表明，GMGaze的平均角度误差分别为2.49°、3.22°、10.16°和1.44°，在所有同域设置中均优于之前的基线方法。在跨域评估中，它在两个标准转移路径上取得了最先进（SOTA）的结果。代码可在https://github.com/AIPMLab/GazeFormer-MoE获取。

引言
基于外观的注视估计将单目RGB面部图像映射到3D注视方向，在增强现实、无障碍技术和行为分析等应用中发挥着关键作用[1][2][3]。尽管在受控环境中进行了大量研究，但由于存在照明变化、头部姿态变化和背景干扰等干扰因素，将注视估计系统部署到现实世界环境中仍然具有挑战性。这些因素掩盖了对于准确注视预测至关重要的细微眼部周围线索，导致跨域泛化性能下降。为了解决这些复杂性，提出了受生物启发的模型，如Lobula Giant Movement Detector，以模仿人类类似的中性注视偏置，从而在开放场景中实现稳健的感知[4]。通过对现有文献的全面回顾，我们发现当前注视估计模型存在三大挑战：首先，后期融合限制了高级语义特征与细粒度视觉细节之间的交互，因为多尺度表示通常在更深层次（例如深度学习模型）进行融合；其次，缺乏因子感知的条件化导致全局图像表示高度纠缠，难以区分与注视相关的信息和环境变化；第三，均匀的容量扩展导致计算效率低下，因为模型容量被不加区分地增加，而不是动态分配给更有信息量或更复杂的视觉标记。

然而，这些挑战根本上是由现有架构范式的局限性造成的。例如，卷积神经网络（CNN）[5][6]由于其层次结构，本质上会引入早期信息融合，导致与注视相关的线索与身份和照明因素纠缠在一起。同样，基于变换器的方法[7]虽然提供了全局信息，但缺乏先验引导的注意力分配，因为它对所有图像区域（包括无关的背景区域）赋予相同的权重。最近，基于对比语言图像预训练（CLIP）的方法引入了强大的语义表示[8]，但其方法依赖于单一的全局嵌入，无法区分不同的上下文因素。尽管领域适应技术[9][10]旨在提高泛化能力，但它们作用于纠缠的表示上，限制了其潜力。此外，可穿戴眼动追踪的研究[11]表明，注视估计器对设备移动和校准漂移等现实世界干扰仍然敏感，这突显了需要稳健的表示方法。

为了解决这些限制，本研究提出了基于专家混合（MoE）的多尺度变换器框架GMGaze。具体来说，我们引入了语义原型条件化机制，将全局CLIP嵌入分解为互补的、具有上下文感知的表示，实现了明确的因子感知建模。此外，我们设计了一种早期统一的标记融合策略，在输入阶段整合了全局、补丁级和CNN特征，允许从一开始就进行跨尺度交互，以减轻后期融合的影响。另外，我们用稀疏MoE层替换了标准的前馈网络，实现了标记级别的动态容量分配，提高了计算效率。为了增强跨域鲁棒性，我们采用了带有特征分离损失的对抗性领域适应策略，鼓励训练过程中学习到的表示保持独立性。图1展示了GMGaze在公开视频未见帧上的注视可视化效果，突显了其在现实世界应用中的潜力。本研究的主要贡献如下：
1. 我们提出了GMGaze，一个统一的多尺度变换器框架，用于集成视觉和语义表示，以实现稳健的注视估计。
2. 我们引入了语义原型条件化机制，将全局表示分解为特定于因素的组成部分，提高了可解释性和鲁棒性。
3. 我们设计了标记级别的专家混合架构，实现动态容量扩展，从而实现高效和自适应的计算。
4. 我们开发了结合对抗性适应的特征分离损失，以增强跨域泛化能力，在多个公开基准测试集中取得了最先进的表现。

本研究在我们之前的工作[12]的基础上进一步扩展了Gazeformer-MoE，通过引入特征分离损失来提高跨域性能。此外，我们还包括了额外的同域基准测试、跨域实验、定性可视化和全面的消融研究，以验证所提出方法的有效性。

本文的其余部分组织如下：第2节总结了注视估计的相关工作；第3节描述了注视估计任务并详细介绍了所提出的方法；第4节介绍了数据集、实现和实验结果；第5节提供了全面讨论；第6节总结了研究内容。

相关工作
许多研究提供了基于DL的注视估计的综述，包括单用户和多用户环境，并讨论了模型架构、数据集和剩余挑战[13][14]。除了纯回归模型外，在[15]中，他们提出融合自上而下的先验信息和低级特征来构建稳健的视觉模型。此外，在[16]中，他们引入了受生物启发的方法，用于在复杂动态场景（如驾驶）中估计注视位置，强调了低成本的方法。

方法论
我们提出了GMGaze，这是一种多模态变换器，结合了CLIP驱动的语义上下文、补丁级标记和CNN特征来估计3D注视方向。图2展示了所提出模型的一般流程。注视估计的关键路径从输入图像开始，通过三个分支并行处理：（1）一个固定的CLIP视觉编码器提取全局语义特征和补丁标记；（2）一个语义原型库将全局特征分解为...

数据集
我们在四个广泛使用的基准测试集上评估了GMGaze，包括同域评估和跨域评估。
EYEDIAP（E, DE）：该数据集来自14名受试者在屏幕目标任务下的视频记录，每15帧采样一张图像——这一过程最终产生了50022张面部图像[30]。
ETH-XGaze（Et, DEt）：使用来自80名受试者的756,540张图像。该数据集包含超过一百万张高分辨率图像，涵盖了...

讨论
与最先进方法（SOTA）相比，根据表2和表3的结果，我们观察到将CLIP对齐的原型条件化与统一的多尺度标记融合和MoE模块相结合，可以在照明、姿态和背景变化下学习更具泛化能力的基于外观的注视估计。值得注意的是，它在数据集M、E、G和Et上的平均角度误差分别为2.49°、3.22°、10.16°和1.44°。此外，消融研究证实，性能提升并非仅仅依赖于参数的增加。

结论
我们提出了GMGaze，该方法利用了两个互补的、具有上下文偏置的标记、语义标记、CLIP patch标记和CNN标记的早期融合以及MoE层。在四个基准测试集上的实验和消融研究表明，该设计在处理复杂案例时表现出色，性能提升来自于标记间容量的分配方式，而不仅仅是密集参数的简单增加。同时，该方法也存在明显的弱点。原型库是根据手工制作的...

作者贡献声明
赵新源：写作——审阅与编辑、撰写原始草稿、可视化、验证、软件、方法论、调查、形式分析、概念化。
吴奕航：写作——审阅与编辑、验证、软件、资源。
艾哈迈德·查达德：写作——审阅与编辑、撰写原始草稿、可视化、验证、监督、软件、资源、项目管理、方法论、调查、资金获取、形式分析、数据管理、概念化。

利益冲突声明
作者声明他们没有已知的可能影响本文工作的财务利益或个人关系。

致谢
本研究得到了广西科技基地和人才项目（2022AC18004、2022AC21040）以及中国国家自然科学基金（项目编号82260360）的资助。