基于视觉状态空间模型和混合特征的注视点估计

《ACM Transactions on Sensor Networks》：Gaze Estimation Based on Visual State Space Model with Hybrid Features

本文提出两种基于VMamba的注视点估计方法：GazeVM-Pure采用纯VMamba结构，GazeVM-Hybrid结合CNN与VMamba，利用VSS块捕获全局关系。实验表明，GazeVM-Hybrid在EyeDiap数据集上较STTDN方法角度误差降低0.11度。

　　

摘要

视觉状态空间模型（简称VMamba）是一种基于视觉的模型，旨在将Mamba技术引入计算机视觉领域。在最近的研究中，该模型在计算机视觉任务中表现出了优异的性能。然而，VMamba在注视估计方面的性能仍有待进一步探索。在本文中，我们提出了两种基于VMamba的注视估计方法：基于纯VMamba的GazeVM-Pure和基于混合VMamba的GazeVM-Hybrid。GazeVM-Pure根据原始VMamba的结构来估计注视方向；而GazeVM-Hybrid则结合了卷积神经网络（CNN）与VMamba，其中视觉状态空间（VSS）模块作为CNN的补充组件。在GazeVM-Hybrid中，ResNet-34的卷积层用于从面部图像中学习局部特征图，而VSS模块用于从这些特征图中提取全局关系。实验结果表明，与现有的最先进技术相比，GazeVM-Hybrid的性能更为优越，在EyeDiap数据集上的角度误差减少了近0.11个百分点。