DiffGaze：一种用于模拟360°图像上人类细致注视行为的扩散模型

《ACM Transactions on Interactive Intelligent Systems》：DiffGaze: A Diffusion Model for Modelling Fine-grained Human Gaze Behaviour on 360° Images

生成细粒度眼动序列的新方法DiffGaze在360度图像基准测试中表现优异，超越现有基线模型，并通过21人调查验证生成结果与真实数据不可区分。

　　

摘要

在360度图像上对人类注视行为进行建模对于各种人机交互应用非常重要。然而，现有方法仅限于预测离散的注视序列或聚合的显著性图，从而忽略了诸如眼跳运动等精细的注视行为，而这些行为可以通过商用眼动追踪器捕捉到。我们提出了一项更具挑战性的任务——精细注视序列生成。该任务旨在为给定的刺激生成类似眼动追踪器的数据。我们提出了DiffGaze，这是一种基于扩散的方法，用于在360度图像的基础上生成真实且多样的精细人类注视序列。我们在两个360度图像基准测试中评估了DiffGaze的性能，这两个测试分别针对精细注视序列生成以及两个下游任务：路径预测和显著性预测。评估结果表明，DiffGaze在所有任务中都优于现有的精细注视序列生成方法。我们还进行了一项包含21名参与者的调查研究，结果显示我们的方法生成的注视序列与真实的人类注视序列无法区分。综上所述，我们的评估不仅证明了DiffGaze的有效性，还指向了一代能够忠实模拟自然人类注视行为丰富时空特性的新方法。