有机注意力与合成注意力：评估眼动追踪增强技术在推荐系统中的实用性

《Proceedings of the ACM on Computer Graphics and Interactive Techniques》：Organic vs. Synthetic Attention: Evaluating the Utility of Eye Tracking Augmentation in Recommender Systems

　　摘要：眼动追踪（ET）最近在推荐系统（RS）中变得流行起来，作为一种隐式反馈的来源，有效地将用户注意力与产品显著性联系起来。然而，由于训练RS模型所需的大量ET数据以及专业设备的需求，利用用户视觉行为进行推荐并不具有可扩展性。本研究探讨了最先进的ET生成模型在查询驱动的搜索推荐任务中模仿用户信息搜索行为的程度，以及如何用合成数据增强有机数据集以用于基于ET的RS。我们在任务背景下对显著性和扫描路径生成器进行了基准测试，评估了总体和个体显著性指标，并测试了合成ET是否保留了人类观察到的类别敏感的注视差异。我们的研究结果表明，合成ET能够再现总体注意力，但未能捕捉到有机数据中的搜索动态。个体级别的预测准确性仍然较低，尽管通过微调和留一法训练有所提高，这表明了数据的局限性。

1 引言
推荐系统（RS）是导航当今日益数字化世界的重要工具。通常，它们通过利用用户交互日志[Al-Omair 2025]和稀疏奖励信号[Gunathilaka et al. 2025; Raza et al. 2024]来生成推荐，这使得准确估计用户偏好成为一项非平凡的任务[Snow et al. 2025]。为了解决这一挑战，眼动追踪（ET）被提出作为一种高吞吐量的隐式信号，可以补充用户历史数据[Al-Omair 2025]。先前的工作[Al-Omair 2025; Bekler et al. 2024; de Leon-Martinez et al. 2023; Kohout et al. 2023]已经利用ET来模拟用户注意力，作为兴趣的代理。然而，由于需要专业硬件[Pauszek 2023]、校准步骤[Yang et al. 2024a]以及用户数据获取的限制[Reich et al. 2025; Zermiani et al. 2024]，这样的解决方案难以扩展。本研究考察了最先进的生成模型在基于查询的产品搜索任务中准确复制用户行为的程度[Koutroumpas et al. 2025]，旨在为RS合成扩展ET数据集。为此，我们在Koutroumpas等人[2025]描述的条件刺激下对基线模型进行了基准测试，并量化了它们再现有机ET行为的准确性。此外，我们分析了在查询搜索任务中报告的不同推荐类型之间的差异是否可以在合成ET中复制。具体来说，我们解决了以下研究问题：
•RQ1.a：最先进的生成ET模型在电子商务搜索任务的背景下在多大程度上复制了受试者的注视行为？
•RQ1.b：生成ET模型在电子商务搜索任务的背景下能否从微调技术（个体和群体层面）中受益？
•RQ2：生成模型能否提供有助于区分不同推荐类别的合成ET数据？

我们提供了对电子商务查询驱动推荐的合成ET的实证评估，强调了在哪些条件下可以再现用户注视，以及行为与推荐类别之间的限制。我们的研究结果表明，合成ET生成器大致再现了任务的平均注意力，但即使在微调后也未能复制个体注视和跨类别动态（精确、替代、补充、不相关）。

2 相关工作
2.1 推荐系统中的眼动追踪
传统的RS通常依赖于显式反馈（例如，评分）[Zhao et al. 2018]、过去的行为（例如，交互历史）[Zhang and Chen 2020]或类似用户的偏好（例如，协同过滤）[Al-Omair 2025]。最近的综述[Ma et al. 2024; Raza et al. 2024]指出了持续存在的问题，如数据稀疏性[Gunathilaka et al. 2025; Raza et al. 2024]、冷启动问题[Ma et al. 2024]和有限的上下文建模（例如，用户感知、产品特性）。在娱乐应用中，保持个性化与新奇性之间的平衡对于吸引用户至关重要，但根据Abbas和Niu[2019]的说法，这种平衡高度依赖于上下文，而传统的RS难以捕捉。多模态隐式信号可以解决这些差距。值得注意的是，ET提供了高时空分辨率、非侵入式采集[Lopez-Cardona et al. 2025; Mentasti et al. 2024]和潜在的可扩展性，使其成为增强RS流程的强大候选者。大量工作探索了利用隐式ET数据来提高推荐质量[1]。现有研究主要分为两个方向：（1）评估RS策略；（2）直接使用ET数据作为反馈信号。我们的工作建立在Koutroumpas等人[2025]的工作基础上，他们研究了基于ET的类别差异在查询驱动的产品推荐中的表现，发现精确和替代项目引发了更狭窄、熵更低的探索，图像注意力较低，而补充和不相关项目则引发了更广泛、更不可预测的模式，图像注意力较高。作者提出，这种类别敏感的注视可能揭示了点击之外的偏好。我们的工作进一步验证了合成ET不仅可以在性能指标上匹配，还可以再现特定于类别的效果。在注视预测中的个性化尤为重要，因为RS决策本质上是用户依赖的。实际上，聚合注视数据很少被用作反馈，RS更倾向于使用个体层面的信息[Al-Omair 2025; de Leon-Martinez et al. 2023]。这支持了在依赖上下文的环境中需要个性化预测的需求，在这些环境中，保持特定于类别的观看差异是必不可少的。我们的分析考虑了聚合和个体层面的预测，检验了三种微调策略：聚合、用户内和跨个体（留一法）。

2.2 合成眼动追踪
尽管ET的质量和可访问性有所提高，但由于需要专门的设置和受控条件来保持质量，其在自然环境中的可扩展性仍然有限。因此，合成生成似乎有潜力模拟真实的ET模式，支持模型训练和系统评估。已经提出了许多算法来预测视觉搜索和注意力模式（例如，Jokinen et al. [2020]）。根据它们的输出，这些算法分为两类：（1）预测空间注意力或显著性图的模型；（2）预测连续眼动或扫描路径的模型。前者生成时间无关的人类注意力概率图（例如，TranSalNet [Lou et al. 2022]，VisalFormer [Wang et al. 2024]，SUM [Hosseini et al. 2025]）。后者结合了时间动态，模拟注视顺序，有时还包括持续时间，提供了更接近人类注视行为的近似。最近的例子包括CLIPGaze [Lai et al. 2025]，EyeFormer [Jiang et al. 2024]，Gazeformer [Mondal et al. 2023]，和HAT [Yang et al. 2024b]。早期的模型，如PathGAN [Assens et al. 2018]和TranSalNet [Lou et al. 2022]，仅从视觉刺激预测注意力。最近的方法越来越多地整合了上下文意识，根据用户目标或任务驱动的观看行为调整预测。这增强了它们近似个性化、目标导向的注意力的能力，这对于用户适应性系统（如推荐框架[de Leon-Martinez et al. 2023; Zhao et al. 2016]）至关重要。在这种情况下，所提出的模型已在多样化的数据集上进行了训练，涵盖了通用显著性预测和特定于任务的上下文感知注视建模。这种数据来源的多样性为开发能够跨领域生成合成ET的生成方法提供了机会和挑战，目前只有两个模型（SUM [Hosseini et al. 2025]，Jiang et al. [Jiang et al. 2022]）是为电子商务任务训练的。表1总结了与本工作相关的方法（以类似于真实在线购物页面的简单UI格式呈现的电子商务刺激）及其主要特征。

表1. 年份 | 模型 | 架构 | 条件类型 | 预测类型 | 使用的数据集
|-------|------|---------|---------|-------------------|
| 2025 | SUM [Hosseini et al. 2025] | Mamba | 标签 | 显著性 | SALICON, MIT1003, CAT2000, OSIE, U-EYE, SalECI |
| 2025 | CLIPGaze [Lai et al. 2025] | CLIP | 图像+文本 | 扫描路径 | COCO-Search18 |
| 2025 | LogitGaze [Lvov and Pershin 2025] | LLaVA-based | 文本 | 扫描路径 | COCO-Search18 |
| 2025 | Cartella et al. [Cartella et al. 2025] | Diffusion | 文本 | 扫描路径 | COCO-Search18, FreeView, MIT1003 |
| 2024 | VisalFormer [Wang et al. 2024] | CNN+Transformer | 文本 | 显著性 | SalChartQA2024 |
| 2024 | EyeFormer [Jiang et al. 2024] | 深度强化学习 | 无 | 扫描路径 | UEyes2024 |
| 2024 | TGSal [Sun et al. 2024] | CLIP | 文本 | 显著性 | SJTU-TIS2023 |
| 2023 | UniAR [Li et al. 2024] | Transformer | 文本 | 扫描路径 | OSIE, CAT2000, SALICON, WS-Saliency, Mobile UI, Imp1k, WS-scan-path, FiWI, COCO-Search18, Koniq-10k, Web Aesthetics2023 |
| 2023 | DeepGaze++ [Jiang et al. 2023] | 深度学习 | 无 | 扫描路径 | UEyes, MIT1003, SALICON2023 |
| 2023 | HAT [Yang et al. 2024b] | CNN+Transformer | 文本 | 扫描路径 | COCO-Search18, FreeView, MIT1003, OSIE2023 |
| 2023 | Gazeformer [Mondal et al. 2023] | CNN+Transformer | 文本 | 扫描路径 | COCO-Search182022 |
| 2022 | TranSalNet [Lou et al. 2022] | CNN+Transformer | 无 | 显著性 | SALICON, CAT2000, MIT1003, MIT3002022 |
| 2022 | Jiang et al. [Jiang et al. 2022] | Transformer | 无 | 显著性 | SalECI2018 |
| 2022 | PathGAN [Assens et al. 2018] | GAN | 无 | 扫描路径 | iSUN, Salient360 |

条件类型：文本（基于文本）、图像+文本（多模态）、标签（任务标签）、无（无条件）。
最先进的合成ET生成模型，包括显著性图和扫描路径预测模型。

2.3 合成眼动追踪基准测试
存在几个框架用于评估合成ET的质量，每个框架都专注于特定的注视预测任务和数据集。在显著性预测方面，大多数遵循MIT基准[Judd et al. 2009]，其中注视通过高斯模糊转换为显著性图，并使用标准指标（例如，相关系数、NSS、AUC-Judd、AUC-Borji、sAUC、相似性和KL）进行比较。常见的基准集如SALICON、CAT2000、MIT1003和MIT300代表在自然图像上的自由观看。显著性通常是基于非任务特定的自由观看进行预测的。对于扫描路径预测，框架通常与使用任务感知数据集的目标导向搜索任务对齐，通常遵循COCO-Search18 [Chen et al. 2021]基准。扫描路径预测器使用序列敏感的指标进行评估，如ScanMatch、Multi-match和Sequence Score。在显著性和扫描路径预测基准中，大多数评估都是在聚合数据上进行的，而个体层面的评估仍然不常见且缺乏标准化实践。通常，许多此类工作依赖于内部基准测试。显著性工作在本地复制MIT程序[Judd et al. 2009]，通常使用标准指标的一个子集，而扫描路径研究通常实施自己的指标以及COCO-Search18 [Chen et al. 2021]中的指标，如语义序列分数。这有几个限制：指标覆盖范围有限、数据集选择有限且有偏见，以及缺乏盲测。因此，即使使用相同的评估指标，不同研究之间的比较也仍然不一致。此外，电子商务领域的显著性基准有限——我们只发现了单一的数据集（SalECI [Jiang et al. 2022]）和两项关于该领域合成ET生成的工作[Hosseini et al. 2025; Jiang et al. 2022]，两者都依赖于对聚合注视的内部评估。在这项工作中，我们遵循了评估基于查询的搜索/推荐任务中平均行为预测的既定基准实践，同时将评估扩展到任务调整前后的个体层面预测。此外，我们旨在通过检查合成数据是否可以再现有机ET数据中观察到的类别层面注视模式来更深入地分析行为复制。

3 方法论
3.1 数据收集
3.1.1 数据集
共有21名参与者（8名女性；3名左撇子），年龄在18至59岁之间（平均=28.02岁，标准差=8.62岁），来自不同的国家，参与了这项研究[Koutroumpas et al. 2025]。所有参与者都有正常或矫正后的正常视力，并且报告没有残疾、感官障碍或神经系统疾病。没有人正在服用可能影响神经系统功能的药物或接受治疗。参与者自我报告至少具有C1水平的英语能力，并且有电子商务平台的经验。每位参与者获得了40欧元的亚马逊优惠券作为补偿。
3.1.2 刺激
研究[Koutroumpas et al. 2025]采用了被试内设计。刺激来自Shopping Queries数据集[Reddy et al. 2022]和Amazon数据集[Ni et al. 2019]，这两个数据集都是RS研究中广泛使用的真实世界电子商务语料库。从这些数据集中提取了120个搜索查询及其相关产品信息，包括标题、图像和类别标签。产品标签根据每个查询被分为四个级别（即精确、替代、补充和不相关），以确保产品类别的平衡表示。为了引入变异性，在目标推荐之前展示了1-3个精确产品的序列，改变了其在序列中的位置，并将产品描述缩短到10-15个词，以突出每个查询的最相关信息。遵循一种奇数范式，每个参与者在看到查询后暴露于产品序列，同时记录他们的注视活动，并通过事后自我报告问卷评估行为反应。在图像之间显示了一个中性的十字架0.5秒，以帮助ET的后处理。
3.1.3 实验设置
刺激显示在27英寸的显示器上（23.53 × 13.24英寸；1920 × 1080像素；60 Hz），距离参与者大约60厘米。参与者使用标准鼠标和键盘提供响应。刺激的呈现以及硬件同步和计时精度使用PsychoPy2 [Peirce et al. 2019]进行管理。注视记录使用Gazepoint GP3 HD眼动追踪器（60 Hz采样率）捕获，并使用Gazepoint Analysis软件进行预处理。
3.2.1 重新校准
与之前的垂直漂移分析一致，ET重新校准使用了Koutroumpas等人[2025]描述的协议。由于数据完全损坏，一名参与者的数据被从数据集中排除。为了重新校准，我们通过测量预刺激十字架期间最后三分之一的时间内参与者注视与屏幕中心的平均偏差来检测每次试验的垂直漂移。如果这种偏差在屏幕高度的5%-25%范围内，那么根据偏差值调整该试验的ET坐标。该阈值用于避免在用户没有看十字架时过度校正。
3.2.2 质量控制过滤
然后我们进一步根据主要刺激区域内的注视百分比过滤试验。这使我们能够为预测评估和合成注视生成中的微调生成可靠的真实数据。对于越来越保守的阈值，评估了合成数据和有机数据之间的一致性和保留试验百分比之间的最佳折中（见第4.1节和图2）。
3.2.3 显著性图生成
过滤后的有机扫描路径数据随后通过将每次试验中的所有注视累积到一个2D密度图中转换为显著性图，根据各自的持续时间进行加权。应用了高斯平滑，sigma参数设置为1°，符合MIT显著性基准标准[Judd et al. 2009]。在我们的设置中，这将是35像素，因为我们使用的是1920x1080的屏幕，参与者距离屏幕60厘米。3.3 合成眼动追踪生成3.3.1 模型选择和预测。对于合成眼动追踪（ET）的生成，我们考虑了表1中展示的八种最先进的生成模型。在选择时，我们考虑了最新、最先进的以及公开可用的模型，这些模型在电子商务任务中表现出色，例如SUM和TranSalNet，以及能够结合上下文条件的模型，如VisalFormer、CLIPGaze、HAT和Gazeformer。此外，我们还包括了专为预测类似用户界面刺激而设计的EyeFormer和DeepGaze++模型。对于基于显著性的模型，直接使用显著性输出；而对于基于扫描路径的模型，预测的扫描路径也按照第3.2.3节中描述的程序转换为显著性地图。这一步骤是为了创建不同模型类型之间的比较方法。然后将有机和合成生成的显著性地图进行最小-最大归一化，并调整大小以确保持证之间的公平比较。4. 扫描路径模型的性能也使用相关指标进行了报告。3.3.2 上下文化。对于具有上下文意识的模型，每个刺激图像都与四种文本条件变体配对：（1）完整查询，（2）缩短查询，（3）随机查询，以及（4）空白输入。为每个模型的所有适用变体生成预测；主表报告了每个模型的最佳表现变体。3.4 用预训练的合成眼动追踪模型解决RQ1.a.问题为了回答研究问题RQ1.a.——最先进的眼动追踪（ET）模型在电子商务搜索任务中能在多大程度上复制人类注视行为？——我们使用了预训练模型进行了基准评估。这个实验确定了现有的生成ET方法在通用或非领域特定数据上训练后，能够多好地泛化到我们的电子商务推荐环境中。为此，我们使用了广泛采用的基于显著性的指标[Wang等人2024]来评估模型性能，如表2所示。注意P和Q分别代表有机和合成显著性地图。表2.指标定义/公式解释显著性相关性系数（CC）[Judd等人2009]CC(P,Q)=cov(P,Q)σPσQ衡量显著性地图之间的线性相关性。1 = 完全一致，?1 = 相反关系。Kullback–Leibler散度（KLD）[Kullback和Leibler 1951]KLD(P‖Q)=∑iP(i)log?P(i)Q(i)量化分布之间的差异。较低的值表示更高的相似性。AUC Judd [Judd等人2009]AUCJudd=∫01TPR(FPR)d(FPR)使用基于注视的二元图的ROC曲线下面积。1.0 = 完美预测；0.5 = 随机。标准化扫描路径显著性（NSS）[Peters等人2005]NSS=1N∑i=1NS^(fi)注视点的平均标准化显著性。正数 = 对应；0 = 偶然；负数 = 不匹配。相似性（SIM）[Swain和Ballard 1991]SIM(P,Q)=∑imin(P(i),Q(i))显著性地图之间的直方图重叠。范围[0,1]；1表示分布相同。对于扫描路径序列得分（SS）[Yang等人2020]两个扫描路径之间连续位移向量的平均余弦相似性。量化预测和有机扫描路径之间的观看顺序相似性，映射到[0,1]（越高越好）。ScanMatch [Cristino等人2010]使用基于距离的替换分数和间隙惩罚来衡量感兴趣区域（AOI）序列的对齐。评估预测与有机扫描路径的空间和时间对齐；返回一个归一化的相似性，范围在[0,1]（越高越好）。动态时间规整（DTW）[Müller 2007]两个扫描路径之间的最小累积欧几里得对齐成本，通过对其索引进行非线性时间规整。捕捉序列模式匹配。较小的DTW距离表示扫描路径之间的时空轨迹相似。使用这些指标来比较有机（P）和合成（Q）ET地图的显著性和扫描路径。这些指标通过两种方式进行评估。首先，通过汇总所有参与者的预测来评估平均性能，以估计群体层面的准确性。其次，通过分别为每个参与者计算指标，然后对结果进行平均，从而评估个体层面的性能。通过这种方法，我们既捕捉了合成注视数据的整体保真度，也评估了模型在个体用户之间的性能一致性，提供了关于泛化和个性化能力的互补视角。3.5 用微调模型解决RQ1.b.问题为了回答RQ1.b——生成眼动追踪模型是否可以从电子商务搜索任务中的个体和群体层面受益？——我们实现了并比较了三种互补的微调方法，如图1所示。这些方法对应于泛化和个性化之间的不同配置：•个体层面微调。模型在同一参与者内部进行微调，并使用他们的一部分试验进行微调，剩余的试验进行测试。这种设置评估了模型捕捉特定于个体的注视动态的能力。•聚合层面微调。模型在汇总数据上进行微调，结合多个参与者的试验，并在聚合（平均）注视行为上进行评估。这种条件量化了对我们电子商务刺激的总体群体层面观看模式的适应。•群体层面（留一参与者）微调。模型在所有参与者中除了一个之外进行微调，然后在保留的个体上进行评估。这种中间方法测试了在群体层面微调的模型对未见用户的泛化能力，弥合了个体和群体层面的适应。图1.三种微调方法的示意图：（左）个体内部微调，（中）在汇总数据上的聚合训练，以及（右）留一参与者群体微调。这些微调程序在这些方法中一致实施。对于个体内部和聚合设置，我们使用了10折交叉验证，保留了20个固定试验（每个推荐类别五个）用于后续的类别级别分析。在每个折叠中，10%的训练部分用于验证，导致训练、验证和测试之间大约75-10-15%的分割。对于留一参与者方法，交叉验证是分层组织的：在每个外部循环中，一个参与者被留出用于测试，而在剩余参与者上的内部重采样确定了最佳超参数。因此，每个参与者都作为未见测试对象使用了一次。排除了试验次数≤50次的参与者，以确保可靠的微调和评估。根据（1）最强的先验性能（SUM、TranSalNet）和（2）对上下文感知预测的支持（VisalFormer），选择了三个模型进行微调。每个模型都从其预训练权重开始，并使用固定的随机种子和Adam优化器（学习率1 × 10^-5）在我们的数据集上进行微调，以确保可重复性。微调流程根据模型特定要求进行了调整，包括图像预处理和损失函数。VisalFormer使用了调整大小的224 × 224图像和BERT分词后的缩短查询，这一致地改善了与查询驱动的观看动态的对齐。TranSalNet使用了384 × 288输入和学习率调度器（步长3，γ = 0.1）。SUM基于电子商务图像进行了调整，使用了调整大小的256 × 256输入和调度器（步长4，γ = 0.1）。模型特定的批量大小（4–16）和提前停止（耐心5–10个周期）被用来防止过拟合。有关每个实现的更多细节（例如使用的超参数），可以在代码发布中查看。通过比较第3.4节中报告的相同指标，在微调前后对模型预测进行评估，使用每个折叠中的相同测试集，并汇总跨折叠的指标。差异的显著性测试是基于使用Shapiro–Wilk [Shapiro和Wilk 1965]测试来评估正态性的聚合指标来确定的。如果未拒绝正态性，则使用双尾配对t检验 [Student 1908] 来测试微调前后的差异是否等于0。如果被拒绝，则应用Wilcoxon [Wilcoxon 1945] 符号秩检验作为非参数替代方法，以评估中位数符号差异是否不同于0.3.6 通过比较不同类别之间的区分度来解决RQ2问题最后，为了回答RQ2——生成模型能否提供能够区分推荐类别的合成ET数据？——与第2.1节中报告的先前工作一致，我们提取了与注意力和探索相关的ET特征，如表3所示。请注意，虽然所有模型都可以提取空间信息，但只有能够生成扫描路径的子集提供时间信息，这限制了需要时间动态的比较仅限于这些模型。表3.特征定义/公式解释注意力注视次数 [Lim等人2022; Skaramagkas等人2021]感兴趣区域（AOI）内的注视次数。表明在AOI内发生了多少不同的注意力事件；较高的值反映了更强的注意力参与。注视持续时间 [Lim等人2022]每次注视的时间；在AOI内的平均值或总数（毫秒）。捕捉注视层面的注意力深度；较长的持续时间表明对局部内容的持续处理。停留次数 [Lim等人2022; Skaramagkas等人2021]连续访问AOI的次数（进入-退出间隔）。指示注意力返回AOI的频率；较高的值表明重新访问或任务相关性。停留时间 [Lim等人2022; Skaramagkas等人2021]注视在AOI内的时间。反映了超出单次注视的持续AOI级参与；适合比较不同AOI之间的分配。平均显著性 [Henderson等人2021]图像或每个AOI内的平均显著性。量化预测的注意力强度；较高的值表示更大的视觉突出度。显著性偏度 [Henderson等人2021]标准化显著性分布的第三矩。衡量预测注意力的不对称性；正偏度表示集中热点。中心偏差 [Henderson等人2021]中心高斯加权窗口内的平均显著性。表明与中心注视倾向一致的优先分配。探索显著性熵 [Ulutas等人2020; Zammarchi等人2021]H=?∑ipilog?pi，其中pi是像素i处的显著性概率。显著性分布的香农熵；较高的值表示更广泛和不太可预测的视觉内容探索。显著性扩散 [Henderson等人2021]预测显著性分布的扩散（例如，标准化显著性的方差）。捕捉预测注意力的分布范围；较大的扩散表示扩散的探索。扫描路径长度 [Benhamou 2004]连续注视之间的欧几里得距离之和。预测注视移动的总距离，表明扫描了多少刺激。扫描路径复杂性 [Benhamou 2004]路径的曲折度作为扫描路径效率的指标。反映了搜索难度或更丰富的探索模式。眼动追踪特征。注意力特征关注注视的位置和持续时间，而探索特征关注分布。为了评估合成ET是否可以在不同类别中复制用户注视行为，我们对每个模型的所有试验中的每个特征进行了全面的一元方差分析（ANOVA）显著性测试，以检测组间差异，这对于比较多个独立组是合适的 [Maxwell等人2017]。对于事后的成对比较，我们使用了Tukey的HSD [Tukey 1949]。对于多重比较，应用了False Discovery Rate [Benjamini和Hochberg 1995]校正。4 结果4.1 初步分析：质量控制阈值的影响图2.质量过滤权衡：选择80%的阈值可以在性能提升和数据保留之间取得平衡，显示出CC分数的增加，同时限制了数据排除。如第3.2.2节所述，我们最初评估了不同质量控制阈值对保留试验比例以及合成预测与有机ET数据之间一致性的影响。对于越来越保守的阈值，基于主要刺激区域内的注视百分比，我们测量了数据保留与模型相对于有机数据的预测保真度之间的权衡。这项分析指导了所有后续实验中应用的阈值选择，确保合成ET评估是在可靠和具有代表性的试验子集上进行的（见图2）。此外，我们只接受那些至少80%的注视位于感兴趣区域（AOI）内的有机信号作为真实值，用于所有后续分析，这导致了2300个功能用户试验中有775个（33.7%）被排除。超过这一点，试验损失以更高的比率增加（对于严格的质量过滤，超过50%的试验），当阈值增加10%时，数据集几乎减少了20%，而性能提升很小。较低的阈值（例如70%）将包含更嘈杂的真实值，而较高的阈值（例如90%）将大大降低统计功效。重要的是，当不应用质量控制过滤时，模型与人类的相似性在所有指标上都会下降，这表明我们的空结果主要是由有机数据中的噪声和校准错误驱动的，而不是由丢弃试验中真正的合成-有机对齐造成的。4.2 RQ1.a：预训练合成眼动追踪模型的保真度我们首先通过计算所有参与者的平均显著性地图上的指标来评估预训练模型的性能，如表4所总结的。我们的结果表明，不考虑上下文的模型SUM和TranSalNet取得了最高的性能，接近它们最初报告的分数。这表明它们可靠地复制了我们在任务上的平均人类注意力，并展示了强大的零样本预测能力，而考虑上下文和扫描路径预测的模型在性能上落后。表4.模型CC↑相似性↑AUC-Judd↑NSS↑KLD↓文本版本SUM0.7943 ± 0.0630.6981 ± 0.0430.9320 ± 0.0142.6293 ± 0.3170.4197 ± 0.133无TranSalNet0.7110 ± 0.0630.6385 ± 0.0400.9229 ± 0.0162.4064 ± 0.3180.5796 ± 0.131无CLIPGaze0.4712 ± 0.1240.2882 ± 0.0730.7004 ± 0.0781.4603 ± 0.4617.2008 ± 1.710RandomEyeFormer0.5932 ± 0.1580.3916 ± 0.0980.3391 ± 0.0520.8270 ± 0.0324.7855 ± 1.018无VisalFormer0.3596 ± 0.1300.3220 ± 0.0590.7929 ± 0.0711.0991 ± 0.3921.4477 ± 0.289RandomDeepGaze++0.5764 ± 0.1110.4269 ± 0.0590.1811 ± 0.0270.8251 ± 0.0347.9400 ± 0.584无Gazeformer0.3073 ± 0.1160.2416 ± 0.0450.6665 ± 0.0390.9427 ± 0.4047.9603 ± 0.858RandomHAT0.3721 ± 0.2060.3206 ± 0.1110.2713 ± 0.0670.6371 ± 0.0488.4097 ± 1.245Blank模型性能：在过滤后的聚合试验（80%）上的最佳配置 —— 每次运行的平均值 ± 标准差。带有向上箭头（↑）的指标在较高时更好；带有向下箭头（↓）的指标在较低时更好。每个指标的最佳值都加了下划线并加粗。**突出显示的模型在各自的报告指标范围内表现相当。**随后，我们通过将合成的眼动数据与个别试验进行比较，来评估个体层面的性能。如表5所示，所有模型的性能都与总体情况相比都有显著下降。这表明，尽管一些预训练模型能够有效地近似平均用户行为，但它们的预测与个体注视模式仍有很大偏差。对于预测扫描路径的模型，我们进一步使用直接的扫描路径指标来评估性能（表6）。结果显示扫描路径的忠实度适中，DTW值在0.38到0.48之间，序列得分在0.43到0.53之间，表明虽然模型生成了合理的注视序列（特别是EyeFormer和DeepGaze++，其ScanMatch值相对较高），但它们与个体人类的扫描路径仍有很大偏差。这与基于显著性的发现一致（表5），证实了个体层面的预测准确性有限。

**表5.**
| Model | CC | Similarity | AUC-Judd | NSS | KLD |
|------------|---------|----------|---------|---------|
| SUM | 0.4859 ± 0.16 | 60.3836 ± 0.11 | 60.9288 ± 0.04 | 52.5584 ± 0.89 |
| TranSalNet | 0.4335 ± 0.16 | 30.3376 ± 0.10 | 40.9194 ± 0.04 | 82.3341 ± 0.91 |
| EyeFormer | 0.2368 ± 0.13 | 70.2431 ± 0.09 | 60.8756 ± 0.05 | 21.1919 ± 0.90 |
| DeepGaze++ | 0.2660 ± 0.15 | 80.1696 ± 0.07 | 60.8674 ± 0.05 | 41.8155 ± 2.18 |
| CLIPGaze | 0.2963 ± 0.18 | 20.2371 ± 0.12 | 0.7051 ± 0.12 | 1.5429 ± 1.45 |
| RandomVisalFormer | 0.2195 ± 0.11 | 30.1571 ± 0.04 | 0.7931 ± 0.09 | 1.0953 ± 0.56 |
| RandomHAT | 0.2037 ± 0.12 | 20.22 ± 0.09 | 0.6764 ± 0.12 | 1.0181 ± 0.86 |
| BlankGazeformer | 0.2032 ± 0.15 | 0.1930 ± 0.10 | 0.6593 ± 0.10 | 1.0284 ± 1.12 |
| Full | | | | | |

**表6.**
| Model | Sequence Score | ScanMatch | DTW (Norm) |
|------------|-------------|-----------|------------|
| EyeFormer | 0.4568 ± 0.18 | 640.6736 ± 0.208 | |
| DeepGaze++ | 0.4571 ± 0.187 | 0.6704 ± 0.207 | |
| HAT | 0.5193 ± 0.198 | 0.3399 ± 0.316 | |
| FullGazeformer | 0.4266 ± 0.216 | 0.2874 ± 0.296 | |

**模型性能：**在过滤后的个别试验（80%）上的最佳配置——如表4所示，平均值±标准差。

**4.3 RQ1.b：**在个体和群体层面进行微调的好处**
如第3.5节所述，我们通过采用三种不同的方法对模型进行了微调，分别是（1）个体内部微调，（2）群体内个体微调（多用户合并），以及（3）聚合（平均显著性）。表7展示了所有模型在微调前后的测试集性能。我们观察到，与预训练模型权重相比，几乎所有情况下的性能都有统计学上的显著提升，尤其是在VisalFormer的情况下，模型预测与我们数据的对齐得到了成功改进。SUM模型的改进率较低，但在指标上仍产生了更高质量的复制结果，这可能是因为它已经具有更好的对齐性。此外，模型性能排名似乎不受微调的影响，TranSalNet的表现优于VisalFormer，SUM的表现优于所有模型。三种模型的改进趋势非常相似。我们在聚合试验预测中观察到较低的改进率，因为模型在这种情况下对齐得更好。个体层面的预测有所改善，但仍低于模型原生基准报告的范围，这表明在基准平均水平和实际个体层面预测准确性之间仍存在显著差距。有趣的是，结果表明，在群体内个体设置下训练时，所有三种情况的个别试验预测都取得了更好的性能指标，这表明增加每个参与者的高质量试验可以进一步缩小这一性能差距。此外，在图3中，我们观察到一些训练设置如何改变模型行为的示例。在图中，我们观察到SUM模型引入了中心偏差，这与人类注视行为一致，同时推荐标记上的显著性强度也降低了。

**图3.** TranSalNet、SUM和VisalFormer在三种设置（个体、聚合、群体）下微调前后的各项指标对比。箭头指示期望的方向：↓表示更低更好，↑表示更高更好。所有比较都具有统计学意义（p<0.001），除了TranSalNet的个体MSE（标记*）、VisalFormer的聚合NSS（p=0.0115，*）和VisalFormer的群体NSS（NS）。颜色键：绿色=期望方向，红色=相反方向；颜色越深表示变化越大。

**4.4 RQ2：**保留类别层面的注视差异**
本节探讨了合成眼动数据是否能够再现人类数据中观察到的类别敏感的注视模式，使用了第2.1节、3.6节和表3中展示的注视特征。对于预测扫描路径的模型，我们直接从生成的扫描路径（注视点和停留时间）计算这些特征，确保RQ2分析同时考虑了搜索行为的空间（显著性）和时间（扫描路径）方面。最初，我们分析了基于预训练的预测结果。结果显示，所有模型和配置中选定的特征都没有统计学上的显著差异，表明未能再现这种效应。无论是非情境性还是情境性任务，尽管它们声称对任务敏感。请注意，从COCO风格的搜索任务到我们的电子商务风格刺激的领域转变可能会限制上下文条件的转移。

**4.5 讨论**
本研究评估了最近的合成眼动模型是否能够在基于查询的电子商务环境中复制人类注视行为，并捕捉与推荐系统（RS）相关的类别敏感的搜索动态。总体而言，这些模型很好地近似了平均行为，但在个体层面表现不佳，且未能再现有机数据中观察到的类别层面的分割。这些发现表明了合成眼动技术在推荐系统中的适用性和局限性。平均行为的复制和潜在用例：不考虑上下文的显著性模型SUM和TranSalNet在质量控制的试验下能够很好地再现平均人类注意力，并接近其报告的范围（见表4）。微调进一步将学习到的观看偏差（例如图3中看到的中心偏差）与人类数据对齐，增强了它们在相关数据中的适用性，例如用于界面和布局级别的分析。

**限制：**在个体层面预测方面，所有模型在试验层面的绝对一致性都低于聚合数据（见表5）。尽管微调在指标上提高了性能，但分数仍低于原生基准值。值得注意的是，群体内个体训练的表现优于个体内部训练，表明每个参与者的数据稀疏性是一个瓶颈。这表明，在当前的合成眼动技术中，如果没有更密集、更高质量的用户数据，个性化是困难的。基于类别的行为不会转移到合成眼动技术中：在基于查询的搜索任务中，人类眼动技术在推荐类型之间表现出明显的分割行为。即使经过微调，这种行为也没有得到再现，只有一个孤立的、不具有普遍性的例外。这一差距表明模型捕捉到了平均人类注视行为，但未能捕捉到搜索动态如何随相关性等级的变化而变化，而这正是推荐系统需要推断的。

**合成眼动技术与人类行为的差距：**有几个因素可能导致这种测量误差。首先，具有上下文意识的模型可能会表现出领域转换，因为它们主要是在目标导向的自然图像上训练的，可能无法捕捉项目-查询关系或分级相关性。其次，显著性表示忽略了区分目标获取和探索性扫描的时间动态；这不会影响扫描路径模型，因为其特征是直接从生成的扫描路径中计算得出的。最后，设计选择（如80%的刺激内过滤）可以提高性能，但会减少试验的多样性和组间能力，可能减弱类别对比度。

**对社会的影响：**在推荐系统中使用合成眼动技术既有好处也有风险。聚合层面的合成注意力可以减少大规模注视数据收集的需求，并支持下游任务。然而，由于当前模型无法可靠地捕捉个体注视或特定类别的动态，使用此类数据为个性化推荐器可能会导致结果偏向于常见的观看模式，从而服务不足的多样化用户。此外，来自有机数据的合成眼动技术引发了隐私问题，需要仔细的策划和匿名化。因此，我们建议主要将合成眼动技术用于平均行为评估（例如，界面级别评估），而不是用于个性化，直到模型能够更好地捕捉任务和个体依赖的动态。

**结论：**本研究在基于查询的电子商务场景中对比了最近的合成眼动生成器，并测试了它们是否能够复制分类敏感的搜索动态。总体而言，这些模型在质量控制的试验下可靠地再现了平均人类注意力，并在微调后进一步对齐。相比之下，个体层面的复制仍然有限，类别层面的注视差异并未可靠地转移，只有一个孤立的、不具有普遍性的情况显示了预期的分割。这些发现表明，当前的合成眼动技术适用于聚合层面的增强，但不适用于需要依赖分级相关性信号的个性化或推荐系统训练。