学习观察：一种用于个性化驾驶员扫视路径预测的任务驱动强化学习框架

《Pattern Recognition Letters》：Learning to look: A task-driven reinforcement learning framework for personalized driver scanpath prediction

　　

• •
  一个统一的任务驱动与个性化扫视路径预测框架。
• •
  一个面向安全关键驾驶场景的多模态基准数据集。
• •
  一个鲁棒、类人的扫视路径生成器，达到当前最优性能。

引言

驾驶员的扫视路径，定义为注视和扫视的时间序列，是视觉感知与认知决策之间的基本接口。与静态注意力图不同，扫视路径捕捉了信息觅食的动态演变过程，在快速搜索和有目的聚焦之间交替。关键在于，这些序列展现了眼球运动与高阶认知之间复杂的映射关系。例如，经验丰富的驾驶员展现出“专家凝视”模式，利用前瞻性扫视优先处理高风险线索，比如行人从路缘走下，或在变道前检查侧方。因此，任务驱动的驾驶员扫视路径的个性化预测，不仅对于实现类人扫视路径以预判潜在危险并进行主动干预至关重要，而且对于个性化驾驶员训练与监控系统同样关键，为安全关键环境下评估和优化个体扫视习惯提供基础[1]，[2]。

尽管其重要性不言而喻，对驾驶员扫视路径的建模仍然是一个复杂挑战，传统上沿着两条主要轨迹发展：自底向上的刺激驱动范式和自顶向下的目标导向范式[3]。传统的自由观看模型依赖于低层视觉显著性和如返回抑制（IOR）等机制[4]，[5]，往往忽视了眼球运动背后的认知目的。相比之下，自顶向下的方法认为注意力受当前任务和内部知识的调节[6]，[7]，[8]，[9]。驾驶尤其需要这种领域特异性专长。举例来说，“向左变道”任务会策略性地将注意力偏向左侧车道，而为“行人过街”做准备则需要快速捕捉行为线索并执行减速。然而，现有方法常常忽视驾驶场景中扫视路径生成的任务依赖性。

尽管近期的尝试开始将任务约束纳入驾驶员扫视路径预测[10]，[11]，但它们往往忽视了个性化这一人类行为建模中的关键因素[12]。如图1所示，即使在共享“行人过街”任务下，不同个体的扫视行为也存在显著差异。观察者1（分心型）未能优先处理即将发生的危险，而观察者2（专注型）则展现出前瞻性、安全导向的扫视路径。当前最先进的方法通常依赖于聚合数据或复杂校准[13]，无法解释区分专家与新手的固有变异性，或专注驾驶员与分心驾驶员之间的差异。这一不足激发了我们的工作：开发一个统一框架，能够基于任务学习看什么，同时适应个体如何看，从而实现真正具有预测性和类人的扫视路径生成。

因此，我们提出了L2L，一个用于“学习如何看”的新框架。扫视路径预测模仿了序列信息觅食的认知过程，这与强化学习（RL）中的智能体-环境交互范式相一致。通过利用基于强化学习的架构和基于Transformer的策略网络，L2L显式建模了任务驱动约束与个性化扫视策略之间的协同作用。与仅基于显著性、仅任务或仅个性化方法不同[5]，[13]，[14]，[15]，L2L将驾驶任务需要什么与个体驾驶员如何视觉探索安全关键场景统一起来。

另一个瓶颈是缺乏充分的基准数据集。已有的基准数据集[16]，[17]主要提供聚合注意力图而非明确的扫视路径序列，并且往往缺乏高风险事件的覆盖。为解决这一问题，我们引入了L2LD，一个包含真实世界和模拟数据的综合多模态数据集。它明确聚焦于任务标注的安全关键场景，为挑战性环境下的个性化扫视路径预测提供基准。

据我们所知，这是首次明确建模任务驱动约束与个性化行为模式之间协同作用的驾驶员扫视路径生成方法。主要贡献总结如下：

• •
  统一的任务驱动与个性化框架：我们提出了L2L，一个基于Transformer的强化学习框架，联合条件化视觉上下文、机动级任务语义和可学习的用户嵌入，用于顺序生成驾驶员扫视路径。与现有主要处理任务引导或个性化一方面的不同，L2L显式建模了在驾驶任务下应关注什么，以及特定驾驶员如何在空间和时间上分配注意力。
• •
  安全关键多模态基准数据集：我们构建了L2LD，一个包含真实世界和模拟场景的数据集，特别关注高风险事件，填补了现有基准数据集的关键空白。
• •
  优越的性能与鲁棒性：大量实验证明L2L显著优于最先进的基线方法，生成鲁棒、类人的扫视路径，增强复杂驾驶环境中的风险预判能力。

章节片段

相关工作

关于驾驶员视觉注意力的研究主要集中在对交通图像或视频进行群体级显著性预测[18]，[19]，近期的研究进一步纳入了任务约束[10]，[20]。相关的自动驾驶研究也探索了面向复杂场景的自适应特征表示[21]。最近，MRGD-Net[22]结合多尺度时空特征重建与门控通道-空间注意力用于驾驶员显著性预测。然而，这些

方法

如图2所示，我们将扫视路径预测建模为基于强化学习的序列决策过程。我们的L2L Transformer策略融合任务语义、视觉上下文和用户嵌入，为给定图像I和任务$\mathcal{T}$生成完整的扫视路径${\widehat{a}}_{1:T}=({\widehat{a}}_1,?,{\widehat{a}}_T)$，并通过混合奖励函数进行优化。

数据集

为解决安全关键扫视路径基准稀缺的问题，我们引入了L2LD，一个包含真实世界（59个安全，55个危险）[17]和模拟（898个安全，146个危险）[29]驾驶场景的多模态数据集。眼动数据以250 Hz的高采样率通过Tobii Pro Fusion眼动仪采集。我们没有追求浅层、大规模群体采样，而是刻意采用了对于建模个性化视觉注意力至关重要的深度剖析范式。为此，我们

结论

本文中，我们提出了L2L，一个任务驱动的强化学习框架，集成了视觉上下文、任务语义和可学习的用户嵌入，用于个性化驾驶员扫视路径预测。其混合奖励联合优化显著性引导、时空对齐和持续时间一致性，使模型生成的扫视路径具有更类人的空间组织和时间动态。我们还引入了L2LD基准数据集，实验证明L2L

CRediT作者贡献声明

Yueyao Lin: 写作——初稿，方法学，调查，数据管理，概念化。Yangzi Ji: 写作——初稿，可视化，方法学，数据管理。Yuchen Zhou: 写作——审阅与编辑，方法学，数据管理，概念化。Chao Gou: 写作——审阅与编辑，监督，方法学，资金获取，概念化。

利益冲突声明

作者声明，他们不存在可能影响本文报告工作的已知竞争经济利益或个人关系。

Yueyao Lin|Yangzi Ji|Yuchen Zhou|Chao Gou