基于眼动追踪与人类注意力过滤器的驾驶场景视觉问答增强研究

本研究针对自动驾驶场景中视觉问答(VQA)模型因通用设计缺乏领域特异性感知线索而表现不佳的问题，通过眼动追踪实验捕获真实驾驶场景中的人类注意力模式，构建人类注意力过滤器(HAF)以选择性保留任务相关特征。研究在LXMERT、ViLBERT和ViLT三种VQA模型上验证了HAF的有效性，结果显示其显著提升了模型性能与人类注意力对齐度，为自动驾驶系统提供了更准确、可解释的视觉理解方案。

　　

在自动驾驶技术快速发展的背景下，车辆如何像人类一样理解复杂驾驶环境并与人自然交互成为关键挑战。视觉问答(VQA)模型作为连接视觉感知与语言交互的核心技术，在自动驾驶系统中扮演着重要角色——它们不仅能增强车辆的环境感知能力，还能通过自然语言交互提高系统的透明度和可信度。然而，现有VQA模型在驾驶场景中表现不佳，其根本原因在于通用型架构缺乏对驾驶领域特异性感知线索的适配。这些模型往往关注视觉上显著但语义无关的内容（如天空、树木），而忽略了对驾驶决策至关重要的元素（如车道线、交通标志、前方车辆）。

为破解这一难题，爱尔兰利莫瑞克大学数据驱动计算机工程研究中心团队开展了一项创新研究。他们通过眼动追踪技术捕捉真实驾驶场景中人类的视觉注意力模式，并据此构建人类注意力过滤器(HAF)，旨在让VQA模型学会"像人类一样看世界"。这项发表在《Intelligent Systems with Applications》的研究，为提升自动驾驶系统的视觉理解能力提供了新思路。

研究人员采用多模态融合技术，通过Tobii Pro X3-120眼动仪采集34名参与者在24个驾驶场景中的注视数据，构建包含1632个样本的DriVQA数据集。运用绝对热力图分析技术量化人类注意力分布模式，基于注意力机制构建HAF过滤器，并在LXMERT、ViLBERT和ViLT三种主流VQA模型上进行对比验证。采用案例研究方法详细分析模型在特定驾驶问答任务中的表现差异，使用统计分析方法验证驾驶经验对视觉注意力模式的影响。

人类注意力模式分析

通过对比测试发现，人类在驾驶问答任务中存在显著的主观性差异。当被问及"需要停车等待行人过马路再左转吗"时，所有参与者都给出了肯定回答，但眼动数据显示他们实际上注意到了车辆无法左转的关键事实。这种口头报告与真实注视行为的差异揭示了人类认知的主观性，为模型优化提供了重要依据。

HAF过滤器构建与实现

研究团队基于眼动数据构建的HAF包含道路、车道线、路缘、人行道、斑马线、自行车、汽车、卡车等驾驶相关要素的过滤规则。该过滤器被集成到VQA模型的视觉编码器前端，通过过滤无关视觉特征减少计算冗余，提升对关键区域的关注度。在LXMERT中的实现表明，HAF将模型检测的特征从36个减少到17个，显著提高了处理效率。

跨模型性能验证

在LXMERT模型上，HAF使模型注意力与人类注视模式的对齐度达到0.71，语义相似度提升至0.76。在ViLBERT模型中，虽然基础检测性能较弱，但HAF有效过滤了不相关对象（如将灌木误检测为长颈鹿），使模型专注于驾驶相关要素。相比之下，未使用HAF的ViLT模型在注意力对齐度(0.53)和语义相似度(0.68)方面均表现较差。

驾驶经验的影响机制

统计分析揭示驾驶经验对VQA性能有显著影响（p=6.63×10^-7）。新手驾驶员(≤5年)平均准确率为52.5%，中级驾驶员(6-15年)为70.5%，而经验丰富驾驶员(>15年)达到86.3%。这一发现不仅证实了人类认知的差异性，也为个性化自动驾驶系统的开发提供了依据。

研究结论表明，基于人类注意力模式的过滤策略能有效提升VQA模型在驾驶场景中的性能和可解释性。HAF通过模仿人类视觉选择机制，使模型能够像经验丰富的驾驶员一样专注于关键视觉要素，显著提高了问答准确率和响应效率。这项工作推动了可信人工智能在真实环境中的发展，为自动驾驶系统提供了更加人性化的视觉理解方案。

讨论部分指出，当前HAF主要适用于基于区域目标检测的VQA架构（如LXMERT、ViLBERT），而在端到端架构（如ViLT）中的应用仍需进一步探索。研究还发现HAF在某些罕见场景（如侧翻摩托车）中可能出现过滤过度的问题，这是因为这些场景在训练数据中出现频率较低。未来工作将探索自适应过滤机制，根据问题类型动态调整注意力权重，进一步提升模型的泛化能力。