《Proceedings of the Human Factors and Ergonomics Society Annual Meeting》：Interpretable Modeling of Driver Attention Shifts with a Vision–Language Model
编辑推荐：
驾驶员目光通常被建模为空间热图，但仅凭热图很难让人类理解，因为它们既不能解释正在监测哪个道路对象或区域，也不能解释注意力转移为何可能重要。本研究探讨了最少的人类基础监督能否引导视觉-语言模型（Vision–Language Model, VLM）生成可解释的驾
驾驶员目光通常被建模为空间热图，但仅凭热图很难让人类理解，因为它们既不能解释正在监测哪个道路对象或区域，也不能解释注意力转移为何可能重要。本研究探讨了最少的人类基础监督能否引导视觉-语言模型（Vision–Language Model, VLM）生成可解释的驾驶员注意力转移描述。研究人员利用伯克利深度驾驶-注意力（Berkeley DeepDrive-Attention, BDD-A）数据集中选定的高变化目光时刻，将零样本（zero-shot）、单样本（one-shot）和LoRA微调的VLM条件与人类精炼的参考描述及专家评分进行了比较。结果表明，使用80个专家精炼的注意力示例进行微调，相对于未引导的VLM输出，提升了ROUGE-L、METEOR、实体对齐F1（Entity Alignment F1）和人类对齐评分（Human Alignment Score）。研究结果提示，基于语言的描述可以补充目光热图，使驾驶员注意力更便于人因分析、驾驶员监控审查和态势感知支持。
驾驶任务高度依赖视觉，驾驶员的注视位置及注意力转移直接影响危险检测、决策和碰撞风险。高级驾驶辅助系统若能预测并解释驾驶员的注意焦点，则可支持操作员监控、及时告警以及部分自动化车辆中更平滑的人–AI交接。现有驾驶员注意力模型通常将目光表示为空间热图，但热图难以被人类直接审计，因为它无法说明驾驶员正在监测哪个道路对象、信号、车道区域或潜在危险，也无法解释注意力转移为何在特定时刻发生。近年出现的视觉-语言模型（Vision–Language Model, VLM）能够将视觉证据与自然语言描述连接起来，为可解释的驾驶员注意力建模提供了可能，但通用VLM生成的场景描述并不自动与安全关键驾驶中的人类目光行为对齐。为此，研究人员提出一个问题：最少的人类基础监督能否引导通用VLM生成与领域专家解释一致的驾驶员注意力转移描述？该研究的目标不是取代目光图，而是通过将注视位置与道路对象、场景上下文和态势感知相关意义相连接，使目光转移更可解释。
研究人员使用伯克利深度驾驶-注意力（Berkeley DeepDrive-Attention, BDD-A）数据集，该数据集包含车载摄像头视频帧与驾驶员目光标注。为了聚焦注意力发生显著变化的时刻，研究人员将连续的注视图视为空间分布，并保留高变化的帧对作为注意力转移实例，最终得到80个训练样本、20个验证样本和81个测试样本。研究人员利用GPT-4o为每个选定的注意力转移时刻起草场景描述，包括场景内容、被关注区域、可能的下一注视目标及其重要性，再由领域专家审查和精炼，得到人类精炼的参考描述。为了比较不同层级的监督效果，研究人员设计了三种VLM条件：零样本（zero-shot）LLaVA、单样本（one-shot）LLaVA和采用低秩适应（Low-Rank Adaptation, LoRA）微调的模型。微调使用了80个专家精炼的注意力示例。评估采用ROUGE-L、METEOR、实体对齐F1（Entity Alignment F1）和人类对齐评分（Human Alignment Score）。其中实体对齐F1直接衡量模型是否识别出与人类精炼参考相同的道路对象或区域，如前车、行人、车道区域或交通信号。在专家评估中，研究人员为每个模型条件生成测试集描述，由两名领域专家对30个随机采样的测试案例进行评分，模型条件对评分者隐藏，专家根据驾驶场景、目光证据和参考描述对生成描述与预期解释的匹配程度进行1到5分的评分。该程序旨在超越词汇相似性，评估描述在人类因素意义上的可解释性。该论文发表于《Proceedings of the Human Factors and Ergonomics Society Annual Meeting》。
研究结果显示，通用VLM能力本身不足。零样本LLaVA产生相对通用的场景描述，实体对齐和人类对齐都较低。单样本LLaVA改善了响应模式，但微调后的模型在所有报告指标上表现最佳：实体对齐F1提高到0.51，人类对齐评分提高到3.27（满分5）。这表明微调模型与专家解释有中等程度的一致性，相较于未引导的VLM输出有明显改进，但尚未达到可部署的解释质量。
以下按论文的小标题分别介绍研究结果。
Attention-Shift Sampling（注意力转移采样）：通过将连续注视图视为空间分布并保留高变化帧对，研究人员构建了一个包含80个训练、20个验证和81个测试样本的数据集，为后续的监督微调和评估提供了基础。
Human-Grounded Descriptions（人类基础描述）：利用GPT-4o起草初始描述，并由领域专家审查精炼，研究人员获得了与目光证据一致、具有对象特异性的参考描述，从而将监督从通用场景描述转向基于驾驶员注意力的描述。
VLM Comparison（VLM比较）：通过零样本、单样本和微调三个条件，研究人员分离了通用VLM能力、响应引导和人类基础注意力监督三种效应。结果表明，响应引导（单样本）有帮助，但专家精炼的注意力示例（微调）能进一步使输出与人类对驾驶场景的解释保持一致。
Outcome（结果）：在自动指标上，微调模型的ROUGE-L为0.573，METEOR为0.581，实体对齐F1为0.51，人类对齐评分为3.27，均优于零样本和单样本条件。专家评估证实，微调生成的描述更可能识别出正确的被关注对象或区域，并解释注意力转移的相关性。
讨论部分指出，本研究证明了目光不仅能表示为空间热图，还能表示为被监测道路对象或区域的可解释描述。这支持了语言描述可便于检查、与专家判断比较以及在驾驶员监控分析中使用。此外，三种条件的比较澄清了所需监督类型：单样本能提供响应模式引导，但专家精炼的注意力示例能增加超越格式的信息，使输出与驾驶员注意力的人类解释更为一致。从驾驶员监控的角度，这些描述可支持事后审查、数据集标注、面向操作员的解释和安全分析。研究的局限包括：当前方法仅关注注意力转移的语言描述，未将空间目光预测与语言生成联合优化；评估使用紧凑的BDD-A子集，提供可行性证据而非广泛泛化；专家精炼描述引入了注释成本和评审者主观性。未来工作应集成空间注意力预测和语言解释，在更大规模的自然驾驶数据集上评估，并考察与驾驶员注意力行为测量的一致性。实时部署尚未评估，未来需对延迟、模型压缩和流式推理进行基准测试。
结论部分翻译如下：本研究证明，最少的人类基础监督可以改进VLM对驾驶员注意力转移中注视位置的描述。主要贡献是一种以人为中心的目光行为表示：使注意力转移对于驾驶员监控和态势感知支持更可解释。结果表明，专家精炼的语言监督是迈向更透明的驾驶员注意力建模的可行一步，同时也指出了需要更大规模评估和集成空间-语言注意力模型。
