DriHBN：一种用于检测驾驶员分心的Transformer-Mamba混合网络

《Neurocomputing》：DriHBN: A transformer-mamba hybrid net for driver distraction detection

　　摘要：驾驶员分心被公认为是交通事故的主要原因之一，它带来了巨大的安全风险以及显著的社会经济负担。因此，它在驾驶辅助系统及智能交通技术的发展中成为一个关键问题。准确且稳健地检测驾驶员分心行为对于提升道路安全至关重要。然而，现有方法往往难以有效处理从连续视频序列中提取的高分辨率数据集中的长距离依赖关系，并且在复杂多变的驾驶场景下性能会下降。本文提出了DriHBN这一新型的Transformer-Mamba混合框架，用于驾驶员分心检测，旨在提升识别精度与模型稳定性。该框架采用了四方向选择性状态空间建模策略来捕捉长距离序列依赖关系，同时引入了可学习的门控机制，以实现分块Ret分支与四方向Mamba分支之间的有效特征融合。此外，还引入了条件位置编码来增强Mamba分支对细粒度空间特征的感知能力。我们在大规模的100-Driver数据集上进行了大量实验，测试了其在日间RGB和夜间NIR条件下的表现。实验结果表明，DriHBN在准确率、精确度、召回率和F1分数方面均优于现有的最先进方法。进一步的消融实验和可视化分析也验证了Mamba分支与条件位置编码在提升空间特征学习能力方面的有效性。

引言：全球范围内，道路交通事故造成了巨大的社会和经济损失。2020年，美国发生了38,824起致命交通事故，导致约228万人受伤，经济损失超过340亿美元[1]。在诸多导致事故的因素中，驾驶员分心被广泛认为是主要诱因之一。与此同时，智能城市基础设施的快速发展使得道路环境愈发复杂，交通密度不断增加，驾驶条件也更加严峻。在这样的情况下，传统的驾驶安全措施已不够用，人们越来越需要能够在复杂、高流量驾驶场景中准确可靠运行的驾驶员分心检测系统。此外，驾驶员分心检测在驾驶辅助技术中也起着至关重要的作用，因为准确感知驾驶员状态对于实现安全的人机协作至关重要。因此，准确检测驾驶员分心行为对于提升道路安全以及构建稳定高效的驾驶生态系统而言日益重要。

随着多模态传感技术的进步，出现了多种驾驶员分心检测方法，包括监测呼吸频率、血压和心率等生理信号。尽管这些方法能够提供有用的信息，但它们通常需要接触式操作，可能会干扰正常的驾驶行为。相比之下，基于视觉的驾驶员分心检测则是一种非接触式且不会打扰驾驶员的解决方案。结合车载摄像头，基于视觉的方法能够持续监控驾驶员行为而不影响驾驶过程。正因如此，这类方法逐渐成为现代智能驾驶系统中用于驾驶员分心检测的主流方式。

目前，已有多种基于视觉的方法被用于驾驶员分心检测。早期的方法，如手工设计的特征[2]、面部标志点[3]以及驾驶姿势[4]提取方法，主要依赖于人工设计的特征和启发式选择策略。虽然这些方法能够捕捉某些视觉线索，但它们对噪声敏感，在复杂的驾驶环境中难以保持稳定性。随着卷积神经网络的出现，基于CNN的方法，如AlexNet[5]、MobileNetV2[6]和ResNet[7]，被广泛用于驾驶员分心检测。基于CNN的方法具有较高的准确度和计算效率，但其固有的归纳偏差会导致空间平均特征提取，从而限制了其全局建模的能力。因此，当面对大规模场景和复杂的分心行为时，CNN的性能往往不尽如人意。

在Transformer架构出现之后，视觉Transformer也被应用于驾驶员分心检测。与基于CNN的方法相比，Transformer在全局依赖关系建模和图像分类任务上表现出更优异的性能。然而，它们的二次方级计算复杂度以及在对长时间序列建模方面的较弱能力，给实际应用带来了很大挑战。尽管基于Transformer的方法，如Video Swim Transformer[8]、多尺度视觉Transformer[9]和BiRSwimT[10]，能够实现较高的检测准确率，但它们在建模长距离空间依赖关系方面的效率较低，且会产生较大的计算开销。近年来，状态空间模型作为一种替代方案应运而生。这类模型具有线性时间复杂度，尤其适合长序列建模。但由于它们捕捉局部空间关系的能力有限，其在基于视觉的分心检测中的表现仍受到限制。

为满足实际驾驶员分心检测场景中对准确性和稳定性的要求，我们提出了一种名为DriHBN的新颖网络架构。该框架整合了曼哈顿式注意力机制与多方向选择性状态空间建模的优势，从而提升了所学习特征表示的丰富度和区分能力。通过结合这两种机制，DriHBN有效地解决了注意力机制在建模长距离空间依赖关系方面的局限性，同时也弥补了状态空间模型在捕捉细粒度局部空间模式方面的不足。

为进一步提升状态空间分支编码局部空间关系的能力，我们在状态空间建模分支中引入了条件位置编码。具体而言，通过深度卷积动态生成位置信息，使模型能够无需依赖固定的位置嵌入就能自适应地融入空间线索。此外，为了保留并有效融合来自注意力分支和选择性状态空间分支的特征，我们采用了可学习的门控机制。融合权重由这两个分支的输出动态确定，从而能够根据输入特征实现自适应的特征整合。

因此，所提出的DriHBN框架不仅实现了驾驶员分心检测所需的高准确率，还通过基于Mamba的空间序列建模利用空间依赖信息，提升了在低能见度、高噪声的夜间驾驶等复杂连续环境中的泛化能力。

本项工作的主要贡献可总结如下：
(1) 我们提出了一种新颖的混合架构，将四方向选择性状态空间建模与保持性注意力相结合，实现了对细粒度局部空间信息与长距离序列依赖关系的联合建模。
(2) 为增强状态空间分支中的位置表示，我们在四方向Mamba模块中加入了条件位置编码，提升了其捕捉局部空间关系的能力。
(3) 我们引入了可学习的门控机制用于特征融合，它能自适应地平衡不同分支的贡献，从而实现互补特征的更有效整合。

传统方法：早期关于驾驶员分心检测的研究主要集中在面部表情、视线方向、手部动作以及整体身体姿势等视觉线索上。[3]采用监督下降法追踪面部标志点，并使用预训练的分类器进行分心类型识别。[4]运用同态滤波、类皮肤区域分割和轮廓波变换等技术提取驾驶姿势特征，再通过随机森林分类器进行姿势识别。[11]

分块保持机制：所提出的分块Ret模块是基于RMT[40]框架构建的，该框架引入了水平方向和垂直方向的衰减机制[41]。这种衰减模式如图1所示。RMT的设计灵感来源于RetNet，后者结合了循环神经网络和Transformer。在某一步中，更新后的状态会被用来通过特定方式将向量投影到输出结果上。通过旋转矩阵和欧拉公式对矩阵进行对角化处理，即可实现……

整体架构：我们设计了一种名为DriHBN的混合Mamba-Transformer架构，该架构同时利用长距离空间依赖关系建模与全局表示学习能力。DriHBN的整体框架如图2所示。该模型包含四个阶段。首先，输入图像被转换为补丁嵌入，得到的补丁标记被送入第一阶段。第一阶段和第二阶段是通过堆叠第5节中提到的分块Ret模块来构建的……

数据集：我们在专为驾驶员分心检测而设计的庞大真实世界数据集——100-Driver数据集[42]上对DriHBN进行了训练和评估。该数据集是从车载摄像头拍摄的连续驾驶视频中提取的帧组成，分为日间和夜间两种场景。虽然每帧都被视为独立的图像用于分类，但……

结论：在本文中，我们介绍了DriHBN这一整合了Transformer和Mamba架构的新型框架，旨在提升驾驶员分心检测的准确性和稳健性。该框架结合了四方向选择性状态空间模型、条件位置编码以及门控机制，有效解决了传统方法的局限性。本研究凸显了DriHBN作为一种强大且可扩展的驾驶员分心检测解决方案的潜力。

CRediT作者贡献说明：
Zhuoying Li：写作——审阅与编辑，写作——初稿撰写，可视化，验证，软件，方法论，研究调查，形式分析，数据整理，概念构建。Jiantao Wang：监督，资源提供，项目管理。Yuyang Zhang：监督，资源提供，项目管理。Bo Yang：监督，项目管理。Haotian Luo：监督，资源提供。Chang Li：监督，资源提供，项目管理。Wei Zheng：监督，资源提供。Yiqun Wang：

利益冲突声明：作者声明他们没有已知的、可能影响本文所述工作的财务利益或个人关系。Zhuoying Li于2023年在中国重庆大学获得学士学位，目前在该校计算机科学学院攻读硕士学位，她的研究兴趣包括计算机视觉和深度学习。

Zhuoying Li|Jiantao Wang|Yuyang Zhang|Bo Yang|Haotian Luo|Chang Li|Wei Zheng|Yiqun Wang