《Frontiers in Artificial Intelligence》：Accuracy–latency trade-offs and absent embedded validation in deep learning driver drowsiness detection: a PRISMA systematic review
摘要
引言： 驾驶员嗜睡是全球道路交通事故死亡的主要原因之一，计算机视觉（Computer Vision，CV）与深度学习的融合，通过在高等级驾驶辅助系统（Advanced Driver Assistance Systems，ADAS）中实现非侵入式监测，已变革了驾驶员状态监测领域。
方法： 本系统文献综述采用PRISMA 2020方法论和Kitchenham协议，综合了2021年1月至2025年10月间发表的33项同行评审研究，旨在考察基于深度学习的嗜睡检测技术的架构、生物标志物、性能基准和部署障碍。
结果： 相关文献以卷积单次通过（single-pass）设计为主导；在所综述的模型中，没有模型能同时实现超过99%的准确率与低于100毫秒（ms）的延迟，且没有任何模型在嵌入式或车规级硬件上进行过评估。
讨论： 这一分布凸显了持续存在的准确性-延迟权衡，并强调了嵌入式硬件和跨数据集评估的必要性。通过综合现有证据，本综述刻画了当前的技术水平，并为嵌入式ADAS应用提出了一个用于选择深度学习架构的优先级框架。
1 引言
驾驶员嗜睡是导致全球道路交通事故的一个关键且反复出现的因素，对死亡率和经济社会成本造成严重影响。即使警觉性的短暂降低也会显著增加碰撞风险，这凸显了驾驶表现对认知状态波动的敏感性。因此，能够进行实时嗜睡检测的ADAS构成了一项重要的道路安全干预措施，而非仅仅是一项技术进步。
近期CV和深度学习（Deep Learning，DL）的进展通过将方法论重点转向可扩展、非侵入性的解决方案，显著推进了驾驶员嗜睡检测的发展。早期方法依赖于生理信号，如脑电图和心电图，这些方法虽然准确，但由于其侵入性，在现实部署中往往不切实际。因此，当代研究优先考虑基于视频的行为分析，并辅以优化的神经网络架构以实现高效的实时推理。最先进的模型包括YOLOv8及其变体，如ME-YOLOv8和YOLOv8-FD，以及MobileNetV2等轻量级架构，旨在平衡检测性能与计算效率。此外，基于视觉Transformer和多模态框架的新兴方法显示出在具有挑战性条件下（包括低照度和部分面部遮挡）提高鲁棒性的潜力，从而支持模型在真实驾驶环境中的泛化能力。
尽管取得了这些进展，研究领域仍然分散，尤其是在部署约束方面。现有综述记录了检测准确性的显著提升，但对算法复杂度与硬件限制之间关系的分析有限，而这两者强烈影响实时可行性。迄今为止，文献尚未建立一个将性能指标与嵌入式系统约束整合到ADAS中的标准化评估框架。大多数先前的系统综述优先考虑分类准确性，而对每秒帧数（Frames Per Second，FPS）相对于预测性能和边缘计算条件下可部署性的评估关注较少。因此，关于哪些高精度架构能在严格的计算预算内运行而不损害实时功能，仍然存在关键的知识空白，这限制了它们在工业应用中的实际采用。
本研究通过一项系统文献综述解决了这些局限性，该综述综合并批判性评估了2021年1月至2025年10月间发表的研究，明确关注嵌入式系统中的部署可行性。本研究做出三项主要贡献。第一，根据可行性和计算需求对最先进的算法进行分类。第二，识别了制约当前检测系统的准确性与延迟之间的结构性权衡。第三，提出了一个优先研究议程，以弥合理论性能与道路安全实际改进之间的差距。为实现这些目标，本综述由以下四个研究问题指导：（RQ1）在2021年至2025年10月期间，哪些深度学习架构最常用于驾驶员嗜睡检测？（RQ2）嗜睡监测系统中采用了哪些面部生物标志物和生理信号，它们表现出何种可靠性水平？（RQ3）在当前检测架构中，预测准确性、延迟、帧率和硬件需求如何相互作用？（RQ4）哪些技术和硬件相关因素限制了高精度模型在嵌入式ADAS中的实时部署？
2 方法
本系统文献综述依据系统综述和荟萃分析优先报告条目（Preferred Reporting Items for Systematic Reviews and Meta-Analyses，PRISMA 2020）指南以及改编自Kitchenham和Brereton的结构化综述协议进行，以促进研究识别、选择和综合的透明性和可重复性。方法论分为三个连续阶段：（A）搜索设计与研究选择，（B）资格评估与质量评价，以及（C）数据提取与主题综合。
报告遵循PRISMA 2020，评估程序遵循Kitchenham和Brereton的综述协议。本综述未进行前瞻性注册。
2.1 数据来源与检索策略
在三个主要学术数据库——Scopus、Web of Science和Dimensions——中进行了全面检索，这些数据库因其对多学科研究（包括计算机科学和工程）的广泛覆盖而入选。采用PICOC框架（Population, Intervention, Comparison, Outcome, and Context）来系统性地界定综述范围。检索策略结合了布尔运算符和一组预定义的关键词。检索限制在2021年1月1日至2025年10月31日期间发表的、以英文撰写、可通过开放获取获取、并涉及使用计算机视觉方法进行驾驶员嗜睡检测的同行评审文章。检索于2025年10月31日进行，之后未再更新。
2.2 研究选择与资格标准
研究选择过程遵循结构化的两阶段方法。首先进行标题和摘要筛选，随后进行全文评估。两个阶段均由预定义的纳入和排除标准指导。通过资格筛选的研究随后接受基于八个标准（Q1–Q8）的结构化质量评估。每项标准按三分制评分，最高可得八分。得分低于四分（最高分的50%）的研究将被排除在最终分析之外。两名评审员独立评估每项研究，并通过讨论解决分歧。
选择过程涵盖PRISMA 2020规定的四个连续阶段：识别阶段，数据库检索获得737条记录，剔除122条重复记录后，保留615条唯一记录；筛选阶段，通过人工筛选将615条记录减少至57项研究进行全文审查，此阶段排除了558条记录；资格阶段，对57项研究根据八项纳入和排除标准以及最低质量阈值进行全文评估，此过程因五种理由排除了24项研究；纳入阶段，共有33项研究满足所有资格和质量标准，被纳入最终分析。
2.3 数据提取
对所有33项研究的数据进行了独立且重复的提取，涵盖14个变量：主要架构家族及组成、模态、生物标志物、数据集及其来源、样本量、任务类型、源研究标注的性能指标及其值、延迟、帧率、参数数量或浮点运算次数、评估硬件以及已确认的局限性。由于数据集、硬件、任务类型和指标定义存在异质性，无法进行汇总；因此，除频率计数和表格化外，未尝试进行任何综合。
2.4 主题综合
综合按主题组织，以捕捉深度学习在驾驶员嗜睡检测中的主要应用。研究结果分为五个应用领域：基于YOLO的架构、标准和预训练卷积神经网络、CNN-Transformer混合模型、顺序混合架构以及生理信号模型。这些类别与跨领域维度一起进行分析，包括准确性-延迟权衡、部署障碍、文献和知识空白、信任和用户接受度、方法论能力以及未来研究方向。
3 结果
基于对33项选定研究的综合，文献显示出从静态特征提取到时间性和混合建模的进展，围绕三个主要设计范式组织：（i）基于YOLO架构的轻量级实时检测器，（ii）高精度时空CNN-Transformer混合模型，以及（iii）计算高效的视觉-生理框架。研究结果围绕六个跨领域维度组织：架构流行度、生物标志物可靠性、数据集异质性、准确性-延迟权衡、部署障碍以及偏倚风险与报告完整性。
3.1 架构主导性
系统分析表明，驾驶员嗜睡检测以卷积架构为主，特别是单阶段检测器和标准或预训练卷积神经网络，同时越来越广泛地使用全局注意力机制。在综述的语料库中，这一分布反映了一致的实时性能优先排序。两个架构家族占据了大部分证据：单阶段YOLO检测器构成了33项研究中的九项（27.3%），而标准和预训练CNN主干构成了10项研究的主要贡献（30.3%）。混合CNN-Transformer模型是架构创新的主要领域，构成了五项研究（15.2%）的主要贡献。顺序混合架构构成了三项研究（9.1%）的主要贡献，并在总体上作为五项研究的组成部分出现。用于生理信号处理的专用深度神经网络和时间Transformer架构保持了较小但功能上重要的存在，分别代表了两项（6.1%）和三项（9.1%）研究的主要贡献。一项进一步的研究贡献了一个核支持向量机（Support Vector Machine，SVM），而非深度架构。
3.2 生物标志物与指标
近期研究显示，对整合行为学和生理学指标的多模态驾驶员嗜睡检测系统的兴趣日益增加。在综述的语料库中，视觉生物标志物仍占主导地位，因为它们支持非侵入性监测，其中眼睑闭合百分比（Percentage of Eyelid Closure，PERCLOS）、眼睛纵横比（Eye Aspect Ratio，EAR）和嘴巴纵横比（Mouth Aspect Ratio，MAR）在文献中被广泛使用。然而，生理信号有助于多模态检测。脑电图（Electroencephalography，EEG）可以在可观察的行为表现之前支持认知疲劳的检测，而基于眼电图（Electrooculography，EOG）的慢速眼动分析在受控条件下已实现高达99.89%的准确性。尽管有这些优势，视觉生物标志物在低照度或面部遮挡下可能表现出超过40%的相对性能下降，凸显了它们对真实驾驶条件的敏感性。相反，生理指标可能通过直接测量神经、眼部或心脏活动提供补充信息，但它们的部署仍受限于传感器的侵入性、硬件要求和用户不适感，这限制了它们在实际应用中的可扩展性。
3.3 数据集异质性
33项纳入研究在训练、验证和测试中使用了高度异质的数据集。这些数据集从广泛使用的公共基准（如YawDD和NTHU-DDD）到作者构建的数据集不等，这些数据集通常是在实验室条件下收集的，且在跨研究的报告完整性方面存在显著差异。这种分布揭示了两个重要模式：第一，没有公共数据集被大多数研究所使用。使用最频繁的数据集YawDD，仅出现在33项研究中的九项（27.3%），而NTHU-DDD出现在七项研究中（21.2%），表明该领域实验基准存在显著碎片化；只有七项研究（21.2%）在两个或更多这些公共基准上进行了评估。第二，至少有11项研究（33.3%）完全或部分依赖内部、非标准化数据集。基准碎片化和有限标准化的结合阻碍了跨架构的直接比较，并可能降低总体结论的外部有效性。
3.4 准确性-延迟权衡
对ADAS技术可行性的分析显示出一致的模式：轻量级和重参数化架构通常在预测准确性和推理延迟之间实现更有利的平衡。实时车载系统施加严格的延迟限制，但语料库仅在少数纳入研究中支持关于这些限制的陈述。33项研究中有九项（27.3%）报告了任何形式的时序测量，只有七项（21.2%）将其报告为每帧延迟。在同时报告准确性和每帧延迟的模型中，有三个模型将高于95%的准确性与低于100毫秒的延迟相结合：ME-YOLOv8（97.5%，12.2 ms）、YOLOv8-FD（98.06%，16.7 ms）和EffRes-DrowsyNet（98.07%，28.0 ms）。通过应用可行性规则（准确性≥94%且每帧延迟≤33 ms），被归类为高度可行的四个模型跨度在9.4-28.0毫秒内实现了94.3%-98.07%的准确性，对应于约36-106 FPS的延迟衍生吞吐量。相比之下，计算密集型模型，包括EfficientNetB0和带有扩散去噪的Swin Transformer变体，实现了接近99.9%的准确性，但每帧推理延迟超过1.0秒。这一延迟大大超过了在30 FPS下运行所需的约33毫秒每帧预算，限制了它们在实时嵌入式ADAS部署中的适用性，除非进行大幅架构优化。
3.5 可行性与部署障碍
驾驶员嗜睡检测系统在实际环境中的部署受到计算、内存和热限制的约束。基于视觉Transformer和扩散模型的架构，尽管在实验室条件下实现了高预测性能，但由于其计算复杂性和内存需求，可能难以在低功耗嵌入式硬件上部署。这种基准性能与运营可行性之间的差距仍然是一个核心的未解决挑战，限制了最先进模型转化为实用ADAS。表8列举了语料库识别出的五个障碍类别，以及受影响的架构和报告的缓解措施。其中两个已量化：基于扩散的推理速度为每帧0.86-1.83秒，超出与30 FPS相关的33毫秒预算26-55倍；纯视觉流水线在低照度或面部遮挡下损失超过40%的相对准确性。提议的缓解措施是结构性的，而非架构性的，包括训练后量化、结构化剪枝和重参数化，但均未在目标设备上得到验证。
3.6 横断面综合
表9整合了四个研究问题，并区分了三种部署配置文件：高可行性（选定的YOLO模型和非接触视觉-rPPG系统，在报告条件下实时运行但环境敏感）、中可行性（深度CNN、时间Transformer和CNN-Transformer混合模型，在受控条件下准确但受内存需求和顺序瓶颈限制）和低可行性（接触式生理模型，快速准确但受侵入性限制）。没有综述的架构能同时满足所有四个评估维度；因此，准确性-延迟-可部署性权衡仍未解决。
3.7 偏倚风险与报告完整性
每项纳入研究均达到或超过4/8的评估阈值，这是由资格规则决定的，而非独立发现。报告完整性是本次综述偏倚的主要来源，其方向是已知的。由于检索字符串要求包含准确性相关术语，语料库过度代表了以准确性为重点的研究：准确性普遍被报告，而时序信息不足三分之一的研究报告，内存占用、功耗和嵌入式评估则完全没有研究报告。因此，第3.4节和第3.6节中的每项定量声明都以报告子集为条件，而非整个语料库。一个突出的空白涉及表1中声明的结果，其中包括假阳性和假阴性率。准确性是表7中任何模型唯一提取的性能指标，综述证据中未出现假阴性率。由于在每个使用的数据集中，警觉帧的数量远远超过嗜睡帧，模型可能达到较高的总体准确性，同时遗漏大多数嗜睡事件，这是一种具有安全后果的失败模式。
4 讨论
本系统综述综合了33项关于基于深度学习的驾驶员嗜睡检测的实证研究。它根据报告的实时可行性和计算需求对综述的架构进行分类，刻画了语料库中准确性与延迟之间的经验边界，并推导出一个优先研究议程。
4.1 架构主导性及其实际意义（RQ1）
标准或预训练卷积主干（占纳入研究的30.3%）和单阶段YOLO检测器（27.3%）占据了综述证据的大部分，表明一致优先考虑单次通过推理流水线。中心发现并非哪个家族排名第一；由于主要分类是互斥的，直接可比，但两个计数相差一项研究，没有排名声明。分布显示，注意力密集型和两阶段设计在整个过程中仍占少数，这一模式与2021年前报告两阶段检测器和传统CNN占主导地位的综述不同。CNN-Transformer混合模型的出现表明人们对能够建模时空依赖性的架构兴趣日益增加。它们的贡献并非增量式准确：嗜睡通过事件的时间组合表现出来，而非任何单帧，自注意力提供了卷积需要深度才能实现的序列中远距离位置之间的直接计算路径。基于生理信号的模型处于准确性前沿，当整合EOG时报告准确性至少为99.89%，但其实际采用仍受限于基于接触的传感要求、硬件复杂性和用户不适。
4.2 生物标志物可靠性与多模态互补性（RQ2）
PERCLOS，通常定义为在一分钟间隔内眼睑开口低于其最大值20%的帧的比例，在更广泛的文献中仍然是最广泛验证的视觉生物标志物。有两项研究在明确不利条件下评估了视觉检测，均报告相对准确性降低超过40%：YOLO-FDCL在低照度镜头下，TMU-Net在部分面部遮挡下。它们的基线、数据集和不利条件的操作定义不同；因此，该数字表明了问题的大致严重程度，而非汇总效应。实际后果是，在精选数据集上报导准确性接近99%的模型，不能假定在低照度、遮挡或非正面头部方向下仍能保持该准确性。将远程光电容积描记（remote photoplethysmography，rPPG）衍生的心率与视觉特征相结合的多模态方法，报告在近实时速度下准确性介于96%和98%之间，表明存在一条维持非接触监测同时增加生理特异性的可行途径。相比之下，基于EEG的系统可能支持认知疲劳的早期检测，但其基于接触的传感要求限制了实际车载部署。
4.3 准确性-延迟权衡：一个结构性边界（RQ3）
在同时报告两种数值的模型中，没有一个能同时实现超过99%的准确率和低于100毫秒的延迟。该声明是描述性的而非最优的，并且完全依赖于桌面和工作站硬件；因此，在低功耗设备上，高准确率与实时模型之间的差距可能会扩大而非缩小，尽管只有嵌入式评估才能确定扩大多少。高精度模型以每帧0.86-1.83秒的速度运行，超出约33毫秒的预算26-55倍，而ME-YOLOv8和YOLOv8-FD以相对较小的报告准确性降低实现了显著更低的延迟。33毫秒的数字源自以30 FPS捕获视频的惯例，而非检测任务本身：PERCLOS在扩展窗口上计算，嗜睡发作在几秒到几分钟内展开；因此，两者都不要求每帧到达时独立处理。时间子采样、事件触发推理或在PERCLOS窗口内批处理可以以一小部分成本实现相同目标；然而，综述的研究很少评估这些替代方案，更少证明其采用的每帧假设的合理性。使该假设明确本身就是一项发现：该领域视为硬件限制的部分可能是一种继承处理模型的伪影，放宽它可能是比进一步架构压缩更便宜的实现嵌入式可行性的途径。第四个限定条件涉及结果变量。该边界表述在准确性方面；没有综述的模型报告假阴性率。
4.4 硬件依赖性与部署差距（RQ4）
没有一项纳入研究在嵌入式、车规级或边缘设备上评估其模型。报告时序信息的研究依赖于桌面和工作站GPU（RTX 3050-4090，Quadro M4000）或桌面级CPU。这一缺失意味着在当前文献中，有效性声明和其声称的部署环境之间存在空白。在缺乏嵌入式基准测试的情况下，计算要求通常是通过理论指标（如参数数量或浮点运算次数）来近似，但语料库中只有少数研究报告了这些指标。表7中的所有评估均来自高端硬件。没有一项评估在功率预算与车载计算平台相似的系统上进行。因此，无法直接回答哪些架构在嵌入式硬件上满足实时约束的问题；相反，它建议哪类方法最有可能这样做：结构上高效的单次通过检测器、经过优化用于边缘部署的轻量级CNN以及正在进行的模型压缩研究。量化、剪枝和知识蒸馏等压缩技术对于匹配嵌入式平台的资源限制至关重要。
4.5 文献空白
报告不完整，特别是在时序指标、内存占用和功耗方面。没有标准化的评估协议，阻碍了不同研究间的直接比较。嵌入式和车规级硬件的缺失是最直接的空白。对不利条件的对照评估代表了另一个明确的缺口。关于计算指标的可重复性也存在隐性但广泛的问题。最后，关于将技术性能映射到安全结果，以及驾驶员对基于生理监测系统的接受度，存在空白。
4.6 综述局限性
本综述的检索中省略了上下文条款，这引入了报告偏差，有利于报告准确性而非时序、资源或部署可行性的研究。在检索中纳入“嵌入式”、“边缘”或“实时”术语将产生一个不同且可能更具信息量的语料库。由于三个数据库的索引范围不同，Dimensions贡献了737条记录中的580条。未进行引文追踪，未检索灰色文献、预印本服务器或注册库。本综述未进行前瞻性注册。限制在2021年以后文献的时间窗口可能排除了相关性很强的前期工作。在已纳入的33项研究中，质量略显不一，尽管所有研究都超过了最低阈值。最后，论文可在2025年10月31日检索日期之后发表，因此排除在外。
5 结论
本综述综合了2021年1月至2025年10月间33项关于驾驶员嗜睡检测的实证研究，显示该领域以卷积单次通过架构为主，特别是单阶段YOLO检测器和轻量级CNN。主要发现是，没有一个被综述的模型能同时满足高精度和实时推理、在嵌入式或车规级硬件上进行验证，这凸显了一个持续存在的准确性-延迟权衡。
对研究人员，本综述提出以下建议：优先在嵌入式硬件上进行评估并采用跨数据集验证协议；报告时序指标、参数数量和功耗；评估多模态系统的鲁棒性以及不利照明和遮挡条件下的性能。对行业专家，需要更明确地定义真实环境操作场景和嵌入式约束，并进行目标设备上的性能验证。对安全监管机构和标准制定者，缺乏通用评估基准和标准化指标是一个关键障碍，需要进一步关注。最后，对涉及该领域的研究项目资助者，支持满足低功耗嵌入式约束的架构和可复现评估实践的研究，可能促进向实际ADAS部署的过渡。
