一种基于自适应时频注意力的CNN-LSTM模型，用于利用脑电图（EEG）信号进行鲁棒的疲劳检测

《Biomedical Signal Processing and Control》：An adaptive time–frequency attention-based CNN–LSTM for robust fatigue detection using EEG signals

驾驶员疲劳检测中，基于单通道EEG信号提出CNN-LSTM模型结合自适应时间-频率注意力机制（ATFA），通过短时傅里叶变换增强频谱特征和注意力权重重校时间-频率表示，有效平衡计算效率与模型性能，在SADT和SEED-VIG数据集上分别达到83.90%和87.67%的准确率，提升4.22%和2.76%，定量分析显示低频带（delta/theta波段）对疲劳状态贡献显著，最佳时窗为128样本。

　　

陈卓超|李贤

青岛大学自动化学院，中国青岛，266071

摘要

驾驶员疲劳对道路安全构成了严重威胁。现有的基于脑电图（EEG）的检测方法存在特征表示不足、计算复杂度高和泛化能力差的问题。为了解决这些问题，我们提出了一种新颖的卷积神经网络（CNN）和长短期记忆（LSTM）模型，并通过自适应时频注意力（ATFA）机制进行增强，该机制使用单通道EEG信号。具体而言，ATFA采用了短时傅里叶变换（STFT）来强化特征，并通过基于注意力的特征重新校准来优化其时频表示。然后，部署了一个混合的CNN-BiLSTM框架，以同时提取局部频谱特征和长期时间依赖性。值得注意的是，该模型在SADT和SEED-VIG数据集上的平均准确率分别达到了83.90%（±6.35%标准差）和87.67%（±8.28%标准差），比现有最先进的方法分别提高了4.22%和2.76%。此外，定量分析揭示了生理学上可解释的模式，其中较低频段（如0.5–4.0 Hz的δ波段和4.0–8.0 Hz的θ波段）对疲劳状态的贡献更大，而在128个样本的中等时间窗口大小下，时频变换更为有效。

引言

驾驶员疲劳已成为对道路安全的隐秘威胁。根据交通管理部门的权威报告，大约20%的交通事故是由疲劳驾驶引起的[1]、[2]。随着现代社会对交通需求的不断增加，这一隐形杀手不仅危及个人生命，还带来了巨大的社会经济负担。因此，可靠的疲劳检测已成为一项科学要求和道德义务。

在过去的几十年中，生理信号的研究和应用揭示了它们在疲劳检测中的潜力，尤其是在动态和客观评估驾驶员行为和状态方面。文献中显示，包括心电图（ECG）、眼电图（EOG）和肌电图（EMG）在内的各种生物信号在评估驾驶员心理状态方面表现出不同程度的有效性[3]。然而，它们的实施面临从运动伪影到传感器侵入性等一系列挑战[4]。在生物信号领域，脑电图（EEG）已成为神经监测的金标准，具有高时间分辨率和与认知状态的直接关联[5]。其非侵入性和毫秒级的响应时间使其成为实时疲劳评估的最有希望的候选方法。

在这场智能革命中，数据驱动的方法已从特征工程逐渐发展到深度认知。传统的机器学习范式，如支持向量机（SVM）和随机森林（RF），已经为基于EEG的疲劳检测提供了初步的概念验证[6]、[7]、[8]。然而，它们依赖于手动特征工程，这导致在捕捉非线性EEG动态方面存在固有的局限性，同时降低了模型效率。深度学习的发展，特别是卷积神经网络（CNN）和长短期记忆（LSTM）网络，将疲劳检测推向了一个新的高潮[9]。它们能够从原始信号中自动提取时空特征，从而显著提高了模型的准确性和鲁棒性[10]。根据我们对基于深度学习的疲劳检测的调查，大多数方法侧重于多通道EEG分析，并通过复杂的通道相互依赖性建模实现了显著的成就[11]。尽管它们提供了丰富的神经生理信号，但由于设置复杂和计算成本高，不适合车载集成[12]。这一认识推动了向单通道解决方案的研究，这种方案在可穿戴性和实施可行性方面具有明显优势[13]。然而，这种简化方法也引入了新的科学挑战，如空间分辨率降低、噪声敏感性增加和特征多样性减少等[14]。为了解决这些挑战，最近的研究探索了各种技术，包括先进的信号处理方法和新型深度学习框架。

最近注意力机制的整合标志着基于EEG的疲劳检测进入了一个变革阶段。它们自适应加权的特性最初是为自然语言处理设计的，但显示出与神经时间序列的显著兼容性[15]、[16]。这些基于注意力的模型可以通过动态特征优先级来提高检测准确性，并为疲劳检测提供可解释的生物标志物。这种双重能力解决了AI驱动的基于EEG的疲劳检测中长期的性能优化问题。尽管如此，挑战仍然存在。例如，现有方法往往难以在不牺牲准确性的情况下最小化计算复杂性，这在实时实际场景中尤为重要。此外，揭示EEG信号中的疲劳相关模式对于提高模型的可解释性、鲁棒性和可行性具有重要意义，从而实现更可靠和实用的疲劳检测。

由于我们处于神经工程和人工智能的交叉点，传感器技术、自适应算法和人机界面的协同创新提供了一种多维方法，将实验室突破转化为拯救生命的解决方案。现有的单通道方法通常在多样化的驾驶场景和驾驶员差异下缺乏鲁棒性和通用性，因此难以从有限的数据中提取足够的区分性特征。此外，基于注意力机制的方法仍处于起步阶段，需要进一步研究[4]，特别是对于车载应用而言，模型复杂性、可解释性和效率需要进一步平衡[17]、[18]。为了解决这些挑战，我们提出了这种CNN-LSTM作为时间依赖性建模和分层特征提取的框架，其中结合了一种新的自适应时频注意力（ATFA）机制，称为$A^2\mathrm{CL}$-Net，其任务特定的和自适应的特征增强解决了单通道基于EEG的疲劳检测中的挑战。我们的主要贡献如下：

• 1.
  提出了一种新的$A^2\mathrm{CL}$
  -Net，专为单通道基于EEG的场景优化，有效平衡了模型准确性和计算效率。

2.

ATFA引入了一种动态重新校准机制，通过结合基于STFT的频谱增强和可学习的注意力权重来放大与疲劳相关的区分性特征，同时抑制其他特征。

3.

定量分析为疲劳特征提供了生理学证据，验证了低频段在疲劳检测中的主导作用，确定了时频变换的最佳窗口大小，并量化了时频特征的重要性分布。

本文的其余部分组织如下。第2节回顾了相关工作。第3节介绍了我们的方法论。第4节给出了实验结果。第5节分析了模型效率。第6节总结了本文。

部分摘录

基于EEG的疲劳检测

由于EEG对生理状态的高敏感性，它已成为疲劳检测的基石。在过去的几十年中，基于EEG的疲劳检测经历了三个阶段：传统机器学习中的特征工程、通过深度学习实现端到端的特征表示，以及通过多模态融合进行认知解码。

方法论

如图1所示，我们提出的$A^2\mathrm{CL}$-Net用于单通道基于EEG的疲劳检测，它利用ATFA模块来增强时频表示并从原始信号中提取区分性特征，然后通过CNN模块捕获局部模式，以及通过LSTM模块建模长期时间依赖性。它们共同提供了对频谱特征和动态序列的全面分析。

数据集和实验设置

持续注意力驾驶任务（SADT）：该数据集包含来自27名受试者（年龄22-28岁）在国立交通大学进行的90分钟虚拟驾驶实验中的62个EEG记录（2005-2012年）[40]。这些信号共有30个通道，采样率为500 Hz，并按以下方式预处理：（1）时间分割：提取车道偏离前的3秒EEG信号，这与现有做法一致[13]。（2）标记：通过局部和全局特征确定疲劳状态

时频表示方案

为了验证所提出的ATFA机制的有效性，我们将其性能与四种经典时频变换方案进行了比较，包括Welch方法、连续小波变换（CWT）、Hilbert-Huang变换（HHT）和STFT。

如图5所示，ATFA在所有指标上的表现都最好，准确率比第二好的方法（CWT）高出3.6%，同时具有强大的抗噪声能力和特征区分能力。根据我们的分析，其优越性能可以

结论

在这项研究中，我们提出了一种基于ATFA机制的新型CNN-LSTM框架，用于单通道基于EEG的疲劳检测。ATFA通过自适应加权区分性频谱成分来优化时频表示，而CNN-LSTM则分层提取局部空间模式并建模长期时间依赖性。广泛的实验表明，该模型在SADT数据集上达到了83.90%的跨学科准确率，达到了最先进的水平

CRediT作者贡献声明

陈卓超：撰写 – 审稿与编辑，撰写 – 原稿，可视化，软件，方法论，数据管理，概念化。李贤：撰写 – 审稿与编辑，监督，软件，形式分析。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。