《Technologies》：Temporal Attention and Convolutional Tokenization for Interpretable EEG-Based ADHD Identification in Children
编辑推荐：
注意缺陷多动障碍（ADHD）是一种高患病率的神经发育性疾病，通常通过临床访谈、行为观察和量表评定进行评估。尽管脑电图（EEG）已成为ADHD评估中一种有前景的补充工具，但由于受试者间变异性、数据集规模有限以及对可解释计算模型的需求，实现稳健的、受试者独立的分类
注意缺陷多动障碍（ADHD）是一种高患病率的神经发育性疾病，通常通过临床访谈、行为观察和量表评定进行评估。尽管脑电图（EEG）已成为ADHD评估中一种有前景的补充工具，但由于受试者间变异性、数据集规模有限以及对可解释计算模型的需求，实现稳健的、受试者独立的分类仍然具有挑战性。本研究提出了EEG-TACT，这是一种紧凑型端到端深度学习架构，用于从EEG时间窗（epochs）中识别ADHD受试者。所提出模型整合了受EEGNet启发的卷积嵌入（convolutional embedding）、Transformer编码器（Transformer encoder）算子以及基于注意力的池化机制（attention-based pooling mechanism）。这些组件共同捕获局部时空EEG模式、上下文化的时间依赖关系，以及与任务相关的潜在表征。研究人员在一个公开可用的EEG数据集上对EEG-TACT进行了评估，并采用严格的、受试者独立的分层分组划分（stratified group partitions），从而确保训练、验证和测试子集之间不存在跨受试者的数据泄漏。所学习的时间滤波器响应、类别条件化的自注意力图（self-attention maps）以及潜在空间投影为模型提供了可解释性。消融研究量化了各个架构组成部分的贡献。性能分析包括在折次（fold）、受试者和时间窗水平上的评估，并结合与代表性当前先进架构的统计显著性比较。EEG-TACT在对比模型中取得了具有竞争力的性能，在受试者水平上达到87.5%的准确率、96.0%的召回率和82.8%的精确率，同时仅需数千个可训练参数。通过穷尽式重复初始化，所提出模型表现出改进的标注可靠性，并在所评估架构中获得最佳平均排序。因此，所报告结果支持如下证据：在受试者独立评估设定下，EEG-TACT为基于EEG的ADHD识别提供了一种紧凑、稳定且可解释的模型。同时，这些结果也推动了在更大规模、多中心以及药物控制数据集上的进一步验证。
该文发表于《Technologies》，围绕儿童注意缺陷多动障碍（ADHD）的脑电图（EEG）辅助识别展开，核心目标是在严格受试者独立评估条件下，构建一种兼具紧凑性、稳定性与可解释性的深度学习模型。研究背景在于，ADHD是儿童期常见的神经发育障碍，早期识别对改善学业表现、社会功能和生活质量具有重要价值。然而，当前临床评估仍主要依赖临床访谈、行为观察以及家长、教师或临床人员填写的量表工具，这类方法虽有助于结构化症状筛查，但易受观察者主观感知、家庭与学校环境差异及症状重叠等因素影响，导致客观性不足。由于ADHD与焦虑、抑郁、学习障碍等情况常存在共病，且行为表型与其他神经发育或情绪问题可能交叠，因此开发客观的神经生理学补充工具具有现实意义。EEG因具备无创、低成本、便携及高时间分辨率等特征，被认为适于表征与注意、执行功能、抑制控制和行为调节相关的神经活动模式。但EEG用于ADHD识别仍面临若干关键问题，包括受试者间差异显著、公开数据集规模有限、不同研究中容易出现数据泄漏，以及模型虽可获得较高性能却缺乏临床可接受的解释能力。为此，研究人员提出EEG-TACT，通过将受EEGNet启发的卷积特征提取与Transformer时间上下文建模结合起来，并引入注意力池化实现关键时间表征的自适应聚合，从而提升识别效能与解释性。结果表明，该模型在与多种先进深度学习架构对比时取得了有竞争力且统计上稳健的表现，在仅需少量可训练参数的前提下，受试者水平准确率达到87.5%，召回率为96.0%，精确率为82.8%。论文的重要意义在于，它证明了在严格受试者独立协议下，紧凑型混合卷积-Transformer架构能够为EEG基础ADHD识别提供稳定、可解释且较低复杂度的解决方案，同时也提示未来应在更大规模、多中心及药物状态受控的数据上继续验证。
在技术方法上，研究使用Nasrabadi等共享于IEEE DataPort的公开儿童EEG队列，共纳入7–12岁儿童，剔除1例伪迹严重受试者后，对其余受试者的19导联EEG进行公共平均参考重参考、50 Hz陷波及0.5–60 Hz带通滤波，并切分为2 s、50%重叠的时间窗。模型由EEGNet风格卷积嵌入模块、Transformer编码器和注意力池化分类头构成；训练与验证采用五折分层分组交叉验证（stratified group cross-validation）及嵌套验证，确保受试者级无泄漏；超参数通过Optuna的TPE采样器优化，并通过多数投票将时间窗级输出聚合为受试者级判定。
3.1. Model Setup and Hyperparameter Tuning
本节主要说明EEG-TACT的最终结构配置及其调参结果。研究人员将模型设计为顺序式端到端框架，包括卷积特征提取、Transformer时间上下文编码以及注意力池化分类三大算子。经Optuna搜索后，最优模型首先以类似EEGNet的卷积嵌入块处理输入EEG时间序列：时间卷积用于提取频率选择性模式，随后经批归一化（batch normalization）稳定训练；深度卷积（depthwise convolution）用于跨通道整合信息并学习空间滤波器；之后通过非线性激活、平均池化和空间Dropout进行特征压缩与正则化。分离卷积（separable convolution）进一步生成紧凑的时间表征，同时控制参数规模。经第二阶段归一化、激活、池化和Dropout后，特征图被重塑为潜在时间标记（latent temporal tokens）序列。Transformer部分采用一个调优后的单层编码器，包含2个自注意力头和2层稠密块，用于建模长程时间依赖。最后，注意力池化层依据学习到的重要性权重对编码后的标记序列进行聚合，以支持时间窗级分类。该节结论是：经系统调参后，EEG-TACT形成了一个参数高效而结构协调的混合架构，为后续性能与解释性分析奠定基础。
3.2. Model Interpretability and Ablation Analysis
本节从模型可解释性和组件贡献两方面展开分析。首先，在参数解释层面，研究人员考察了第一层时间卷积滤波器及Transformer自注意力矩阵。频域幅度响应分析显示，所学时间卷积更像是对预处理后4–40 Hz可用频谱的监督式重加权，而非对完整EEG频谱的无约束发现。8个滤波器表现出互补性：部分滤波器更强调较低至中间频段，包括theta–alpha及邻近低频成分；部分滤波器集中强调经典beta频段；另一些则呈现更宽带的响应分布。这说明卷积前端能够形成数据驱动的滤波器组，而ADHD相关判别信息并不依赖单一预设频谱指标，而是来源于多个频率范围的互补模式。
其次，在Transformer上下文编码解释方面，研究人员提取测试集上按类别平均的自注意力矩阵。结果显示两个最优注意力头具有互补的上下文化功能：一个头更局部化，强调特定查询-键（query-key）之间的依赖；另一个头更分布式，反映更广泛的全局时间整合。类别比较发现，ADHD组注意力图表现为更高对比度、更结构化的模式，注意力更集中于特定潜在时间标记之间的相互作用；而对照组注意力分布更平滑、更弥散，提示其分类更多依赖较为均匀的时间信息整合。论文据此认为，Transformer能够把局部EEG特征重组为类别依赖的时间交互结构，从而支持ADHD与对照之间的区分。
再次，在潜在空间可视化方面，研究人员使用t-SNE对卷积嵌入输出与Transformer编码输出进行二维投影。卷积嵌入阶段两类样本仍有明显重叠，说明初始卷积块主要提取基础信号结构，但类间可分性尚有限；而经Transformer编码后，ADHD与对照在投影空间中的组织更为清晰，且靠近异类区域的样本往往对应较低标注置信度，表明模型在错误风险较高样本上具有一定不确定性感知。按受试者着色后，同一受试者的时间窗在投影中形成局部邻域或连续轨迹，进一步支持采用受试者分组交叉验证以防止信息泄漏。
最后，研究通过消融实验量化各模块贡献，在相同的五折受试者分组分层交叉验证、固定随机种子及一致划分条件下，比较了4种配置：采用展平聚合的EEGNet样基线、加入注意力池化的EEGNet变体、加入Transformer并使用全局平均池化的变体，以及完整EEG-TACT。结果显示，从最简单结构到完整模型，性能呈持续提升趋势。仅用展平聚合的基线性能最低，表明其不足以在受试者独立设定下有效汇总分布式时间信息；在卷积表示基础上加入注意力池化后性能略有改善，说明可学习聚合有一定帮助；加入Transformer并使用平均池化后进一步提升且折间波动减小，表明自注意力可增强表示稳定性与判别性；完整EEG-TACT则表现最佳，说明时间自注意力与注意力池化具有协同增益。受试者级时间窗标注剖面图进一步印证了这一点：完整模型的误分类中央带最窄，正确分类受试者保留了更高比例的真实类别投票，表明其不仅改善了受试者级决策数量，也提高了决策质量。
3.3. Performance and Significance Analysis
本节对EEG-TACT与多种代表性EEG深度学习模型进行系统比较，包括EEGNet、ShallowConvNet、CNN-LSTM、Multi-Stream、EEG Conformer、IM-CBGT和T-GARNet。为确保比较公平，所有模型均在相同预处理流程、相同受试者级数据划分、相同Optuna调参框架、相同训练标准及相同受试者水平评价协议下进行训练和测试。研究人员进一步采用“固定五折×10个随机种子”的变随机种子（varying-seed）方案，共获得50次测试结果，以同时刻画不同受试者划分与随机初始化带来的波动。
在该统计设定下，EEG-TACT显示出最稳健的综合性能，虽然个别基线在召回率或某些单项指标上可达到相近甚至更高水平，但EEG-TACT具有更小的准确率标准差，并在基于准确率的平均排名中居首，表明其性能不依赖偶然有利的初始化。在类别特异性指标上，EEG-TACT获得最高精确率和特异度（specificity），同时保持较高召回率和曲线下面积（AUC），因而在ADHD检出能力与误报控制之间更为平衡。相比之下，T-GARNet、EEGConformer和CNN-LSTM虽然召回率较高，但精确率较低，提示存在更强的“偏向判为ADHD”倾向。Wilcoxon符号秩检验显示，EEG-TACT相对于EEGNet、ShallowConvNet、Multi-Stream、EEGConformer、IM-CBGT和T-GARNet的改进具有统计显著性；但在召回率方面，T-GARNet显著优于EEG-TACT。
在最佳随机种子设定下，EEG-TACT取得最高的受试者级准确率、精确率和特异度，并维持较高召回率，说明在最优初始化条件下，其不仅能够有效识别ADHD个体，也能更好地抑制对照受试者被误判为ADHD。McNemar检验进一步证明，这种优势不仅反映在聚合指标上，也落实为具体受试者决策的改进。总体而言，EEG-TACT体现出“准确性—可靠性—复杂度”之间较优的权衡，其性能优势更多来自适合EEG任务的结构归纳偏置，而非简单依赖更大模型规模。
此外，研究注意到受试者标签由多数投票得到，因此即便受试者级判定正确，也可能混杂部分高置信错误时间窗预测。为此，作者采用风险-覆盖率（risk-coverage）分析检验模型在时间窗级别的选择性分类可靠性。结果显示，EEG-TACT在整个覆盖率范围内具有最低的选择性风险，并呈现最平滑的风险随覆盖率上升曲线，说明其置信度排序更可靠，能够更好地区分容易与困难样本，其时间窗级预测不仅更准确，而且在不确定性条件下更具可校准性。
讨论部分总结指出，本研究的关键贡献在于提出了一种将卷积特征提取、Transformer时间上下文化和注意力聚合统一到单一可微框架中的紧凑型端到端模型，并在临床意义更强的受试者级独立评估条件下验证了其有效性。研究结果表明，卷积前端学习到的数据驱动频谱重加权、自注意力揭示的类别依赖时间交互，以及注意力池化实现的自适应时间汇总，共同促进了表征学习和受试者级分类性能提升。论文同时强调，严格的分层分组划分、嵌套验证和统计检验对于EEG基础ADHD分类研究至关重要，因为这些措施能够减少信息泄漏风险，并给出更接近真实临床泛化能力的估计。研究也明确指出局限性：模型是在时间窗级训练后通过多数投票获得受试者级标签，限制了对更长时间范围依赖的直接建模；仅在单一公开二分类ADHD/对照数据集上验证，尚无法充分说明跨中心、跨设备、跨电极布局及不同临床亚群的泛化能力；且ADHD组受试者在记录时存在哌甲酯（methylphenidate）暴露，而数据集未提供剂量、剂型、给药至记录时间间隔、洗脱条件或用药前后EEG对照，因此无法区分ADHD相关脑电特征与潜在药物效应。未来工作方向包括探索更高效的注意力机制、层级式Transformer、时空联合注意力和整段记录级聚合策略，并在更大规模、多中心、药物状态受控的异质数据集上开展外部验证，同时建立系统的伪迹检测与可复现排除标准。
研究结论部分翻译如下：
本研究提出了EEG-TACT，这是一种用于从EEG时间窗中进行受试者水平ADHD识别的紧凑型端到端架构，通过将卷积特征提取、基于Transformer的时间上下文化以及基于注意力的聚合整合到单一可微框架中，实现了频率选择性时间滤波器、空间通道表征、潜在时间标记之间上下文依赖以及用于分类的自适应时间汇总的联合学习。在具有临床意义的受试者水平评估下，EEG解码性能的提升验证了EEG-TACT具有竞争性且统计稳健的表现，同时保持了较少的可训练参数，说明其性能增益来源于合适的架构偏置，而不仅仅是模型复杂度增加。主要发现支持卷积特征提取、时间自注意力与自适应池化三者之间的协同关系，这种协同作用改善了表征学习和受试者水平分类性能。所学习的时间滤波器在预处理后的EEG频带内充当数据驱动的频谱重加权机制，捕获了互补的低频、中频和beta频段模式。与此同时，自注意力图突出了潜在标记之间具有类别依赖性的时间交互，而潜在空间投影则揭示了Transformer上下文编码如何将局部EEG特征重组为更具判别性的表征。消融分析进一步证实，仅有时间自注意力或仅有注意力池化都不足以完全解释观察到的性能提升，完整的EEG-TACT配置表现出最优的受试者水平标注特征。从方法学和应用角度看，本研究强化了在严格受试者独立协议下评估EEG基础ADHD分类器的重要性。通过采用分层分组划分、嵌套验证和统计检验，所提出框架降低了信息泄漏风险，并为模型在未见受试者上的行为提供了更现实的估计。这些方面对于转化型EEG研究尤其重要，因为模型不仅需要具备较高准确率，还应产生稳定、可解释且与置信度一致的预测。因此，EEG-TACT有潜力作为一种计算决策支持方法，用于补充全面的临床评估。
