面向癫痫发作预测的混合卷积、Mamba与脉冲神经网络架构搜索框架（CMS-NAS）

《Cyborg and Bionic Systems》：A Hybrid Convolutional, Mamba and Spiking Neural Network Architecture Search for Seizure Prediction

　　

近年来，深度学习技术在基于脑电图（electroencephalogram, EEG）信号的癫痫发作预测中发挥着日益重要的作用。然而，深度学习算法的性能往往高度依赖于其神经网络架构设计；人工设计神经网络架构的过程通常非常耗时且资源密集。此外，不同类型的网络具有各自独特优势，如何自动混合这些网络以设计有效的癫痫发作预测网络仍是一项重大挑战。为解决该问题，本文提出一种基于多目标进化算法（multiobjective evolutionary algorithm）的混合卷积、Mamba与脉冲神经网络（spiking neural network, SNN）架构搜索框架（CMS-NAS），用于癫痫发作预测，其能够自动设计轻量级网络以全面提取脑电图特征。通过模拟自然选择机制，CMS-NAS通过种群迭代演化候选网络，并使用多目标评分函数同时优化模型的预测准确率与模型规模。研究人员在2个公共数据集和1个私有数据集上开展大量实验，实验结果表明，由CMS-NAS算法搜索得到的网络模型在癫痫发作预测中取得有竞争力的性能。

癫痫（epilepsy）是一种常见神经系统疾病，严重影响患者生活质量，全球约5000万人受其影响。脑电图（electroencephalogram, EEG）能够实时反映脑电活动，在癫痫诊断和监测中发挥关键作用。然而，EEG信号本身具有非平稳、高噪声和个体差异等复杂特征，人工判读EEG不仅耗时、劳动密集，而且容易产生主观偏差。因此，推进自动癫痫发作预测算法，并探索能够准确分类癫痫信号的高效、可靠算法具有重要意义。

癫痫发作预测本质上是对多通道时间序列信号进行模式识别。早期技术依赖人工特征工程结合支持向量机（support vector machine, SVM）或k近邻（k-nearest neighbor, KNN）等浅层分类器进行判别。随着人工智能技术演进，深度学习（deep learning, DL）范式通过端到端表示学习显著提升癫痫发作预测性能。例如，卷积神经网络（convolutional neural network, CNN）利用局部感受野提取空间特征；Thuwajit et al. 提出多尺度CNN，在癫痫发作预测中优于现有方法，明显提高敏感度和F1-score。然而，CNN固定感受野限制其全局建模能力。长短期记忆（long short-term memory, LSTM）网络通过门控机制捕获EEG长程依赖；Tuncer and Bolat使用Bi-LSTM网络对EEG数据分类，在区分癫痫活动与其他活动时达到96%准确率。但LSTM面临难以并行计算和梯度消失风险。Transformer凭借独特注意力机制在全局建模中表现优异；Hu et al. 提出Inresformer网络，结合残差网络和离散小波变换提取EEG多尺度特征，在Bonn数据集上取得极高准确率。然而，Transformer的二次计算复杂度导致处理EEG信号效率较低。为克服Transformer局限，Gu and Dao提出Mamba网络，能够以低计算复杂度实现全局特征提取。除上述人工神经网络外，脉冲神经网络（spiking neural network, SNN）通过模拟生物神经元信息传递机制大幅降低网络计算量，并已广泛应用于EEG领域。与单独使用上述技术相比，混合使用多种技术显然具有更大潜力。Shanmugam and Dharmar结合CNN和LSTM开发一维（1D）CNN-LSTM模型，在癫痫发作预测任务中取得极高准确率。尽管已有研究混合这些网络，但如何整合各自优势以设计能够有效提取EEG特征且节能的网络仍是一项重大挑战。

为解决该问题，本研究采用CNN、Mamba和SNN混合架构。尽管这3种网络已分别用于癫痫发作预测领域，但仍缺乏将其集成应用以最大化各自优势的研究。研究人员开展本研究以填补该研究空白。研究人员采用配备深度可分离卷积的轻量卷积网络高效提取EEG信号局部时频细节。Mamba以接近线性的计算复杂度执行全局长程时间建模，补偿卷积网络捕获长程依赖能力的不足。SNN通过稀疏脉冲编码生成紧凑稀疏特征，并进一步降低整体模型规模。3个组件的深度融合使架构非常适合EEG信号固有特征，包括非平稳、高噪声和长时间范围。然而，在设计混合CNN、Mamba和SNN模型时，由于设计空间巨大，人工网络架构设计耗时且资源密集，难以平衡网络准确率和效率。因此，需要一种有效算法自动生成优秀网络架构，从而降低设计成本。在这些方法中，神经架构搜索（neural architecture search, NAS）近年来成为热门研究方向。NAS旨在通过将神经网络设计表述为优化问题，并通过自动化手段搜索最优架构来自动设计高性能网络。它通常以验证准确率作为主要性能指标，同时也可考虑计算效率等其他指标。现有方法涵盖强化学习算法、基于梯度的算法和进化算法等类别。强化学习方法将NAS表述为马尔可夫决策过程，并根据生成网络的准确率或效率获得奖励。基于梯度的NAS方法通过离散选择的连续松弛经反向传播优化架构参数，并通过限制连续激活路径或使用随机梯度更新降低内存开销和搜索时间。然而，这些方法通常只关注神经网络性能的一个方面，难以设计能够同时优化多个方面的神经网络。相比之下，进化算法模拟自然选择机制，通过种群迭代演化候选网络，适合多目标和离散设计挑战，更符合癫痫发作预测领域需求。目前，癫痫领域NAS研究有限。与其他研究领域NAS工作相比，本文构建整合CNN、Mamba和SNN的混合搜索空间，面向癫痫EEG预测任务定制。研究人员还在多目标进化算法中采用多目标加权评分函数，实现癫痫发作预测准确率与模型轻量化设计的联合优化。

具体而言，本文提出基于多目标进化算法的混合卷积、Mamba与脉冲神经网络架构搜索框架（CMS-NAS）用于癫痫发作预测。CMS-NAS搜索空间包含2个专为EEG信号提取设计的轻量基本模块。CMS-NAS通过研究人员自定义设计的编码方案生成个体编码以完成种群初始化，并自动将这些编码转换为相应具体网络进行训练。随后，它使用多目标加权评分函数同时评估模型预测准确率和规模。最后，通过模拟自然选择机制，使精英个体间进行交叉和变异操作，生成具有更多可能性的下一代种群个体。通过这种方式，模型预测准确率和规模持续优化。CMS-NAS旨在从涵盖CNN、Mamba和SNN的庞大搜索空间中，寻找癫痫发作预测网络架构的帕累托最优解集（Pareto optimal solution set）。本文主要贡献如下：研究人员提出基于多目标进化算法的端到端CMS-NAS框架，用于自动搜索癫痫发作预测任务的最优混合卷积、Mamba和SNN架构；为全面平衡预测准确率和资源效率，研究人员提出多目标进化算法，设计面向癫痫发作预测任务的独特搜索空间，并采用多目标加权评分策略，在搜索过程中同时考虑分类性能和模型参数量；在2个公共数据集和私有数据集上开展大量实验，实验结果表明所提算法在相同实验条件下取得有竞争力性能，验证其有效性。该研究发表于《Cyborg and Bionic Systems》，其意义在于为EEG癫痫监测的实际临床部署提供搜索效率、模型轻量化和实时推理之间的良好折衷。

关键技术方法概括：研究人员提出CMS-NAS，基于多目标进化算法自动搜索混合CNN、Mamba和SNN架构。搜索空间将CNN、Mamba、SNN封装为ConvSpike模块（深度可分离卷积+可学习泄漏积分点火LIF神经元）和MambaSpike模块（Mamba+LIF）。EEG经短时傅里叶变换（short-time Fourier transform, STFT）转为时频表示并按时间帧划分为时间步。个体编码包含时间步、深度、模块参数；种群通过交叉、变异和环境选择迭代。多目标加权评分函数归一化F1_loss与参数量，联合优化预测准确率和模型规模。使用CHB-MIT（18例患者）、AES（4只犬）和私有数据集（20例患者，来自中国科学技术大学附属第一医院，伦理批准No. 2025-RE-036）。

研究结果部分：

实验数据与预处理（Experimental data and preprocessing）：研究人员在儿童医院波士顿麻省理工学院头皮EEG数据库（CHB-MIT）、美国癫痫学会癫痫预测挑战数据集（AES）和私有数据集上评估模型性能。CHB-MIT采用18例患者连续头皮EEG，总时长340.2 h，共91次发作事件，10–20电极放置系统，采样率256 Hz。AES采用4只犬连续颅内EEG，总时长532 h，38次发作事件，采样率400 Hz。私有数据集由真实临床医院环境中癫痫患者连续EEG记录组成，由具有数十年神经外科经验的专业临床团队标注和维护；遵循10–20电极放置系统，采样率500 Hz，22通道经双极导联采集，包括20例8至60岁患者，每例监测时长8至60 h，总EEG记录时长超过700 h，每例患者至少经历3次癫痫发作事件，研究方案经中国科学技术大学附属第一医院伦理委员会审查批准（批准号2025-RE-036）。癫痫预测需区分EEG信号中的发作间期和发作前期；3个数据集存在显著类别不平衡，发作间期数据通常远多于发作前期数据。实验中采用滑动窗口法将EEG信号分割为5 s片段作为样本；为平衡训练中两类样本数量，对受试者发作前期数据应用重叠过采样技术，并在训练过程中采用焦点损失函数（focal loss），使模型训练关注难分类样本。

实现细节（Implementation details）：CMS-NAS搜索过程采用设定参数。搜索空间总规模通过全局超参数和模块级参数组合计数得出，达到1.74×10¹⁷数量级。种群迭代次数G为20，种群规模N为20，时间步为{2, 3, 4, 5, 6}，网络深度范围为[2, 10]，基本块通道为{64, 72, 84, 96, 128}，Mamba维度为{32, 64, 80}，ConvSpike模块卷积核大小为{1, 3, 5}，卷积步幅为{1, 2}，交叉概率P_c为0.9，变异概率P_m为0.7，学习率0.001，损失函数为焦点损失，优化器为AdamW，权重衰减0.0001，学习率调度器为余弦退火，训练轮数30，多目标评分函数归一化范围[0.5, 1]，准确率权重λ_acc为1，模型参数量权重λ_size为1。评估时，患者特异设置采用留一发作交叉验证；患者独立设置采用留一患者交叉验证，并取所有患者评价指标平均值作为最终实验结果。癫痫发作预测能力评估采用事件级指标，包括曲线下面积（area under the curve, AUC）、敏感度（sensitivity, Sn）、假阳性率（false-positive rate, FPR）和统计显著性指标P。实验采用k-of-n策略，即连续n次预测中至少k次为阳性才发出警报；本研究中至少30个EEG信号样本中20个预测为阳性定义为一个阳性事件。发作前期内预测到的阳性事件计为1次真阳性事件，发作间期内发生的阳性事件计为1次假阳性警报事件。Sn为成功预测的真阳性警报占发作事件总数比例；FPR严格表示发作间期EEG记录每小时假阳性警报事件数。所有实验中预测时域统一设为1 min，癫痫发生期设为0.5 h。受试者水平P值计算采用单尾泊松二项检验，以具有相同受试者特异FPR的泊松随机预测器为比较基线；每例受试者为独立报告单位，每次发作事件为试验单位，所有统计量基于留一发作交叉验证结果计算。若P<0.05，则拒绝零假设，认为模型优于泊松过程基线。

性能比较（Performance comparison）：研究人员在相同实验条件下与多种基线算法进行广泛比较，包括人工设计模型时空谱分层图卷积网络（spatio-temporal-spectral hierarchical graph convolutional network, STS-HGCN）、Vision Transformer（ViT）、混合视觉Transformer与数据不确定性学习（HViT-DUL）、长短期记忆-Transformer与自监督学习（SALT），以及自动搜索NAS模型PEP-NAS、LMSS-NAS、BNN-NAS和SL-NAS。

CHB-MIT数据集结果（Results on the CHB-MIT dataset）：在患者特异评估范式下，CMS-NAS取得有竞争力的整体性能，并优于所有比较基线方法。其AUC为0.930，比表现最好的人工设计模型HViT（0.922）高0.008，比最佳NAS基线PEP-NAS（0.893）高0.037；敏感度达88.5%，高于所有比较方法；FPR低至0.108。统计检验显示18例受试者中17例满足P<0.05。分析表明，人工设计网络依赖固定拓扑和人工先验知识，限制其适应患者间EEG特征变化的灵活性；ViT和STS-HGCN等模型受单一特征提取范式限制，无法同时捕获EEG信号局部时频细节和全局时间变化；所比较NAS方法多采用通用搜索空间，多数仅基于CNN优化，未针对癫痫EEG任务定制。CMS-NAS结合CNN、Mamba和SNN混合架构及面向EEG任务的专用搜索空间，能够自适应提取个体患者发作间期和发作前期的判别特征。在更具挑战的患者独立范式下，所有模型性能不同程度下降，而CMS-NAS仍保持领先，AUC为0.672，敏感度为60.7%，在这两个核心指标上优于所有人工设计模型和常规NAS模型。结果揭示固定网络架构和现有NAS通用搜索策略的固有局限在跨患者场景中进一步加剧；通过架构搜索，CMS-NAS实现3种网络优势互补：CNN捕获通用局部时频特征，Mamba建模长程时间依赖，SNN利用稀疏脉冲机制，最终为跨患者任务提供更强特征泛化能力。

AES数据集结果（Results on the AES dataset）：在患者特异场景中，CMS-NAS在所有指标上优于比较基线，AUC为0.878，敏感度为87.3%，FPR仅为0.107，4个实验样本均满足P<0.05。在患者独立跨受试者评估中，CMS-NAS取得所有方法中最高敏感度61.3%，AUC为0.617，仅略低于PEP-NAS（0.620），FPR也优于其他基线算法。总体而言，PEP-NAS凭借通用搜索架构在AUC上获得轻微优势，但在敏感度和FPR上劣于本方法。处理与人类头皮EEG在采集方案和数据分布上差异较大的犬颅内数据时，CMS-NAS仍保持优异性能，表明所提框架具有强跨数据适应性和显著更高鲁棒性。

私有数据集结果（Results on the private dataset）：在临床私有数据集患者特异场景中，CMS-NAS取得AUC 0.923、敏感度84.4%、FPR 0.138，在3个核心指标上超过所有人工设计模型和NAS基线。20例临床患者中19例通过P<0.05显著性检验。在患者独立跨患者临床泛化任务中，CMS-NAS在所有比较方法中取得最高指标，AUC为0.662，敏感度为51.6%，FPR为0.253。在接近真实临床场景的私有数据集上，CMS-NAS取得有利的跨患者泛化性能，并展现实际临床应用潜力。综合跨数据集比较可得出以下结论：人工定制网络依赖领域先验知识，在单患者预测中可获得不错性能，但受经验限制，无法有效提取通用跨患者特征；经典NAS方法消除人工设计偏差，泛化优于手工设计网络，但其架构搜索缺乏面向EEG分析的任务导向约束，限制细粒度单受试者识别上限；所提CMS-NAS整合领域先验信息和自动架构优化，在个体特异建模和跨患者泛化任务中均取得综合性能增益。

部署性能比较（Comparison of deployment performance）：为验证CMS-NAS轻量性和实时推理性能，研究人员从架构搜索成本、参数量、模型存储大小、乘累加操作（multiply-accumulate operations, MACs）和推理延迟5个方面比较人工设计和自动搜索NAS架构。所有实验在单张NVIDIA RTX 4090显卡上、相同实验配置下进行。人工设计方法无需架构搜索时间，但优化不平衡且结构冗余差异显著，STS-HGCN和SALT尤为突出；人工定制模型无法平衡模型大小和推理效率，妨碍边缘设备实际部署。传统自动NAS方法虽能自动优化网络架构，但通常搜索成本高且性能优化不平衡。相反，CMS-NAS构建面向癫痫发作预测的轻量高效搜索空间，采用多目标进化算法和多目标加权评分方案评估和优化网络架构，实现有利权衡。整个搜索过程仅需11 h，搜索效率较优；模型参数量0.034 M，存储大小0.131 MB，MACs低至0.293 M，为所有比较方法中最小，推理延迟仅1.308 ms，满足实时预测需求。这些结果充分验证CMS-NAS在癫痫发作预测中平衡预测准确率和模型大小的有效性。

消融实验（Ablation experiments）：多目标权重参数消融实验（Ablation experiments of multiobjective weight parameters）从固定初始种群出发，在评分函数中配置不同λ_acc和λ_size，记录进化迭代中种群所有个体平均F1_loss和模型大小。结果表明，权重较大的目标优先优化，并更快收敛至帕累托前沿；最终代种群帕累托分布显示，将λ_acc和λ_size均设为1可在2个优化目标间取得良好权衡，证明CMS-NAS同时提升准确率和降低参数量的整体有效性。基本模块选择频率统计分析（Statistical analysis on selection frequency of basic modules）显示，搜索过程中2个基本模块比例相对稳定，不同权重配置下略有差异；当λ_acc主导时算法偏好MambaSpike模块，而λ_size较大时偏好ConvSpike模块，表明2个模块在预测准确率和参数消耗方面优势互补。搜索空间消融实验（Ablation experiments for search space）在CNN、Mamba和SNN上进行单组件和双组件消融验证，采用固定初始种群，λ_acc和λ_size均设为1。结果表明，每个核心组件均通过单组件和双组件消融验证对整体模型性能有正向贡献；基于单组件移除的双模块组合实验中，缺少任一组件都会导致模型整体性能不同程度下降；仅保留1个模块的组别性能下降更明显，说明单一网络架构难以完全满足癫痫发作预测复杂需求。综合所有消融结果可得出明确结论：CNN、Mamba和SNN并非简单堆叠，而是形成功能互补、协同工作的有机整合。CNN致力于提取局部时频特征并实现轻量参数控制；Mamba擅长全局长程时间建模和跨群体泛化；SNN承担稀疏去噪和瞬态异常信号增强。这3个模块分别应对EEG信号的3大挑战，即非平稳、长期时间依赖和高噪声。上述结果充分验证本研究专门为癫痫发作预测设计的自定义混合搜索空间的合理性和适用性。

讨论部分总结：本研究面向基于EEG的癫痫发作预测任务，提出整合CNN、Mamba和SNN的混合架构搜索框架CMS-NAS。该框架以多目标进化算法为中心，实现网络结构自动迭代优化；通过自定义编码规则完成种群初始化，并采用精英保留、交叉和变异相结合的种群更新策略。该机制既继承优秀架构以保证性能稳步提升，又保持种群多样性以避免搜索过程陷入局部最优。消融实验验证各模块和优化策略有效性。搜索空间组件消融揭示移除任一核心模块会导致AUC和敏感度下降以及FPR升高，说明3类网络发挥不同且不可或缺的功能。不同权重组合会使算法偏向单一优化目标；当λ_acc和λ_size均设为1时，种群能够稳定收敛至帕累托最优前沿，在预测性能和模型轻量化设计之间取得有利权衡。基本模块选择频率进一步显示，优先准确率时算法偏好MambaSpike模块，轻量需求时更常选择ConvSpike模块，2个混合模块可根据实际需求动态组合，增强网络适应性。比较实验表明，所提方法在癫痫预测性能和部署性能方面均具有较大优势。在CHB-MIT、AES和私有临床数据集上的比较实验显示，CMS-NAS在患者特异个体化预测和更具挑战的患者独立跨群体泛化任务中，于AUC、敏感度和FPR等核心指标上优于人工设计模型和NAS基线。部署能力评估显示，CMS-NAS总搜索时间仅11 h，最终搜索模型仅0.034 M参数，存储大小0.131 MB，MACs为0.293 M，推理延迟1.308 ms，在本实验涉及的所有部署相关指标上优于所有比较方法，凸显所提框架在轻量部署方面的优势。此外，由于癫痫预测领域NAS相关研究目前较少，本文采用的所有比较NAS方法均为从其他研究领域迁移的近期代表性工作。尽管所提方法在预测准确率、模块有效性和部署效率方面取得满意性能，并解决传统NAS模型参数过多和计算复杂度高等核心缺点，以及消除人工设计网络对专家经验的依赖，但本研究仍存在若干局限。目前方法面向固定数据集和特定任务设计，且仅采用单模态EEG信号。高质量NAS系统有望支持多模态癫痫预测。因此，未来工作将探索将多模态癫痫预测整合到NAS框架中，并使搜索网络适应多样任务，以进一步验证所提框架的普适性和实用性。

研究结论部分翻译：本文提出一种基于多目标进化算法的端到端DL框架CMS-NAS，用于癫痫发作预测。所提CMS-NAS在3个实验数据集上同时优化预测准确率和参数量。在所有3个数据集上，于相同实验设置下与多种基线方法进行了充分比较实验。CMS-NAS在患者特异和患者独立评估协议中均取得有竞争力性能，自动搜索得到的网络架构在实际应用中带来更低部署成本。此外，研究人员开展全面消融研究，验证CMS-NAS中各组成部分的有效性。总之，所提方法弥补手工网络结构冗余显著、传统NAS算法搜索成本昂贵和计算开销繁重等突出缺点，在搜索效率、模型轻量化特性和实时推理之间取得有利折衷，使CMS-NAS更适合基于EEG癫痫监测的实际临床部署。