SPiKe-Med：一种用于高能效脑肿瘤MRI分割的混合脉冲神经网络-卷积神经网络-Transformer框架

《Frontiers in Artificial Intelligence》：SPiKe-Med: a hybrid spiking-CNN-transformer framework for energy-efficient brain tumor MRI segmentation

　　

早期疾病检测对改善治疗和治愈至关重要。为此，研究人员已开发并测试多种人工智能（AI）辅助医学图像处理研究。传统深度学习（DL）模型虽可辅助疾病检测，但计算复杂度和高能耗限制了性能。研究人员提出SPiKe-Med，一种高效、准确且受神经形态计算启发的方案，将脉冲神经网络（SNN）引入先进的卷积神经网络（CNN）与Transformer骨干网络。阶段1采用标准化预处理：N4偏置场校正、各向同性重采样、z分数强度归一化以及模态特定增强。阶段2提出SUT-Net，一种基于Swin U-Net的Transformer网络，由基准Swin Transformer和UNETR配置而成，用于长程上下文建模。阶段3将多尺度特征图通过可学习编码器（时间编码）转为脉冲序列，再送入由泄漏积分发放（LIF）神经元构成的脉冲精炼网络，使用SpikingJelly进行可重配置训练。阶段4采用双轨调度：对SNN组件进行端到端替代梯度优化，并将预训练CNN编码器权重选择性ANN-to-SNN移植以实现超低延迟推理。损失函数结合Dice、focal与时序一致性项，并通过温度缩放优化。SPiKe-Med在MRI和CT等多基准数据集上以Dice、Hausdorff距离、脉冲率及单次推理估计能耗进行评估。

《Frontiers in Artificial Intelligence》刊发的该文面向脑肿瘤MRI分割中高精度与低能耗难以兼得的问题展开研究。医学影像在早期检出、诊断与监测中十分关键，脑肿瘤因异质性强、形态复杂且进展快，及时分割直接影响预后。MRI可提供高分辨软组织信息，但人工勾画劳动密集；传统卷积神经网络（CNN，Convolutional Neural Network）与注意力网络虽准，却计算重、能耗高，难以部署于实时或资源受限临床环境；轻量与神经形态方案虽省电，但常牺牲长程建模与精度。为此，研究人员提出SPiKe-Med，把CNN、Swin Transformer与脉冲神经网络（SNN，Spiking Neural Network）融合，用时间脉冲编码和LIF神经元做神经形态精炼，以兼顾临床可靠性、低延迟与高能效。

关键技术方法上，研究人员使用BraTS20训练与验证集（369例，含T1、T1ce、T2、FLAIR及专家标注）和脑肿瘤CT二分类集（3264张图，1641肿瘤/1623正常）作队列来源；流程含N4偏置场校正、各向同性重采样、z分数归一化、模态特定增强，构建SUT-Net（Swin Transformer编码+UNETR式解码），再将多尺度特征经时间编码转脉冲序列，由LIF神经元精炼，并以Dice+focal+时序一致性损失经温度缩放优化，采用端到端替代梯度与ANN-to-SNN移植双轨训练。

3 Proposed methodology

研究人员给出多阶段流水线：先预处理消扫描伪影与强度变异，再由CNN提层次空间特征，SUT-Net学全局上下文，脉冲时间编码把连续激活变时序脉冲，LIF神经元做神经形态精炼，注意力残差精炼提质边界，复合损失优化，最终出肿瘤掩膜并做效率度量。

3.1 Dataset description

借BraTS20多模态MRI与CT二分类集得出：患者级划分防泄露，CT因无患者标识而图像级谨慎拆分并去重，保证评估可靠。

3.2 Preprocessing

3.2.1 N4 bias-field correction

用I_obs(v)=I_true(v)·B(v)与I_corrected(v)=I_obs(v)/B^(v)说明偏置场模型，结论是校正使同质组织强度一致、提升组织间对比，利于后续边界勾画。

3.2.2 Isotropic resampling

以I_resampled(i,j,k)=Σ_u,v,w I_corrected(u,v,w)·?_i(i-u,j-v,k-w)重采样，结论为统一体素间距、消除各向异性带来的空间失真。

3.2.3 Z-score normalization

按I_norm(x)=(I_resampled(x)-μ)/σ标准化，结论为稳定网络输入、加速收敛。

3.2.4 Modality-specific augmentations

I_aug=A(I_norm)，旋转、翻转、高斯噪声增强，结论为提升对摆位、对称性与扫描器噪声的鲁棒性、降过拟合。

3.3 Proposed SUT-Net

输入X∈R^H×W×D×C，分块X_p=Patch(X;P)∈R^N×P3C，嵌入Z₀=X_pE+E_pos；经层归一LN、多头自注意力MSA、残差U^(l)=Z^(l)+MSA(Z?^(l))、窗口/移位窗口注意力SW-Attn与patch合并做多尺度编码，解码端用UNETR式上采样与跳跃连接重建高分分割。结论为SUT-Net兼顾局部结构与长程依赖，适合异质肿瘤建模。

讨论与结论部分：研究人员指出，现有自动脑肿瘤分割虽进步明显，但计算与能耗瓶颈、不规则/低对比肿瘤边界不准、临床实时部署难仍是主要矛盾；SPiKe-Med的意义在于用CNN+Transformer提特征、SNN做脉冲驱动精炼，在保持分割质量的同时压低脉冲活动与推理能耗。结论可译为：SPiKe-Med通过将卷积神经网络、Swin Transformer与脉冲神经网络整合，并借助时间脉冲编码、LIF神经元、替代梯度训练及ANN-to-SNN移植，在脑肿瘤MRI/CT分割中同时获得较高Dice表现、较低Hausdorff距离、更少脉冲率与更低单次推理能耗；该混合框架弥合了高性能深度学习与低功耗神经形态计算之间的差距，为资源受限临床环境下的实时医学影像分割提供了可扩展方案。