基于拉普拉斯边缘引导网络（LEM-UNet）的局灶性皮质发育不良多模态三维图像分割方法及其在难治性癫痫中的应用研究

本刊推荐：本文提出一种基于拉普拉斯金字塔的边缘引导网络LEM-UNet，创新性地融合拉普拉斯边缘注意力（LEA）模块与多策略特征融合（MFF）模块，显著提升局灶性皮质发育不良（FCD）病灶分割精度。通过双中心数据集验证表明，该模型在开放数据集和私有数据集上的Dice系数分别达到0.452和0.597，较基线模型提升2.40%和2.90%，为难治性癫痫（DRE）的术前精准定位提供了重要技术支撑。

　　

¹引言

癫痫作为一种常见的慢性神经系统疾病，其特征是大脑神经元的突发性异常放电。虽然多数患者可通过药物控制发作，但约三分之一患者会发展为药物难治性癫痫（DRE）。长期癫痫发作可导致脑损伤、生活质量下降甚至早逝等严重后果。局灶性皮质发育不良（Focal Cortical Dysplasia, FCD）作为皮质发育畸形的一种，是DRE最常见病因。临床上，手术切除FCD病灶是治疗DRE患者的有效方法，约70%患者术后发作得到缓解，而完全切除病灶与良好预后密切相关。

在临床诊断中，医生通过分析神经影像学结果识别FCD病灶。磁共振成像（Magnetic Resonance Imaging, MRI）能够提供人体内部结构的详细图像，FCD在MRI上的特征性表现包括皮质增厚、灰白质交界区模糊、穿膜征、异常皮质折叠模式以及FLAIR/T2加权像上的信号强度增高。正电子发射断层扫描（Positron Emission Tomography, PET）作为核医学成像技术，可观察人体内生物过程和功能活动。在发作间期，使用氟代脱氧葡萄糖的PET图像显示与癫痫发生区域相关的灰质组织区域代谢减低。然而，FCD病灶的识别在临床实践中仍面临巨大挑战：首先，病灶往往细微、形态多样且边界模糊，难以通过常规视觉检查发现；其次，高分辨率三维影像数据集的分析耗时且需要专业知识，在某些情况下具有主观性。因此，迫切需要精确高效的计算技术来辅助FCD病灶定位。

早期FCD病灶检测任务主要集中于皮质形态特征的提取，主要方法包括基于体素的形态测量（voxel-based morphometry）和基于表面的形态测量（surface-based morphometry）。提取的大量皮质形态特征随后输入机器学习模型以区分正常与病理组织，但这些方法存在明显局限：特征计算复杂且极其耗时，某些基本特征不足以准确区分FCD病灶。

当前，基于深度学习的模型在各种医学影像任务中取得了显著成功，极大地推动了疾病检测和诊断的进展。卷积神经网络（Convolutional Neural Networks, CNNs）是检测FCD病灶最广泛使用的模型，大量工作基于此开展。改进的模型设计带来了检测性能的提升：有研究使用从3D FLAIR加权序列图像衍生的2D切片训练U-Net；另有研究提出3D Res-UNet模型，利用3D MRI数据的层间信息实现优异的分割性能；还有研究引入多分辨率注意力UNet（Multi-Res-Attention UNet）以解决编码器和解码器层之间长程连接导致的显著语义差距问题，从而获得更高的FCD检测率。nnU-Net框架被提出作为多种医学图像分割任务的自适应解决方案。有团队开发了基于图的nnU-Net，使用基于表面的皮质数据分割FCD病灶，其特异性较基线方法提高22%–27%。另有研究采用3D全分辨率nnU-Net进行自动病灶分割，在FCD病灶检测中表现出色，灵敏度达0.73。还有工作将多尺度Transformer集成到基于CNN的编码解码结构中，克服了CNN模型局部感受野的限制，成功识别了82.4%患者的病灶。

尽管上述方法对FCD病灶检测做出了重要贡献，但基于手动提取皮质形态特征结合机器学习的传统方法存在若干局限：特征提取计算复杂且耗时；基本特征不足以充分捕捉病灶特征。基于Transformer的模型虽然强大，但需要大量计算资源，且难以在小数据集上训练。基于CNN的模型因其优异的局部感知能力在病灶分割领域展现出巨大潜力，但在应用于FCD病灶分割任务时仍存在局限。FCD病灶边界模糊，使得网络难以准确捕捉和识别边缘及细微病灶。将边缘检测方法集成到卷积模型中为解决这些挑战开辟了新途径。在其他医学图像分割任务中，结合边缘检测方法的模型已展现出卓越性能，然而在FCD病灶分割任务中相关研究仍然匮乏。

为应对这些临床需求和现有算法的不足，本研究提出一种边缘信息引导的FCD病灶分割模型。基于MedNeXt网络架构，本文的主要贡献包括：提出拉普拉斯边缘注意力模块（Laplacian Edge Attention, LEA），从T1模态提取边缘特征并与注意力机制结合，实现从全局边缘到FCD病灶边缘的空间定位；提出多策略特征融合模块（Multi-strategy Feature Fusion, MFF），有效结合高频边缘信息与网络解码信息。

²材料与方法

^2.1材料

本研究网络在两个独立数据集上评估：由波恩大学医院癫痫病学系提供的开放数据集（Open Dataset）和专有数据集（Private Dataset）。开放数据集包含85名FCD II型患者和85名对照者，每位患者数据包括术前T1、术前FLAIR和病灶真实标注（由两名神经学家在FLAIR图像上标注）。因7名患者接受了厚层FLAIR序列扫描，这些数据被排除，最终纳入78例3D病例。专有数据集包含125名患者，其中41.6%经病理诊断为FCD IIB，24.8%为FCD IIA，18.4%为其他类型皮质发育畸形，其余小部分归因于其他病因。每位患者包含术前3T T1、FLAIR、FDG-PET图像和病灶真实标注（由医生在T1图像上标注）。本研究获北京大学第一医院伦理委员会批准，所有参与者签署书面知情同意书允许将其数据用于研究目的。

^2.2方法

^2.2.1模型架构

在详细阐述方法前，首先简要概述MedNeXt网络。MedNeXt通过引入多个专用模块增强nnU-Net框架：MedNeXt Block、MedNeXt 2×down Block、MedNeXt 2×up Block、Stem Block以及Output/Deep Supervision Block。本研究采用MedNeXt网络，遵循原论文所述的架构组件。

提出的网络架构包含编码器-解码器模型、拉普拉斯边缘注意力模块和多策略特征融合模块。编码器-解码器模型源自MedNeXt，支持深度、宽度和感受野的复合缩放，以有效从多模态图像中提取上下文和高层特征。拉普拉斯边缘注意力模块将拉普拉斯金字塔特征与编码网络特征结合以增强边缘表示，引导网络关注病灶边缘。多策略特征融合模块将边缘特征与解码网络特征结合，在不同解码层采用多样化融合策略以保留浅层特征的边缘信息。

^2.2.1.1拉普拉斯边缘注意力模块

FCD病灶分割的挑战主要源于其模糊的边界。LEA模块通过增强边缘信息解决这一问题，使网络更好地关注病灶边缘从而提升分割性能。由于边缘特征本质上是浅层的，LEA模块应用于编码过程的第一和第二层以有效捕捉病灶边缘的纹理细节。

每个LEA模块接收三个输入：来自主网络分支的编码特征f_eⁱ、来自T1分支的编码特征f_e-T1ⁱ以及来自拉普拉斯金字塔的高频特征f_lⁱ。这些特征经LEA模块处理后生成输出特征图f_edgeⁱ，随后输入后续网络进行特征融合处理。

输入特征包括：主网络分支提取的编码特征，使用MedNeXt块处理多模态数据后提取的特征图表示为f_eⁱ∈R^{C_i×D_i×H_i×W_i}。为获得丰富的浅层特征，使用经过MedNeXt处理后的第一和第二层特征图，即f_e¹∈R^C×D×H×W和f_e²∈R^{2C×D/2×H/2×W/2}。T1加权MRI包含丰富的组织纹理和结构信息，单独提取其特征仍使用MedNeXt网络块，获得特征f_e-T1¹∈R^C×D×H×W和f_e-T1²∈R^{2C×D/2×H/2×W/2}。拉普拉斯金字塔是一种基于高斯金字塔的多分辨率图像表示方法，能够捕捉不同尺度图像的边缘和细节信息。本研究选择这一经典边缘检测技术以突出图像的高频边缘特征和细节特征。在LEA模块中，使用T1加权MRI作为输入构建拉普拉斯金字塔，因T1加权MRI提供丰富的纹理信息和清晰的解剖结构。

在第i层，LEA模块接收上述三个输入。首先，f_eⁱ和f_e-T1ⁱ分别通过卷积块注意力模块（Convolutional Block Attention Module, CBAM）。CBAM主要由两个组件组成：通道注意力和空间注意力，分别用于强调有用的通道特征和重要的空间位置。随后调整特征图权重以增强显著特征的表示，获得f_mapⁱ。高频特征f_lⁱ对应于原始图像的整体边缘信息和纹理特征。为获得与FCD病灶相关的边缘信息和详细特征，融合f_lⁱ和f_mapⁱ，进一步筛选特征以确保FCD病灶边缘得到突出，最终获得边缘注意力特征f_edgeⁱ。

通过LEA模块，获得第一和第二层的边缘注意力特征，分别表示为f_edge¹∈R^C×D×H×W和f_edge²∈R^{2C×D/2×H/2×W/2}。这些特征随后输入特征融合模块，与主干网络结合以实现更好的分割性能。

^2.2.1.2多策略特征融合模块

多策略特征融合模块接收两个输入：上采样特征f_dⁱ和来自LEA模块的边缘特征f_edgeⁱ，在不同解码层采用不同的融合策略以最大化利用从LEA模块获得的损伤边缘信息。定义MFF模块的输出特征为f_mffⁱ。

在MFF(1)中，输入处理包括通过高频信息进一步抑制LEA模块输出中的噪声。在MFF(2)中，输入处理采用不同的策略。由于编码特征在浅层包含丰富的纹理信息，随着网络加深，越来越关注复杂的高层特征和抽象表示。类似地，在拉普拉斯金字塔中，随着采样迭代次数的增加，特征图中的细节信息逐渐丢失。

因此在特征融合阶段，边缘信息丰富的特征f_edge¹经过2×下采样并馈送到后续层进行进一步处理。此操作的目的是充分利用网络浅层的边缘信息并最小化信息损失。最后，融合特征f_mffⁱ添加到f_dⁱ中进行解码。

^2.2.2损失函数

在训练阶段采用Dice损失L_Dice和交叉熵损失L_CE的组合。定义总损失为各层损失的加权和，其中使用深度监督，权重根据解码层进行调整。

^2.2.3评估指标

为定量比较方法性能，采用五个评估指标：Dice系数（Dice Coefficient, DC）用于衡量预测分割与真实标注之间的重叠程度；精度（Precision, Pre）表示模型预测为正样本中实际为正样本的比例；召回率（Recall, Rec）表示实际正样本中被模型正确预测为正样本的比例；交并比（Intersection over Union, IoU）用于衡量分割结果与真实标注之间的重叠程度；豪斯多夫距离（Hausdorff Distance, HD）测量两组点集之间的相似性或差异，特别是两个形状之间的边缘差异，其中HD₉₅使用95%分位数更具鲁棒性。

^2.2.4对比模型

研究包含多种对比模型：UNETR++、CoTr、nnFormer、Res-Unet和nnUNet。UNETR++、nnFormer和CoTr代表了CNN和Transformer的成功集成，这些混合框架利用Transformer强大的长序列建模能力来弥补CNN有限感受野和弱长程依赖的不足。Res-Unet和nnUNet均是基于CNN的架构，Res-Unet在编码器-解码器中引入残差连接，有效缓解梯度消失问题，适用于小样本医学图像分割；nnUNet是自动化医学图像分割框架，在多个医学分割挑战中表现出色并展现出强泛化性能。通过包含纯CNN模型和混合模型，能够更好地展示所提出方法在结果中的优势。

³结果

^3.1实施细节

方法基于Python 3.9.12和Pytorch 2.1.1实现。实验基于MedNeXt框架部署，使用五折交叉验证和MedNeXt内置的数据预处理操作对数据进行格式转换、裁剪、重采样和标准化，得到尺寸为128×128×128、体素大小为1mm×1mm×1mm的数据。模型训练批次大小为2，初始学习率为10^-3，最大训练轮数为100。框架大小配置为M，核大小为3，λ为0.5，优化器为AdamW。

所有对比模型的训练批次大小、块大小和最大训练轮数与MedNeXt相同。初始学习率为10^-2，优化器为SGD。

^3.2开放和专有数据集结果

首先使用五个指标评估各种模型的预测结果，分别展示总体和亚型结果。其次比较不同模型在个体检测率和切片（轴向、矢状和冠状）检测率方面的预测结果，以全面分析结果。最后单独展示并讨论专有数据集中的16例阴性病例。

开放数据集结果显示，与MedNeXt_M3相比，本文方法将DC指标提高了2.40%。LEM-UNet也比使用更多卷积层的MedNeXt_L3的DC分数提高了2.00%。与其他基于CNN的模型相比，LEM-UNet在这五个指标上均显示出显著改进。在基于Transformer的模型中，本文模型展现出显著优势，DC指标比性能相对较高的CoTr模型提高了5.80%。结果表明nnFormer和UNETR++在此数据集中表现较差，难以捕捉FCD病灶的细节和特征边缘。在识别正类样本的能力方面，本文模型表现出色，集成LEA模块后捕捉FCD病灶细节的能力显著提升。

专有数据集结果显示，所有网络相比开放数据集均获得更高的DC分数。一个原因是该数据集中每个病例包含三种模态的原始数据（T1、FLAIR和FDG-PET），为基础网络提供了充足丰富的信息。尽管如此，本文网络仍表现出令人称赞的性能，DC指标较MedNeXt_M3提高了2.90%。在识别正类样本的能力方面，本文网络相比其他网络更为突出，Rec较MedNeXt_M3提高了2.90%。其次，与基于Transformer的网络相比，LEM-UNet仍展现出显著优势，特别是在预测精度方面，表明本文网络更能够关注病灶的细微细节。

分类结果显示，在LEM-UNet中，根据组织病理学和无发作状态的分割性能存在差异。在专有数据集中，13例FCD I型患者的DC分数达到0.655，而23例其他MCD患者的DC分数为0.620。

检测结果显示，LEM-UNet仍表现出优越性能。FCD病灶检测的一个主要挑战是出现与真实标注无任何重叠的假阳性簇。统计结果显示，本文方法在识别真阳性簇方面表现出色，在开放数据集上实现了最少的假阳性簇。相比之下，nnFormer在两个数据集上预测了相对较多的假阳性簇。

MRI阴性结果显示，大多数模型在这些难以识别的MRI阴性患者上出现不同程度的性能下降。例如，nnUNet的DC分数下降了6.00%，Res-Unet的DC分数下降了2.00%。然而混合Transformer架构模型相对稳定。本文方法仅表现出轻微的性能下降，并完全识别了所有16例MRI阴性患者。

^3.3可视化比较与讨论

两个数据集的可视化结果显示了不同模型的预测效果。基于Transformer的模型在此任务中捕捉正样本的能力显著低于基于CNN的模型，难以正确识别边界模糊和特征细微的FCD病灶，甚至导致漏检。通过比较所有可视化结果，LEM-UNet在捕捉病灶细节方面表现出优越性能。此外，本文网络通过增强对边缘信息的关注，对病灶边缘更加敏感，增加了真阳性识别的数量同时减少了假阳性的可能性。

热图进一步说明了网络处理特征时的关注点。在LEA模块中，网络对病灶边缘有更强的关注，颜色梯度从蓝色到红色表示强度从低到高。

^3.4消融研究

本部分通过进行一系列消融研究来强调每个提出模块的重要性。首先对可学习参数λ的初始化值进行了简要讨论，实验在专有数据集上进行。结果表明当λ=0.5时，模型表现出优越的综合性能，Pre和DC分数均高于λ=0.3或λ=0.7的情况。

接下来部署消融研究。在LEM-UNet框架中，LEA和MFF模块至关重要。鉴于MFF模块的输入之一是LEA模块的输出，本文评估了当顺序移除MFF和LEA模块时的分割结果，以验证每个模块的性能。这些评估在MedNeXt_M3基线上进行，参数设置为λ=0.5，使用专有数据集。

在LEM-UNet中，边缘注意力模块的加入提升了模型能力但也引入了额外的资源开销。本文全面比较了LEM-UNet与其他模型的参数数量和计算复杂度。与基线模型MedNeXt_M3相比，LEM-UNet展现出更高的计算复杂度但实现了更优的分割性能。本文方法在计算资源利用和性能增强之间取得了更好的平衡。

⁴讨论

FCD病灶分割极具复杂性，其特征在不同成像模态间变化且常以边界模糊为特点，对分割任务构成重大挑战。FCD病灶切除手术的成功很大程度上取决于切除区域的精确性。因此，本文提出将边缘增强方法集成到卷积网络中，旨在通过增强病灶的高频边缘信息来提升分割性能，从而为FCD病灶的临床诊断提供可靠参考。

从实验结果来看，LEM-UNet展现出优越性能，在多个关键指标上超越对比模型。此外，本文方法在个体和切片检测率方面表现出显著优势，在专有数据集上分别达到99.20%和81.22%（DC>0.0）。基于特征图可视化，LEA模块展示了捕捉病灶高频边缘信息的能力，尽管这些边缘线索并不完全封闭。根据消融研究，拉普拉斯金字塔与CBAM的集成有效增强了网络对FCD病灶高频边缘信息的关注，这是提升LEM-UNet分割性能的关键因素之一。

基于深度学习的方法在FCD病灶分割任务中已展现出 promising 性能，但与其他任务（如脑肿瘤分割和息肉分割）的优秀分割结果相比，仍存在分割不足，这可能与FCD病灶的复杂性密切相关。先前的方法主要关注特征融合和增强，有助于解决语义差距、空间信息丢失和有限感受野等分割挑战，但往往忽略了对分割任务特别有意义的边缘特征。为此，本文引入拉普拉斯金字塔处理病灶边缘，利用FCD病灶的特征降低分割结果中的假阳性率。通过结合针对FCD病灶特征的边缘分析，LEM-UNet在关注深层抽象特征的同时最大化捕捉病灶边缘的形态特征，这是本文方法相对于现有算法的关键优势。

尽管如此，提出的方法仍存在深度学习框架的固有局限，如对训练数据标注准确性的依赖。此外，小数据集规模限制了模型的泛化能力和鲁棒性。研究在两个数据集上进行了五折交叉验证并进行了一系列优化实验，但由于FCD数据有限，未使用另一中心的扫描数据作为独立测试集来测试模型性能，这是另一个局限。未来工作将整合多中心数据以全面增强模型的泛化能力。

⁵结论

本研究介绍了LEM-UNet，一种用于多模态医学图像中3D FCD病灶分割的先进框架，通过创新的LEA和MFF模块得到加强。设计了LEA模块，使用3D拉普拉斯金字塔捕捉图像中的浅层边缘信息，结合CBAM实现从全局信息到局部病灶信息的精确定位，进一步引导网络关注病灶边缘和细节信息。此外设计了MFF模块，将高频边缘特征与高级预测特征结合，克服特征图之间的语义差异同时进一步消除冗余信息。将这些设计的模块部署在MedNeXt_M3框架中，通过五个指标评估的结果表明本文方法提供了有竞争力的性能，整体指标优于其他SOTA方法。这强调了本文提出的框架在医学图像分割领域的有效性。