HETLesion:一种用于CT图像中肝脏病变分割的层次化扩展Transformer框架,并结合了XAI(解释性人工智能)技术

《Neurocomputing》:HETLesion: A Hierarchical Extended Transformer Framework for Liver Lesion Segmentation in CT Images with XAI

【字体: 大 中 小 】 时间:2026年04月08日 来源:Neurocomputing 6.5

编辑推荐:

  精准的肝脏病变分割对临床治疗策略至关重要,但传统方法面临病灶多样性、背景复杂性和边界模糊等挑战。本文提出HETLesion模型,融合CNN与Transformer架构,通过EVTran模块实现跨尺度特征交互,结合自适应加权中值滤波(AWMF)和对比受限自适应直方图均衡化(CLAHE)预处理技术,显著提升小病灶和低对比度边界的分割精度。实验在肝脏肿瘤和深层病变数据集上验证,Dice系数分别达到98.4%和98.83%,在模型复杂度与性能间取得平衡。

  
G.V. Pradeep Kumar | V. Sireesha | T.V.V. Satyanarayana | M. Naresh | Alagar Karthick | Vinayagam Mohanavel | E. Parimalasundar
印度海得拉巴Chaitanya Bharathi理工学院电子与通信工程系,500075

摘要

准确的病变分割对于临床医生确定治疗策略来说是一个挑战。基于深度学习(DL)的计算机断层扫描(CT)图像自动分割技术提高了计算机辅助诊断(CAD)中的分割精度和效率。然而,分割任务面临着病变多样性的挑战,包括复杂的背景、模糊的边界以及位置、形状、大小和密度的变化。这些因素影响了准确区分病变与周围区域的能力,导致分割不准确。为了实现稳健的分割,开发了一种新的分层扩展Transformer用于肝脏病变检测(HETLesion),该模型整合了卷积神经网络(CNNs)、多尺度通道注意力和Transformer。本研究通过EVTran模块引入了一种增强的跨尺度特征交互机制,旨在改善病变表示。首先,使用自适应加权中值滤波(AWMF)去噪和对比度受限自适应直方图均衡化(CLAHE)技术对图像进行预处理。然后,应用分层扩展视觉Transformer(HEVTran)来准确分割肝脏病变区域。所提出的方法使用扩展视觉Transformer(EVTran)进行特征提取和融合,提取多尺度、长距离和空间特征以获得更好的表示。最后,使用可解释人工智能(XAI)来可视化特征,从而提高模型的可解释性。实验结果表明,该模型在肝脏肿瘤数据集和深度病变数据集上的Dice分数分别为98.4%和98.83%。这种方法在分割性能和模型复杂性之间取得了更好的平衡。

引言

根据世界卫生组织(WHO)的数据,肝癌是导致死亡的主要原因之一。为了有效诊断或治疗,需要准确且稳健的肿瘤分割方法[1],[2]。近年来,CT图像已被用作癌症诊断、治疗评估和手术规划的成像工具[3],[4]。使用公开可获取的数据集进行病变分割时,会遇到肿瘤形状、位置、数量、体积、强度、病变对比度和视觉外观等方面的困难[5],[6],[7]。在图像处理中,图像被分割成多个部分后,根据像素的接近程度对其进行分组[8]。基于区域标准,开发了概率性和确定性方法来进行准确的分割和分析[9]。此外,还有基于学习的方法,如聚类、主动轮廓、水平集、基于可变形模型的图割以及Sigmoid边缘建模[10],[11],[12]。在计算机视觉和图像处理领域,自动分割方法(如深度学习(DL)是正在进行的研究的基础[13]。DL的主要组成部分之一是堆叠自编码器,另一个是深度信念网络和CNN[14]。CNN方法的局限性在于缺乏灵活性和长距离依赖性。
同时,基于Transformer的方法依赖于自注意力来为图像提供上下文表示。在医学图像分割中,自注意力的概念非常重要,因此引入了视觉Transformer。视觉Transformer在图像处理任务中取得了比CNN更好的性能,这得益于长距离信息和动态特征编码之间的交互。类似的,基于Transformer的U-Net(TransUNet)、结合U-Net的Swin Transformer(Swin-UNet)和基于神经网络的Transformer(nnFormer)是各种用于图像分割任务的Transformer技术[15]。然而,这些方法仅限于空间信息和局部特征学习。这个问题可以通过位置编码来解决,位置编码通过插值来调整分辨率,但这会影响性能。此外,Transformer架构基于大规模数据集,具有二次复杂度[16]。Transformer无法考虑不同尺度和形状的病变的多尺度通道依赖性。因此,需要一种混合结构来整合Transformer和CNN。
基于这些讨论,CNN利用卷积核和强归纳偏见保留了空间特征信息,这对于二维图像的数据效率非常重要。通过动态关注长距离依赖性,Transformer可以实现对大尺度病变的分割。考虑到Transformer和CNN的重要性,整合了特征编码策略以解决二次计算复杂性问题。对于高分辨率特征图,复杂度基于大规模数据集[17]。然而,在有限的医学图像中,混合结构仍然存在问题。由于混合结构的性能无法保证,大多数现有方法依赖于注意力层中的单个标记粒度。这些方法无法捕捉不同尺度的特征。此外,Transformer的通道关系对于使用通道注意力进行特征学习至关重要[18]。多尺度特征在计算机视觉中得到广泛应用,因为它们具有高效的特征表示。此外,由于数据标签的限制,混合Transformer和CNN与多尺度特征并未完全专注于现有的病变分割任务[19],[20]。因此,整合Transformer、多尺度通道注意力和CNN对于病变分割任务的重要性显而易见[19],[20]。这鼓励人们创建新的策略来克服上述限制并提高计算效率。
最近在医学图像分割方面的进展越来越多地采用了混合CNN-Transformer架构,如TransUNet、Swin UNet和nnFormer。这些模型结合了CNN的局部特征提取能力和Transformer的全局上下文建模能力。这些模型在各种医学成像任务中表现出强大的性能。然而,尽管有这些进展,大多数现有方法主要采用卷积和Transformer组件之间的顺序集成或阶段级融合。这样的设计可能会限制特征提取的有效性,特别是在涉及小病变、低对比度边界和异质纹理的情景中,此时局部和全局表示之间的连续交互至关重要。在此背景下,本研究重点改进混合架构内的特征交互机制,而不是提出全新的架构范式。具体来说,所提出的方法增强了跨多个尺度更准确病变分割的空间和上下文特征的整合方式。所提出方法的贡献如下:
  • •
    本研究引入了EVTran模块,实现了卷积和Transformer特征在块内的集成,允许局部空间和全局上下文表示之间的连续交互。
  • •
    采用分层处理策略,逐步细化多尺度上的特征表示,提高了对不同大小和复杂性的病变的分割性能。
  • •
    所提出的模型包含了一个可学习的融合机制,动态平衡了空间和上下文特征的贡献,从而在具有挑战性的成像条件下提高了鲁棒性。
  • •
    实验结果表明,与现有混合模型相比,所提出的框架在捕捉细边界细节和小病变区域方面取得了更高的准确性。
  • •
    本研究在特征集成方面提供了有针对性的改进,解决了现有混合CNN-Transformer设计中的局限性。
  • 以下是论文的结构。第2节讨论相关工作,第3节展示实验分析和讨论,第4节介绍所提出的方法,第5节提供结论。

    相关研究

    相关工作

    Georg Hillea等人[21]专注于从磁共振成像(MRI)中准确分割病变的问题。他们提出了混合网络SWTR-Unet,该网络包含Unet风格的解码器路径、Transformer块和预训练的ResNet。该网络被应用于MRI和公共CT图像,以验证其他模态的适用性。进一步的研究通过相关性分析评估了分割精度的影响。Dice相似性得分平均提高了

    提出的方法

    肝脏病变分割在医学领域用于检测肿瘤和其他医疗状况。所提出方法的总体架构和图形摘要分别如图1和图2所示。首先对输入图像进行预处理,然后使用基于DL的方法进行分割。预处理方法包括图像去噪[30]、图像增强和数据增强,应用于原始图像。图像去噪可以

    实验评估

    使用Python开发了所提出的分割方法,然后使用常见的性能指标(如召回率、特异性、准确性、Dice相似系数(DSC)和假阳性率(FPR)对其进行测试。此外,还将所提出方法的效率与当前的分割技术进行了对比。

    结论

    本文开发了一种高效的HETLesion方法用于肝脏病变分割。对输入图像进行预处理以解决CT图像中的变化。然后,对训练样本进行增强以提取更多潜在特征。最后应用所提出的方法,捕获长距离依赖性并提取更具区分性的特征信息。本研究提出了一个改进的混合CNN-Transformer框架,重点在于增强

    伦理批准

    不适用

    资金信息

    本手稿的准备工作未获得任何组织的资助。

    作者贡献声明

    Vinayagam Mohanavel:方法论、研究、资金获取、正式分析、数据管理。E. Parimalasundar:方法论、研究、资金获取、正式分析。Kumar G. V. Pradeep:资金获取、正式分析、数据管理、概念化。V. Sireesha:资源、项目管理、方法论、研究、资金获取、正式分析、数据管理、概念化。Satyanarayana T. V. V.:项目管理、方法论

    利益冲突声明

    作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

    致谢

    不适用

    参与同意

    不适用

    出版同意

    不适用
    Alagar Karthick博士在印度泰米尔纳德邦金奈的Saveetha技术和医学科学学院的电气与电子工程系担任副教授。他发表了160多篇国际期刊论文,并担任《Solar Energy》、《Fuel》、《Journal of Cleaner Production》、《Heliyon》、《Building Services Engineering Research and Technology》等期刊的审稿人。他在建筑集成光伏(BIPV)领域获得了哲学博士学位
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号