《Neurocomputing》:Self-supervised saliency-guided dual-attention fusion for benign-malignant thyroid nodule diagnosis in ultrasound
编辑推荐:
甲状腺结节超声图像良恶性分类面临低对比度、噪声干扰和跨中心差异挑战,本文提出自监督前景引导双注意力融合框架,通过自监督学习生成前景图并设计轻量级双注意力模块,结合通道注意力和空间注意力机制提升特征融合效果,在三个多中心数据集上验证其优于现有方法且跨中心泛化性能显著提升。
Xiaodu Zeng|Guangju Li|Jiajia Li|Guanlin Li|Qinghua Huang
中国陕西省西安市西安建筑科技大学信息与控制工程学院
摘要
由于对比度低、斑点噪声以及不同中心之间的显著差异,从超声图像中准确诊断甲状腺结节的良恶性仍然具有挑战性。大多数现有的深度学习方法直接在原始超声图像上进行操作,并依赖于完全监督的学习,缺乏利用病变级别定位进行诊断指导的明确机制。尽管一些方法结合了分割来辅助分类,但它们通常依赖于完全监督的像素级注释,而这在现实世界的临床环境中往往不可用,从而限制了模型对不同临床中心数据的泛化能力。为了解决这些问题,我们提出了一种基于显著性引导的双注意力融合框架,用于超声图像中的甲状腺结节诊断。该框架学习了一个显著性掩码来突出诊断信息丰富的区域,并采用自监督重建、边界一致性和亲和力约束来规范显著性学习,而无需像素级注释。此外,还设计了一个轻量级的双注意力融合模块来整合原始特征和增强显著性的特征。与传统的注意力机制不同,该模块结合了基于方差的通道注意力和基于补丁的空间注意力,能够在原始图像中选择性地强调信息丰富的通道,同时捕捉由显著性图引导的病变特定上下文特征。这种设计有助于学习更具区分性的表示,以便进行良恶性分类。在三个多中心甲状腺超声数据集上进行的广泛实验表明,所提出的框架在单中心和跨中心评估协议下均显著优于现有方法,特别是在多中心泛化性能方面表现优异。代码可在以下链接获取:
https://github.com/guangguangLi/MultiModalClassifier。
引言
甲状腺结节是全球最常见的内分泌疾病之一,近年来发病率持续上升[1]。虽然大多数甲状腺结节是良性的,但恶性结节如果未能及时诊断和治疗,可能会迅速发展并带来严重的健康风险。超声成像由于其无创性、低成本和实时性,是甲状腺结节筛查的主要手段[2]。然而,基于超声的良恶性诊断仍然高度依赖于放射科医生的经验,并且容易受到观察者间差异的影响,尤其是在外观差异微妙的情况下。因此,开发可靠的自动化诊断方法具有重要的临床意义,因为这样的系统可以帮助放射科医生,提高诊断的一致性,并减轻临床工作负担[3]。
随着深度学习的快速发展,越来越多的研究探索了利用计算机视觉技术从超声图像中自动诊断甲状腺结节的方法。早期的工作主要采用卷积神经网络(CNN),如VGG [4]、ResNet [5]、DenseNet [6] 和 EfficientNet [7],来提取用于良恶性分类的区分性特征[8]。最近,受到Transformer架构强大全局建模能力的启发,基于Vision Transformer的模型,包括ViT [9]、DeiT [10] 和 Swin Transformer [11],也被引入到甲状腺超声分析中,以捕捉长距离依赖关系。此外,还提出了一些针对特定任务的设计,以应对超声成像中的挑战,特别是严重的斑点噪声和甲状腺结节形状和大小的大变化。ThyFusion [12] 结合了频域机制来抑制噪声干扰,而SDA-Net [13] 引入了可变形注意力和蒸馏驱动的交互聚合,以更好地适应形状和大小多样的结节。
尽管取得了这些进展,大多数现有方法仍将原始超声图像作为分类的唯一输入。然而,在临床实践中,放射科医生通常首先定位大致的病变区域,然后根据结节的内部特征及其周围环境做出诊断决策[14]。仅依赖原始超声图像往往会导致特征表示受到背景噪声和不相关结构的污染,这会损害模型的鲁棒性和泛化能力,尤其是在多中心场景中。为了解决这个问题,一些研究探索了双分支或多输入诊断框架。例如,TS-DSANN [15] 同时利用原始图像和轮廓信息进行分类,而MCDLM [16] 采用级联多任务模型在专家监督下提取感兴趣的区域,并将其与原始超声图像结合进行诊断。TB2C-Net [17] 也采用了类似策略,其中融入了病变感知信息以提高诊断性能。尽管双分支特征学习显示出潜力,但它仍受到实际限制的制约。如图1所示,由于专家标注的成本高且耗时,实际临床环境中通常无法获得像素级或区域级的病变注释。此外,即使有注释增强的表示,如何有效地利用它们来指导病变区域内的特征学习仍然是一个非平凡的挑战。
为了克服这些挑战,我们提出了一种称为自监督显著性引导的双注意力融合(S3DAF)的新框架,它解决了当前方法的几个局限性。与以往的工作不同,我们的框架通过提出一种直接从超声图像中学习显著性表示的自监督方法,消除了预训练期间手动标注病变掩码的需要。这使得能够自动定位诊断相关的区域,并通过消除对昂贵且耗时的专家标注的依赖,使我们的方法与其他方法区分开来,同时仍然能够捕获区域特定的特征。此外,我们框架生成的显著性图不仅仅是一个辅助输入;它积极指导网络多个层次上的双注意力融合过程。具体来说,它抑制了不相关的背景噪声,并增强了与病变区域对应的特征,从而提高了模型的鲁棒性和泛化能力。这种基于显著性的融合机制允许将全局病变感知和细粒度图像细节原则性地结合起来,这是现有文献中尚未充分探索的独特特征。与传统的双分支方法不同,传统方法中额外的输入(如分割掩码或轮廓)是预先定义的或需要手动干预的,我们的方法利用自监督的显著性学习来适应性地发现显著区域,提供了一个更灵活和可扩展的解决方案。
本研究的主要贡献总结如下:
•我们提出了一种自监督的显著性引导框架,用于甲状腺结节的良恶性诊断,无需像素级或区域级注释,提高了实际临床环境中的实用性。
•我们设计了一种轻量级的双注意力融合机制,其中显著性引导的线索明确指导多层次特征整合,抑制了原始超声特征中由噪声主导的响应,同时保留了病变的区分性特征。
•在三个多中心甲状腺超声数据集上的广泛实验表明,所提出的方法在跨中心评估中始终优于现有方法,特别是在泛化性能方面表现优异。
部分内容
基于分割的疾病诊断
从医学图像中准确识别病变通常受益于明确的病变定位。分割掩码可以作为信息丰富的先验,指导分类网络关注诊断相关的区域,减少背景噪声的干扰并提高分类性能[17]、[18]。MB-DCNN [19] 使用粗粒度分割网络生成病变掩码,以启动掩码引导的分类网络,而分类反馈
整体架构
为了解决甲状腺超声图像中对比度低、斑点噪声和中心间差异的挑战,我们提出了一种基于自监督显著性的双注意力融合框架,用于良恶性分类。如图2所示,该框架由两个紧密耦合的组件组成:一个基于分割的显著性生成模块和一个增强显著性的分类网络,它们以端到端的方式共同训练。
给定一个输入的超声图像,
实现细节和数据集
所有实验都在单个NVIDIA RTX 8000 GPU上进行,以确保实验的一致性。所提出的网络使用Adam优化器进行了150个训练周期,批量大小为64。初始学习率设置为,并在整个训练过程中保持不变。为了确保可重复性,在模型初始化和数据加载之前固定了所有随机种子。超声图像被分为两个诊断类别,即良性和
结论
在这项研究中,我们提出了一种基于自监督显著性的双注意力融合框架,用于从超声图像中诊断甲状腺结节的良恶性。与仅依赖原始图像或完全监督分割的传统方法不同,我们的方法利用了通过重建、边界一致性和亲和力损失进行规范的可学习显著性掩码,来强调诊断信息丰富的区域,而无需像素级注释。双注意力
CRediT作者贡献声明
Xiaodu Zeng:撰写——原始草稿、方法论、研究、概念化。Guangju Li:撰写——原始草稿、可视化、验证、方法论。Jiajia Li:监督。Guanlin Li:监督。Qinghua Huang:撰写——审稿与编辑、监督、资金获取、数据管理。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
致谢
这项工作部分得到了中国国家自然科学基金(项目编号U25A20448)的支持。
Xiaodu Zeng目前正在西安建筑科技大学攻读硕士学位。她的研究重点是医学图像的分割和分类,以及自动化疾病诊断。Zeng女士的工作涉及开发用于医学图像精确分割和分类的计算方法,有助于推进能够辅助医疗专业人员进行临床决策的自动化诊断系统。