《Displays》:Localization knowledge-driven segmentation of arteries in ultrasound images
编辑推荐:
超声图像分割中的定位难题通过显式位置知识引导的LKDS框架有效解决,该框架从粗标注数据中学习定位知识并经少量样本微调适配新数据,生成动态定位图指导分割网络,显著提升分割精度并加速收敛。
严梦雪|王子瑞|李振峰|王鹏|吴鹏|陈献祥|杜立东|李莉|常洪波|方震
中国科学院航空航天信息研究所,北京,中国
摘要
在超声图像中对动脉管腔进行准确分割对于临床诊断和血流动力学评估至关重要,但这一过程受到图像本身特性的挑战,如低对比度、伪影以及形态相似的周围组织。这些因素共同导致了显著的定位不确定性,严重影响了分割模型的性能。为了解决这个问题,我们提出了一种新的基于定位知识的分割(LKDS)框架,该框架通过明确的定位指导来实现准确的分割。该框架首先在粗略标注的数据集上通过定位先验学习(LPL)过程获取稳健的定位知识,然后通过少量样本伪标记策略将这些知识高效地转移到目标数据集并加以适应。在操作上,LKDS框架为每张图像生成一个动态定位图(LM),以明确指导后续网络进行准确的分割。在两个不同的动脉超声数据集上的广泛实验表明,我们的LKDS框架不仅加速了训练收敛速度,而且显著优于现有的隐式分割方法。我们的工作证明了明确结合定位知识是显著提升动脉分割性能的有效策略。
引言
超声成像凭借其无创性、安全性、成本效益和实时监测的优势,已成为动脉评估的一线工具,在临床筛查、即时超声(POCUS)[1]、[2]和可穿戴健康监测中发挥着重要作用。准确分割动脉管腔对于评估狭窄程度、测量横截面积和估算血流量[3]至关重要,直接影响临床决策[4]。因此,开发智能和自动化的管腔分割算法具有重要的临床价值。
然而,超声图像中动脉管腔的自动分割性能常常受到定位不准确的限制。这主要是由于动脉超声图像的固有特性[5]所致。首先,周围的伴生组织和成像伪影与目标具有高度相似的特征,对准确定位管腔造成严重干扰。其次,由于动脉侧壁垂直于超声波束,导致管腔轮廓模糊,进一步增加了定位的难度。正如[6]、[7]中所强调的,使用对象掩模提案进行分割可以为像素分组提供更好的基础,并作为模型学习过程的正则化手段。因此,在复杂背景下实现可靠的目标识别和定位是一个必须解决的问题,以有效提升动脉超声分割的性能。
面对这些挑战,现有方法通常采用隐式策略来处理定位问题,但效果有限。许多研究依赖于随机数据增强[8]、[9],例如通过随机裁剪和平移进行预处理,以强化目标的位置信息。然而,这种增强方法无法克服图像内容本身的固有定位不确定性。此外,其他方法尝试通过将注意力机制(如位置或空间注意力)集成到模型中来捕捉上下文信息以实现更精确的空间定位,但这些方法的泛化能力往往不足[10]、[11]。因此,这些方法无法解决超声图像中动脉管腔的定位难题。上述方法的局限性促使我们采用一种明确的、基于定位知识的方法来促进准确的动脉分割。
为此,我们提出了一种新的LKDS框架来明确解决定位问题。现有的显式策略通常存在显著局限性:硬性的感兴趣区域(ROI)裁剪方法在检测不完美时可能会截断重要背景;而像霍夫变换(Hough Transform)这样的刚性几何先验缺乏适应解剖变异的灵活性。此外,这些刚性方法对超声图像中常见的斑点噪声和模糊边界非常敏感。相比之下,LKDS框架通过直接从数据中提取灵活的、软性的指导信息来避免这些缺陷。如图1所示,LKDS将分割任务分为定位阶段和分割阶段。在定位阶段,我们引入了定位先验学习(LPL)过程,从可访问的、粗略标注的数据集中提取稳健的定位知识。这一过程基于这样一个原则:可靠的空间先验可以从可靠的区域级位置信息中形成。这使得LPL过程能够从更易获取的、粗略标注的数据集中高效地获取定位知识。在随后的分割阶段,这些学习到的知识首先通过少量样本伪标记策略转移到目标数据集并加以适应,然后被构建为每张图像的动态定位图(LM),明确指导分割网络关注正确的区域并实现准确的管腔分割。本文的主要贡献如下:
- 1.
我们提出了一种新的LKDS框架,该框架引入了LPL过程,从粗略标注的数据中学习定位知识以指导准确的管腔分割。
- 2.
LKDS通过少量样本伪标记微调策略适应新数据集,展现出较高的泛化能力。
- 3.
LKDS采用自适应融合策略,将图像特征与定位图最佳融合,并结合软标签策略进一步提高边界绘制的精度。
- 4.
在两个独立的动脉超声数据集上的广泛实验表明,LKDS显著加速了模型收敛速度,同时实现了超越现有隐式分割模型的分割性能。
章节片段
超声动脉管腔分割
动脉管腔的自动分割已经从传统的图像处理技术(如水平集[12]和聚类算法[13])发展到基于深度学习的方法。基于U-Net的架构已成为事实标准,有许多变体被设计用于提高特定动脉(如颈动脉[14]、[15]、[16])的分割精度。最近,引入了先进的机制来应对固有的边界不确定性和伪影干扰
LKDS框架概述
为了解决动脉超声分割中定位不准确的问题,我们提出了LKDS框架。该框架的核心思想是利用从超声图像中获得的明确定位信息来指导管腔的细粒度分割。如图1所示,LKDS可以分为两个主要部分:定位和分割。
设
数据集
我们的框架在三个具有不同图像采集和标注风格的公开数据集上进行了验证。
实验
为了验证我们提出的LKDS框架的有效性,我们进行了一系列关于动脉超声管腔分割的全面实验。实验旨在:(1)将LKDS与现有的最先进分割模型进行基准测试;(2)进行详细的消融研究,以剖析每个关键组件的贡献;(3)分析框架对超参数的敏感性。
讨论
在这项工作中,我们提出了LKDS框架,证明了明确学习的定位知识可以显著提高动脉超声分割的准确性和效率。通过用数据驱动的空间先验指导分割网络,我们的方法有效缓解了超声图像中固有的定位不确定性。这种明确指导的一个显著结果是模型收敛速度加快,大大减少了训练时间
结论
在本文中,我们介绍了LKDS框架,这是一种新颖且有效的动脉超声分割方法。我们证明了通过明确使用学习到的定位图来指导分割过程,LKDS在分割准确性和鲁棒性方面显著优于当前最先进的隐式定位模型,特别是在低对比度和边界模糊的情况下。除了其出色的准确性之外,我们的基于知识的方法
CRediT作者贡献声明
严梦雪:概念化、方法论、软件开发、验证、形式分析、初稿撰写。王子瑞:研究调查、验证、形式分析、审稿与编辑。李振峰:方法论、数据管理。王鹏:撰写、审稿与编辑。吴鹏:撰写、审稿与编辑。陈献祥:撰写、审稿与编辑。杜立东:监督、资金获取。李莉:监督、资源协调。常洪波:监督、资源协调。方震:
伦理声明
本研究使用了公开可用的数据集,没有涉及新数据的收集或涉及人类或动物的实验。因此,不需要伦理委员会的批准。本研究中使用的所有数据均来自符合数据共享伦理标准的公开来源。研究遵循科学研究的伦理原则,确保在不侵犯隐私或未经同意的情况下使用公开数据。
关于写作过程中生成式AI和AI辅助技术的声明
在准备这项工作时,作者使用了ChatGPT(OpenAI)来提高语言的可读性。使用该工具后,作者根据需要审查和编辑了内容,并对出版物的内容负全责。
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:方震报告获得了北京自然科学基金的财务支持。杜立东报告获得了国家自然科学基金的财务支持。李振峰报告获得了国家自然科学基金的财务支持。陈献祥报告获得了国家自然科学基金的财务支持。
致谢
本项工作得到了北京自然科学基金(L253012)、国家自然科学基金(资助编号:62371441、62401547、U21A20447)、北京Nova跨学科合作项目以及CAMS医学科学创新基金(2019-I2M-5-019)的支持。