考虑不确定性的点交互方法在超声心动图分割优化中的应用

《Displays》：Uncertainty-aware point interaction for echocardiographic segmentation refinement

准确分割超声心动图中的心脏结构是可靠评估和临床决策的关键，但边界模糊、成像伪影和结构尺寸差异导致现有方法效果受限。本研究提出不确定性感知点交互优化（UPI）模块，通过构建可学习信息中心增强边界区域特征，再经损失引导优化重新分类不确定点。实验表明，UPI在多个分割模型（如UNet、I2UNet等）和三个数据集（CAMUS、EchoNet-Dynamic等）上均有效提升Dice系数（1.83%、0.99%、0.51%）并降低HD95值（0.76、0.68、0.60），且参数和计算成本增加有限。

　　

吕成聪|刘旭|魏连环|郑寅能|张爱华|郭行明

教育部生物流变科学技术重点实验室，重庆大学生物工程学院，中国重庆400044

摘要

在超声心动图成像中准确分割心脏结构对于可靠的心脏功能评估和临床决策至关重要。然而，模糊的解剖边界、成像伪影以及大小不一的结构的共存给分割带来了重大挑战，这些因素常常加剧了边界处的不稳定性。为了解决这个问题，本研究提出了一种即插即用的模块，称为“不确定性感知点交互优化”（UPI）。所提出的UPI模块首先识别出不确定点，并通过构建受聚类原理启发的可学习信息中心来促进这些点之间的信息交互，从而增强这些模糊区域的区分特征表示。随后应用基于损失的优化过程对这些不确定点进行重新分类，从而提高了分割的准确性和稳定性。通过将UPI集成到多个最先进的分割网络中，进行了全面的实验。结果表明，在私有超声心动图数据集CAMUS和EchoNet-Dynamic上，整合UPI后这些网络的性能得到了持续提升。在三个数据集中，平均Dice分数分别提高了1.83%、0.99%和0.51%，而HD95值分别降低了0.76%、0.68%和0.60%。此外，UPI模块在参数和计算成本上的增加非常小，远低于扩大基线模型所需的增加。这些结果突显了UPI作为一种通用超声心动图分割优化策略的有效性和效率。代码可在https://github.com/Lv0620/UPImodel获取。

引言

超声心动图在评估心缩期和心舒期心脏功能方面发挥着重要作用。然而，它依赖于操作者的专业知识和主观解释，这往往导致诊断结果在不同观察者之间存在差异。随着人工智能的进步，语义分割技术使得自动识别心室、心房和心肌等关键心脏结构成为可能。这不仅减少了手动评估中的主观性和变异性，还减轻了临床医生的工作负担，并有助于检测到细微或先前被忽略的心脏异常。因此，超声心动图在心脏功能评估中的价值变得越来越不可或缺[1]，在这一领域引起了大量研究兴趣。

多项研究表明，语义分割在超声心动图图像分析中对心脏功能评估非常有效。例如，赵等人[2]以及李[3]和陈等人[4]对心尖四腔（A4C）视图中的左心室进行了分割，并根据分割结果准确预测了左心室射血分数（LVEF）。曲等人[5]进一步扩展了这种方法，同时在A4C视图中分割了左心室和左心房，并利用时间分辨的分割输出成功识别了舒张功能障碍。

准确的分割是后续定量心脏分析的基础。然而，现有的语义分割方法仍然存在局限性，导致物体边界处的性能不佳。

首先，在下采样和上采样阶段语义信息的丢失会降低分割质量。其次，多尺度特征连接过程中语义特征的错位限制了特征融合的效果。最后，将细粒度局部细节与全局上下文信息同时整合仍然是一个挑战。

一些研究人员提出了解决上述挑战的方案。其中，UNet[6]由于其独特的编码器-解码器架构和跳跃连接机制，已成为医学图像分割的基准模型，有效缓解了深度神经网络中的语义信息丢失问题。这种创新结构激发了许多后续架构的发展，如I²UNet[7]和MADRU-Net[8]。李等人[9]引入了语义流方法，通过显式学习不同层次特征之间的空间位移场来实现准确的语义对齐。利用高分辨率细节特征与低分辨率语义特征之间的语义对应关系，该模型预测了2D位移向量的流场，然后利用双线性变形将低分辨率特征与高分辨率特征空间对齐。何等人[10]和吴等人[11]将Transformer架构与卷积神经网络（CNN）结合，通过结合长距离上下文信息和细粒度空间细节来增强特征表示。这种混合方法利用了CNN的空间局部性和Transformer的全局依赖性建模，从而解决了传统模型在处理复杂结构时的局限性。因此，试图在单一模型架构中解决所有这些问题不仅具有挑战性，还可能导致结构复杂性和计算成本的增加。

此外，超声成像中的固有挑战，如斑点噪声和成像伪影，会通过导致边界模糊和目标不清晰来加剧语义分割的难度[12]。结果，更多的难以区分前景和背景的点出现在分割边界上，这些点被定义为不确定点。受像素置信度[13][14]的启发，本研究提出了一个基于不确定性的框架，首先从初始分割输出中过滤掉不确定的预测。该框架借鉴了聚类原理，使用线性层构建可学习的信息中心，以促进不确定像素之间的有效信息交互，从而增强其特征表示。在明确的损失约束下，这些像素随后被重新优化以提高分割精度。本质上，该过程识别出一般语义分割中预测不确定性较高的像素，重新预测它们，并相应地替换原始预测。这种框架被称为“不确定性感知点交互优化”（UPI），可以相对较少的额外参数和计算开销无缝集成到常用的分割模型中，从而提升它们的原始分割性能。

本研究的主要贡献如下：

1.

本研究提出了UPI模块，这是一种即插即用的结构，可以通过相对较少的参数来提高分割性能。它专注于重新预测通常位于模糊或模糊解剖边界周围的不确定区域，从而提高心脏结构分割的准确性和可靠性

2.

在这项研究中，通过将其嵌入到多个语义分割网络中评估了所提出的UPI模块的通用性，并通过三个数据集的全面实验验证了其有效性

3.

本研究实验研究了不同细粒度特征层以及参数k和β对UPI模块的影响，最终证明了其强大的鲁棒性。

相关工作

相关工作

在神经网络中，预测不确定性是常见的现象，指的是模型在推理过程中缺乏足够的信心。这种不确定性可能源于训练数据分布有限、噪声干扰或泛化能力不足

方法

如图1所示，所提出的UPI模块主要由两部分组成：不确定点选择和重新预测。该模块可以集成到常用的分割模型中，以进一步提高分割性能。

实验与结果

训练细节。所有深度学习实验均使用Python 3.7和PyTorch 1.7.1实现。优化过程采用了带有动量（0.9）和权重衰减（1×10^-4）的随机梯度下降（SGD）。批量大小设置为8。模型在EchoNet-Dynamic数据集上训练了60个周期，在其他两个数据集上训练了100个周期，因为EchoNet-Dynamic数据集足够大，训练过程在60个周期内达到收敛。为了确保公平性

局限性

虽然所提出的UPI模块一致性地提高了基于区域的指标（如Dice和IoU），但其对边界敏感指标（例如HD₉₅）的影响不太稳定，并不总是具有统计显著性，特别是在测试样本有限的数据集上。此外，本研究中的基于不确定性的点选择策略依赖于最大和对数概率值之间的差异，这作为一种高效且实用的不确定性代理。然而，作为一种启发式方法

结论

本研究介绍了UPI模块，这是一种即插即用的优化策略，旨在提高超声心动图图像的分割性能。广泛的实验表明，所提出的模块可以有效提高各种分割模型的性能。UPI模块还表现出很强的鲁棒性，因为其在广泛的参数设置和特征层选择下都能保持有效性。此外，结果表明，任务和模型特定的

CRediT作者贡献声明

吕成聪：概念化、方法论、形式分析、初稿撰写、审阅与编辑。刘旭：数据整理、资源提供、审阅与编辑。魏连环：数据整理、资源提供。郑寅能：数据整理、资源提供。张爱华：撰写、审阅与编辑、方法论。郭行明：概念化、资金获取、项目管理、监督。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。

致谢

我们衷心感谢国家自然科学基金（资助编号：31870980）的财政支持。