UDV-Net：一种结合CNN和Transformer的静脉分割网络，具备血管优先级识别能力和空间感知能力

《Medical Image Analysis》：UDV-Net: A Hybrid CNN and Transformer Vein Segmentation Network with Vascular Prior and Spatial Awareness

上消化道静脉分割提出CNN-Transformer融合模型UDV-Net，通过多尺度特征提取和三维位置编码Transformer桥接，结合Frangi滤波和血管注意力模块，有效解决门静脉高压患者 collateral vessels分割中的假阴性假阳性问题。

　　

Bowei Shen|Xiaoquan Huang|Yuli Li|Xinghuan Li|Lili Ma|Yonghong Shi|Shiyao Chen

复旦大学中山医院消化内科与肝病学系，上海，200032，中国

摘要

处理多尺度变化的卷积神经网络（CNN）和建模长距离依赖关系的变换器（Transformer）对于血管分割至关重要。这两种模型的融合有效地结合了CNN提取的多尺度局部特征和Transformer建模的全局信息，显著提高了血管分割的准确性。然而，当处理肝硬化门脉高压患者上消化道静脉中逐渐形成的广泛侧支血管时，该强大模型面临挑战，导致许多假阴性和假阳性分割结果。为此，本文提出了UDV-Net，这是一种结合了CNN和Transformer的融合网络，具有血管先验和空间感知能力，用于上消化道静脉血管分割。首先，使用编码-解码架构的CNN从图像中创建血管的多尺度表示。然后通过相应尺度的血管注意力模块进一步细化该表示，以处理管状结构，从而减少假阳性结果。其次，提出了一个具有三维体素位置编码的Transformer桥，以连接相应的编码-解码层，有效感知形状多样的广泛分布的血管，提高血管连通性，并避免假阴性血管结果。我们收集并标注了191名肝硬化患者的腹部增强CT图像，构成了PHCT数据集。我们的方法在该数据集上的验证结果是先进的。当在公开可用的3D-IRCADb数据集（作为PHCT的未见外部验证集）上进行评估时，该模型表现令人满意。此外，我们的方法在公共的MSD肝血管数据集上也取得了最佳性能。

引言

肝脏疾病每年导致两百万人死亡，其中肝硬化是主要死因（De Franchis等人，无日期；Sun等人，2023年）。像肝硬化这样的疾病会导致门脉血流异常增加和门脉压力持续升高。门脉高压进一步引发广泛的侧支循环形成（De Franchis，2015年）。上消化系统的静脉与门脉系统紧密相连，其结构和外观直接受到门脉高压的影响。它们的临床表现对临床诊断和治疗至关重要。例如，食管和胃静脉曲张是由门脉高压引起的并发症，如果破裂可能会非常危险甚至致命。

腹部增强门脉静脉期CT图像是诊断门脉高压患者静脉病变的主要方法。本研究中的上消化道静脉区域包括食管和腔外静脉曲张、胃底静脉曲张、肝门静脉、脾门静脉和肠系膜上静脉，以及由于门脉高压形成的侧支循环血管。这些区域统称为上消化道静脉（UDV），对这些区域中的静脉血管进行精确和快速的体素级自动分割将有助于临床诊断、治疗计划和预后。

目前，深度学习技术在血管分割任务中发挥着重要作用。基于卷积神经网络（CNN）的U-Net（Ronneberger等人，2015年）是血管分割的主要方法。在U-Net中加入跳跃连接可以将编码器特征图与相应的解码器特征图合并。这种在不同尺度上的特征融合有助于恢复更精确的图像边缘和细节。Yu等人（2019年）将残差块集成到3D U-Net中，用于分割肝静脉和门静脉。LVSNet（Yan等人，2021年）在U-Net中加入了注意力引导模块（AGC），利用高级特征的注意力来指导低级特征并捕捉更多血管细节。Gao等人（2023年）在U-Net中引入了拉普拉斯显著性门控滤波器。在融合多尺度特征后，对这些特征进行过滤以增强血管区域，同时抑制肝脏的其他区域。然而，由于感受野有限和权重共享的平移等变性，卷积网络主要捕捉局部模式，这可能阻碍长距离依赖关系的建模。

视觉变换器（ViT）（Dosovitskiy等人，2021年）将输入图像分割成一系列补丁，利用自注意力的强大长距离依赖关系建模能力来增强对图像的整体感知。然而，Transformer的大量训练参数依赖于较大的训练数据集，这在医学成像领域可能难以获得。因此，许多研究正在探索使用Transformer来建立CNN提取的局部特征之间的长距离连接，旨在创建结合CNN和Transformer优势的网络。Yu等人（2022年）将通道注意力视觉变换器（CAViT）集成到U-Net的跳跃连接中，以利用通道特征之间的相互依赖性来增强对胃底血管关键边缘结构的提取。Xu等人（2024年）引入了双流编码器，将CNN编码与Swin Transformer编码合并。Transformer分支用于建立目标之间的相对位置关系，创建补丁之间的连接，并扩大感受野；CNN分支捕捉局部特征并提高对小血管的敏感性，从而改善肝静脉和门静脉的分割效果。Li等人（2023年）使用U-Net作为胃底血管分割的骨干网络。他们用Transformer替换了瓶颈层，以结合长距离依赖关系进行综合建模。此外，他们还将局部注意力集成到跳跃连接中，以改善边缘细节。

然而，现有方法在分割UDV区域时存在两个缺陷：1）对于小血管结构，预测结果为假阴性。一些方法对于在真实情况下应该是连续的微小血管产生碎片化的分割结果，而其他模型则直接产生阴性结果，如图1(b)所示。2）对于金属器械，产生假阳性结果。如图1(c)所示，红色箭头指示的金属器械的CT值与门脉静脉期增强CT图像上的静脉CT值相似，导致模型对此器械产生假阳性结果，并错误地将其识别为目标血管。

为了解决UDV区域的复杂性，使用经典图像处理算法获取血管先验是必要的。然后，本文提出了一种结合CNN和Transformer的新混合框架，该框架集成了血管先验和空间感知能力，用于门脉高压患者的UDV精确分割。首先，具有金字塔结构的CNN编码器从输入的3D图像中提取多尺度特征。随后，血管注意力模块计算Hessian矩阵，并应用Frangi等人（1998年）的血管性滤波器到多尺度特征图上，结合关于血管的先验知识来过滤掉非管状区域，增强模型对各向异性血管的感知。最后，视觉变换器连接CNN编码器和解码器的相应阶段。体素位置编码（VPE）模块提高了Transformer的位置感知能力，并增强了血管连通性。VPE模拟了全局空间位置信息，有助于提取网络的深层语义特征，并有效解决了血管中断的问题。

我们的贡献总结如下：

1）我们提出了一种新颖的UDV分割网络，有效融合了传统图像处理技术（例如Frangi滤波）和CNN及Transformer的优势。该网络能够在增强CT上实现端到端的、完全自动的体素级上消化道静脉分割。

2）我们提出了一种血管注意力模块，结合了血管先验和多尺度特征，以增强模型对各向异性血管的感知。

3）我们提出了一种具有VPE的空间感知Transformer，提高了空间定位性能并保持了血管连续性，从而减少了假阴性和假阳性检测结果。

4）我们收集并构建了一个新的腹部增强门脉静脉期CT图像数据集，来自门脉高压患者（PHCT）。我们专业地标注了191张CT图像，以描绘上消化道静脉血管，从而支持血管分割方法的训练和验证。

部分片段

Frangi滤波器

Frangi滤波器（Frangi等人，1998年）是一种广泛用于增强医学图像中血管结构的方法。它依赖于二阶图像导数来识别不同尺度上的血管相关强度变化。具体来说，该滤波器计算多个方向的Hessian矩阵以捕获局部结构信息。通过分析Hessian的特征值，该方法可以区分管状结构和斑点状或板状图案（例如钙化）。

方法

我们的方法旨在通过将U形网络与Transformer桥连接起来来改进血管的表示。如图2所示，我们的UDV-Net的骨干网络由编码器-解码器架构组成，每个编码器-解码器级别通过空间感知Transformer连接。每个编码器级别的输出特征将通过血管注意力模块丰富血管先验。这种增强将有助于

实验

提出的方法在三个数据集上验证了对血管目标的感知能力：门脉高压患者的腹部增强CT图像的PHCT数据集，以及MSD中的类似肝血管数据集（Antonelli等人，2022年）和3D-IRCADb（Soler等人，无日期）。

在评估分割结果时，我们使用了四个指标：Dice、Jaccard、95HD和ASD。Dice分数和Jaccard衡量两组数据的相似性，特别是分割结果之间的重叠部分

讨论

上消化道静脉（UDV）的形态特征可以间接反映肝硬化患者的门脉压力。因此，UDV的准确分割对于肝硬化的临床管理至关重要。然而，由于复杂的侧支循环、重叠的血管和血栓相关的信号不均匀性，现有算法面临重大挑战（图1a）。为了解决这些问题，我们提出了一个混合CNN–Transformer网络

结论

本研究提出了一种创新的混合CNN–Transformer架构UDV-Net，其核心目标是实现上消化道静脉结构的精确分割。该架构的一个关键创新是设计了多尺度血管注意力模块，该模块将特定于血管的先验知识无缝集成到深度学习模型中。我们在内部PHCT数据集和两个公共基准测试集上进行了全面评估。实验结果证明了

未引用参考文献

表3

CRediT作者贡献声明

Bowei Shen：撰写 – 原始草稿、可视化、验证、软件、方法论、概念化。Xiaoquan Huang：方法论、调查、数据管理。Yuli Li：数据管理。Xinghuan Li：数据管理。Lili Ma：数据管理。Yonghong Shi：撰写 – 审稿与编辑、可视化、方法论、调查、概念化。Shiyao Chen：资金获取。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。

致谢

本研究得到了中国国家重点研发计划（2023YFC2507504）和上海市科学技术委员会（编号22Y11907400）的支持。资助者在研究设计、数据收集与分析、发表决定或手稿准备方面没有发挥作用。