TVPNet：基于文本-视觉提示引导的三维医学小器官精准分割新方法

本文推荐一篇创新性医学影像分割研究，作者团队提出TVPNet模型（Text-Vision Prompt Network），通过融合CNN-Transformer混合编码器与伪标签解码器结构，结合文本提示（text prompt）和视觉提示（vision prompt）的双模态引导机制，显著提升3D CT影像中小器官（体积占比<0.6%）的分割精度。在FLARE2023数据集上达到87.10 Dice评分，较现有基线模型提升显著，为临床微小病灶定位提供新范式。

　　

亮点

我们提出TVPNet这一创新性提示引导分割框架，通过整合文本与视觉提示的优势，显著增强网络对3D医学影像中小目标的关注能力。图2展示了该框架的整体工作流程。

常规医学分割框架

卷积神经网络（CNNs）与Transformer是医学图像分割的两种常用架构。CNN擅长捕捉局部结构特征，但其固有的局部性限制了全局上下文信息的处理——这对识别体积占比不足0.6%的小器官至关重要。

方法

图3展示了TVPNet的整体结构：采用编码器-解码器架构处理3D CT影像。首先通过CNN-Transformer混合编码器提取特征，随后将图像特征与空间提示嵌入（来自提示编码器）、文本提示嵌入（来自CLIP文本编码器）共同输入掩码解码器，实现精准分割。

数据集与实施细节

为验证TVPNet性能，选用FLARE2023多器官分割数据集（含13个器官标签的50例3D CT，分辨率0.66×0.66×1.0至0.98×0.98×2.5 mm³）和MSD挑战赛的胰腺/结肠癌数据集。

结论

TVPNet通过混合编码器高效提取特征，结合提示工程技术使网络获得小器官先验知识，实验证明其能有效解决医学影像中因体积小、边界模糊导致的细分难题。