基于先验标记化的视觉Transformer交互式医学图像分割方法

【编辑推荐】本研究提出PT-SimpleClick模型，通过先验标记化(Prior Tokenization)将交互点击信息转化为语义标记，结合视觉Transformer(ViT)的自注意力机制与交叉注意力机制，显著提升医学图像分割中目标与背景的特征判别力。创新性引入判别损失函数和寄存器(Register)方法，在9个跨域数据集（含BraTS20等医学影像）验证了其交互效率和泛化性。

　　

Highlight

本研究突破性地将先验信息转化为可学习的语义标记(Prior Tokens)，通过ViT的自注意力机制实现目标特征的全局提取。在BraTS²⁰等复杂医学影像中，该方法展现出超越传统距离编码(Distance-based Encoding)的显著优势。

Methods

核心方法包含三阶段：

1. 1.

   先验标记化：将用户点击转化为前景/背景语义标记，与图像标记(Image Tokens)并行输入ViT

2. 2.

   特征耦合：通过交叉注意力(Cross-Attention)机制实现语义标记与图像块特征的动态对齐

3. 3.

   寄存器优化：采用Register方法抑制特征冗余，减少分割伪影(Artifacts)

Datasets

实验涵盖9个跨模态数据集，重点验证医学影像（如脑肿瘤BraTS²⁰、骨关节OAIZIB²¹）的适用性。其中ssTEM¹⁹神经元数据集测试显示，该方法对微小结构分割准确率提升12.7%。

Conclusion

PT-SimpleClick通过语义级先验表达和特征解耦技术，为医学影像分析提供新范式。其单次点击修正效率较传统方法提升23%，在弥散性病灶分割中表现尤为突出。