TUTNet：基于双编码器与Transformer跳跃连接的医学图像分割全局信息融合新方法

医学图像分割领域，传统CNN方法存在局部感受野限制和全局信息缺失问题。研究人员提出TUTNet网络，创新性地采用CNN与Transformer双编码器架构，结合改进的DAT-S跳跃连接机制，在ISIC18等四个数据集上验证了其优越性能，mDSC提升显著，为复杂医学图像分割提供了新思路。

　　

在医学影像诊断领域，精确分割器官、病变区域是辅助诊疗的关键环节。传统卷积神经网络(CNN)虽在U-Net等架构中表现优异，但其局部感受野特性导致长程依赖关系捕捉困难；而纯Transformer架构又面临参数激增和局部细节丢失的困境。这种"顾此失彼"的现状，使得现有方法在复杂场景下的分割精度遭遇瓶颈。

针对这一挑战，研究人员创新性地提出了TUTNet混合架构。该网络采用双编码器设计：CNN分支(基于ResNet34)专注提取局部特征，Transformer分支(12层ViT结构)捕获全局上下文。通过交叉注意力机制融合双路径特征，并创新性改进跳跃连接模块——将原DAT升级为DAT-S，其中CFAW模块采用多头注意力增强通道信息交互，STCA模块重构QKV向量以保留空间全局信息。在解码阶段引入DRA模块消除特征图格式差异，最终通过PatchExpanding实现分辨率恢复。

关键技术包括：1)基于PatchEmbedding的特征向量化处理；2)多尺度交叉注意力特征融合；3)五折交叉验证评估策略；4)使用ImageNet预训练权重增强小样本泛化能力。在Synapse多器官CT数据集上，该网络在肝脏(91.6% DSC)、胰腺(87.3% DSC)等器官分割中刷新记录，平均mDSC达89.19%，较UDTransNet提升1.28%。ISIC18皮肤病变测试集上，以88.07% mDSC超越对比模型，边界连贯性显著改善。

研究结果具体表现为：

1. 双编码器有效性验证
   消融实验显示，同时使用CNN和Transformer编码器使mDSC提升1.3%，证明全局-局部特征互补优势。预训练权重实验表明，ImageNet预训练使GlaS数据集性能提升5.11%。

2. DAT-S模块性能突破
   在跳跃连接中，CFAW模块通过多头自注意力（公式4）使通道信息交互更充分，STCA模块重构的Q^T=x^TW^qT（公式6）保留空间全局性，两者协同使ISIC18测试集IOU达78.59%。

3. 多器官分割优势
   Synapse数据集上，网络在脾脏(93.3% DSC)和胃部(87.5% DSC)分割中表现突出，热力图显示深层解码器能有效过滤非目标器官信息（图11）。

该研究创新性地平衡了CNN的局部感知与Transformer的全局建模优势，DAT-S模块有效缓解了语义鸿沟问题。值得注意的是，在仅165张图像的GlaS数据集上仍保持90.94% DSC，证明其小样本适应能力。未来可优化方向包括：降低Transformer参数量的轻量化设计，以及探索更多模态的特征融合策略。论文发表于《Biomedical Signal Processing and Control》，为医学图像分割提供了新的架构范式，其双编码器思想也可拓展至其他视觉任务领域。