跨尺度融合Transformer重构多通道时间序列分析：CSFformer在医学图像分割中的创新应用

本文推荐一种新型混合架构U-VixLSTM，通过整合卷积神经网络（CNN）与视觉扩展长短期记忆网络（Vision-xLSTM），在医学图像分割领域实现高效全局依赖建模。该模型突破传统Transformer的二次计算复杂度限制，以线性计算开销（O(n)）和恒定内存需求（O(1)）显著提升资源受限场景下的分割精度，在Synapse、ISIC和ACDC数据集的实验中超越Swin UNETR等前沿模型。

　　

亮点

• CNN特征提取路径捕获目标解剖结构的细粒度纹理信息，Vision-xLSTM（ViL）模块编码CNN层输出的全局上下文

• 特征重建路径对ViL模块输出进行上采样生成最终分割结果，通过跳跃连接将每级特征与对应重建层级拼接

• 在公开数据集Synapse、ISIC和ACDC上的实验验证了模型在性能和计算资源利用率上的优势

架构

U-VixLSTM采用经典U型框架（图1），包含特征提取和重建双路径。特征提取臂由多层CNN构成，瓶颈处嵌入ViL模块——其中mLSTM层（改进型LSTM）通过指数门控机制增强历史信息修正能力。针对3D体积数据设计，仅需调整空间维度即可适配2D图像处理。

实验细节

使用PyTorch和MONAI框架在NVIDIA RTX A6000 GPU（48GB显存）实现，采用AdamW优化器（学习率1e-4，权重衰减1e-5）。评估指标涵盖Dice系数、Hausdorff距离等，损失函数结合交叉熵与轮廓约束项。

结论

本研究首次将CNN与ViL融合用于医学图像分割。ViL通过处理CNN特征块捕获时空全局关系，其线性计算复杂度（O(n)）和结构化记忆更新机制，显著优于传统Transformer的二次复杂度（O(n²)）和Mamba的信息丢失缺陷。模型在资源受限医疗场景中展现出部署优势，为小解剖结构分割提供新范式。