具有融合机制的多粒度视觉Fastformer模型，用于皮肤病变分割

《Biomedical Signal Processing and Control》：Multi-Granularity Vision Fastformer with Fusion Mechanism for skin lesion segmentation

皮肤病变分割中提出一种基于Vision Fastformer的轻量级U-Net模型，通过多粒度融合和通道融合机制有效处理不同严重程度病变边界分割问题，在计算效率与分割性能间取得平衡，实验表明其优于现有方法。

　　
在皮肤病变分割领域，研究者们长期面临两个核心挑战：既要克服传统CNN网络对局部上下文信息的过度依赖，又要解决Vision Transformer（ViT）类模型因全局上下文建模能力带来的计算复杂度问题。Xuanyu Liu等学者基于Fastformer的注意力机制创新，提出VFFM-UNet混合架构网络，通过三阶段技术突破为临床诊断提供了新的解决方案。

**技术突破路径分析**
首先在模型架构层面，团队创新性地将U型网络架构与多粒度Transformer进行融合。不同于常规U型网络仅依赖深层特征解码，该模型通过三个递进式编码器构建多粒度特征金字塔：浅层网络提取高频纹理特征，中层网络捕获中尺度形态信息，深层网络整合长程上下文关系。这种三维特征融合机制有效解决了传统网络在处理边界模糊病变时的信息断层问题。

其次在注意力机制优化方面，团队引入了双通道特征增强策略。基础层采用Fastformer的加性注意力机制，通过线性复杂度计算实现全局上下文建模；增强层则结合元素级乘积与矩阵乘积的双重运算，既保留局部细节又强化全局关联。这种混合机制使模型在保持低计算成本（0.494 GFLOPs）的同时，显著提升对颜色渐变区域的识别精度。

**核心创新模块解析**
1. **多粒度视觉Transformer架构（MGVF）**
该模块突破传统Transformer的空间固定性，设计了可变粒度嵌入层。通过动态调整局部感受野（5×5卷积核）与全局注意力窗口（128×128像素块），模型能够自适应处理不同严重程度的病变特征。实验数据显示，这种设计使网络在ISIC2018数据集上达到92.7%的IoU值，较传统ViT模型提升4.2%。

2. **双维度融合机制（FM）**
- **空间粒度融合**：构建金字塔式特征融合层，将不同分辨率的特征图（1/4, 1/2, 原始分辨率）通过跨层连接进行级联融合
- **通道特征融合**：开发动态通道加权模块，根据病变区域的不同严重程度自动调整特征通道的权重组合
该机制在PH2数据集上成功识别出直径小于2毫米的微小病变，较常规U型网络提升准确率17.3%

3. **轻量化计算优化策略**
团队创新性地将通道压缩技术与空间切片技术相结合：在编码阶段采用通道剪枝率动态调整（保持激活特征通道≥60%），解码阶段引入渐进式上采样（逐层放大精度提升3倍）。这种双阶段优化使模型参数量压缩至0.35M，计算量降低至MissFormer的1/15。

**临床验证与对比分析**
在三大权威数据集（ISIC2017/2018/PH2）上的对比实验显示，VFFM-UNet在保持0.35M参数规模下，实现：
- 多尺度IoU均值91.4%（较SOTA模型提升2.8%）
- 计算复杂度0.494 GFLOPs（MissFormer的1/101）
- 边界识别精度达98.7%（微小病变识别率突破85%）

特别在低对比度病变（皮肤色差ΔE<15时）的分割准确率上，该模型达到89.2%，显著优于依赖颜色阈值分割的传统方法（准确率62.4%）。

**临床应用价值延伸**
团队进一步开发了多模态适配模块，支持将现有模型迁移至CT影像分析（迁移准确率91.5%）和病理切片识别（F1-score 0.892）。在真实医院场景测试中，该模型使皮肤科医生平均诊断效率提升40%，漏诊率下降至0.78%。

**未来研究方向**
当前研究聚焦于两个方向：①开发自适应粒度调节算法，使模型在不同设备（从5MP手机摄像头到128MP专业医疗设备）上保持性能稳定；②构建动态学习权重系统，可根据不同医院的历史诊断数据自动优化模型参数。这些改进预期将推动皮肤病变筛查进入"5分钟精准诊断"时代。

该研究成果不仅为医学影像分析提供了新范式，更在设备部署成本控制方面取得突破性进展——VFFM-UNet可在内存占用仅1.2GB的嵌入式设备上实现实时分割，这对基层医疗机构的设备升级具有重要指导意义。