《Image and Vision Computing》：FSM-UNet: An ultra-lightweight frequency-spatial Mamba network for skin lesion segmentation
编辑推荐：
•FSM-UNet，一种超轻量网络，在三个公开数据集上提升了皮肤病变分割性能•GSS-Mamba、FSDA-ASPP和DLESkip优化了全局建模与边界恢复。•该模型仅需0.0301M参数和0.0318 GFLOPs。•在256 × 256分辨率下，达到282 FPS，吞吐量
- •
FSM-UNet，一种超轻量网络，在三个公开数据集上提升了皮肤病变分割性能
- •
GSS-Mamba、FSDA-ASPP和DLESkip优化了全局建模与边界恢复。
- •
该模型仅需0.0301M参数和0.0318 GFLOPs。
- •
在256 × 256分辨率下，达到282 FPS，吞吐量494张/秒，峰值内存占用154 MiB。
引言
皮肤癌，尤其是恶性黑色素瘤，以进展迅速和转移风险高为特征，因此高度依赖早期检测和及时干预。随着医学影像技术的进步，皮肤病变图像分析已逐渐成为辅助诊断的重要工具 [1]。然而，皮肤镜图像中的病变往往边界模糊、色彩与纹理模式复杂、形态不规则，使得手动标注耗时且易受主观经验影响。近年来，许多研究也将边界建模和边界蒸馏视为提升分割可靠性的关键途径 [2]。相比之下，基于阈值分割、边缘检测或区域生长的传统方法依赖于人工规则，难以适应真实临床环境中遇到的多样化变化和噪声干扰 [3]；因此，需要更鲁棒的自动分割方法来支撑精确识别和定量分析。
近年来，随着U-Net的提出，"U形"架构已成为医学图像分割中几乎无处不在的范式 [4]。在此方向上，UNet++和Double U-Net等CNN变体 [5] 关注如何更可靠地将局部细节传递回解码阶段，催生了密集全尺度跳跃连接、注意力驱动的跨层融合以及轻量级算子。以TransUNet [6] 为代表的U形Transformer框架，通过在编码器和瓶颈处显式引入自注意力来捕获全局依赖，在多器官和高形变场景中展现出优势，但代价是引入了二次复杂度和更高的部署开销。随着GPU等高性能硬件的持续演进，用于医学图像分割和通用视觉任务的深度学习模型规模和计算复杂度呈指数级增长，导致在边缘设备上的部署瓶颈日益严重 [7]。
为提升计算效率并缓解自注意力的二次复杂度问题，状态空间模型（SSMs）[8] 已逐步成为轻量级分割的一个重要方向。VM-UNet [9] 将选择性SSM集成到U形主干中，以近线性复杂度实现长程依赖建模，从而确立了一种以SSM替代注意力进行全局交互的明确范式。然而，皮肤镜分割不仅需要全局上下文，还需要对典型困难样本的鲁棒性，包括低对比度低色素病变、毛发遮挡和镜面反射等。这些场景常表现为边界模糊和强纹理干扰，可能导致预测中出现轮廓断裂、精细结构缺失或假阳性区域扩散等问题。从机制上看，虽然SSM擅长长程聚合 [10]，但在超轻量级设置下，若不显式增强局部纹理和边界，或对跳跃特征进行有效去噪，在困难样本上仍可能出现局部保真度不足的问题 [11]。此外，对于高分辨率输入，序列长度和通道宽度共同决定中间状态和激活的开销，通道扩展引起的内存压力仍是实际部署中需要仔细权衡的关键因素 [12]。另一方面，U-Mamba [13] 等工作倾向于通过以更为精简的Mamba主干替代部分卷积和/或注意力来追求极致效率，大幅减少了参数量和运行时开销。然而，U形架构中仍面临两个挑战：首先，当跨尺度特征融合和跨分支信息复用较弱时，解码器更容易在恢复精细纹理和边界方面受到制约；其次，轻量级主干的训练稳定性和收敛性对适当的归一化、残差连接和特征重校准的依赖更强。综合来看，现有的基于SSM的U-Net仍缺乏一条统一且简洁的路径，在严格的轻量级约束下同时平衡全局依赖、局部细节和可部署性，这促使了本文方法的设计。我们对SSM/Mamba在轻量级皮肤病变分割中的内存-精度权衡进行了系统分析，并据此提出FSM-UNet，一种超轻量级的频域-空域增强网络。该设计旨在以极低开销实现稳定的全局交互和精细的边界恢复。为此，我们从三个层面进行针对性设计——控制全局建模的代价、增强瓶颈处的边界/纹理线索，以及对跨层信息进行去噪和筛选——并将其统一于U形框架之中。FSM-UNet保持了超轻量级复杂度（参数=0.0301M；GFLOPs=0.0318），如图1所示，所提出的模型在多个皮肤病变分割基准上取得了极具竞争力的结果。
本文的主要贡献总结如下：
- •
我们提出了一种频域-空域双注意力ASPP模块（FSDA-ASPP），利用频域中的统计先验来引导多尺度聚合，并结合空域注意力增强弱边界处的响应。
- •
基于状态空间模型（SSMs），我们引入了一种新颖的分组共享状态Mamba（GSS-Mamba）模块，通过采用分组共享状态来提高全局信息建模的效率。
- •
我们提出了一种双局部增强（DLE）模块，为U形跳跃连接设计了结构-语义双路细化机制，以抑制深层噪声泄漏并提升边界一致性。
- •
基于上述模块，我们构建了用于皮肤病变分割的FSM-UNet。在仅0.0301M参数和0.0318 GFLOPs的超轻量级复杂度下，进行了广泛的实验和消融研究，FSM-UNet在对比方法中取得了领先的性能。
章节摘要
基于卷积的U形网络
自Ronneberger等人 [4] 提出U-Net以来，带有多级跳跃连接的对称编码器-解码器架构已成为医学图像分割中极具影响力的网络设计，并被广泛应用于器官轮廓勾画和皮肤病变分割。在此范式基础上，Attention U-Net [14] 将注意力门控引入跳跃连接以抑制无关背景响应；UNet3+ [15] 构建了全尺度密集跳跃连接来
架构概述
为大幅降低计算和参数开销同时保持分割精度，我们构建了FSM-UNet，一种基于状态空间模型的超轻量级U形网络。如图2所示，FSM-UNet采用轻度不对称的编码器-解码器架构。编码器包含六个阶段：第1至第3阶段采用标准卷积和深度可分离卷积（配合实例归一化和组归一化），以捕捉高分辨率的局部纹理和边界细节，
实验与结果
所提出的FSM-UNet在多个广泛使用的皮肤病变分割公开数据集上进行评估，并与一系列最先进的方法进行了对比。我们首先总结实验所采用的数据集、实现细节和评估指标，然后展示消融研究以及与竞争方法的全面性能对比。
讨论
我们从多个角度进一步分析和讨论所提出的方法。
首先，为了展示我们方法的实际有效性，我们在RTX 3090 GPU上对六个模型在两种分辨率（256 × 256和512 × 512）下进行了基准测试。如图8所示，我们从四个关键指标——推理峰值内存、训练吞吐量、推理速度和延迟——进行了全面比较。在512 × 512分辨率下，MambaLiteUNet遭受了超线性内存爆炸（4810.96 MiB），而
结论
对于资源受限场景下的皮肤病变分割，我们将核心挑战总结为：在极为有限的计算预算下保持全局结构约束、弱边界细节和稳定的跳跃融合。为此，我们提出FSM-UNet，将全局建模、纹理/边界增强和跳跃融合组织为一条低成本但互补的流程：低状态GSS-Mamba聚合长程信息以防止局部噪声破坏全局结构；FSDA-ASPP
CRediT作者贡献声明
郑鹤之： 撰写——原稿、软件、方法学。黄小红： 验证、数据管理。葛艳雷： 指导、资源。张兆： 指导、资金支持、概念化。张悦： 概念化。张融涵： 可视化、调查。
利益冲突声明
作者声明不存在任何已知的竞争性经济利益或个人关系，这些关系可能被视为对本研究的撰写、研究、报告或出版产生影响。
致谢
本工作得到中国河北省高等学校科学研究项目（QN2025012）和华北理工大学医学工程融合重点专项计划（"结帮挂帅"）（2D-Y9-JBGS202503；项目名称："多模态图像融合与AI驱动的放疗靶区智能勾画系统开发"）资助。
郑鹤志|黄小红|葛艳雷|张兆|张月|张榕涵
