基于通道注意力的新型滤波器剪枝方法在低复杂度语义分割模型中的应用研究

《Machine Learning with Applications》：Novel Channel Attention-Based Filter Pruning Methods for Low-Complexity Semantic Segmentation Models

针对语义分割模型计算复杂度高、难以部署在资源受限平台的问题，研究人员提出两种新型通道注意力滤波器剪枝方法SACA和SBCA。通过评估特征图重要性，该方法将U-Net模型参数减少至1.1%，模型大小压缩至1.22MB，同时保持96%的Dice系数，显著优于传统l1-norm和SE等基准方法，为医学图像实时分析提供了高效解决方案。

　　

在深度学习技术飞速发展的今天，语义分割（Semantic Segmentation）已成为医学影像分析领域不可或缺的工具。U-Net和DeepLabV3+等模型凭借其优异的性能，在器官分割、病灶检测等任务中展现出巨大潜力。然而，这些模型普遍存在参数量大、计算复杂度高的问题，一个标准的U-Net模型就需要118MB的存储空间，这严重限制了其在便携式医疗设备和实时诊疗系统中的应用。如何在保持模型性能的同时大幅降低计算资源需求，成为当前医学人工智能领域亟待解决的关键问题。

传统模型压缩方法如量化（Quantization）和知识蒸馏（Knowledge Distillation）虽有一定效果，但压缩率有限。滤波器剪枝（Filter Pruning）作为结构化剪枝的重要分支，通过直接移除卷积层中不重要的滤波器来精简模型，展现出独特优势。然而，现有方法多基于滤波器权重的l₁-norm或l₂-norm等简单度量，未能充分考虑特征图的上下文重要性。更值得注意的是，针对语义分割模型的注意力机制（Attention Mechanism）剪枝研究几乎空白，这为创新方法开发提供了广阔空间。

为突破这一技术瓶颈，来自美国南阿拉巴马大学的Md. Bipul Hossain团队在《Machine Learning with Applications》发表了创新性研究成果。研究团队基于两种新型通道注意力（Channel Attention）机制——子采样感知通道注意力（Sub-Sampling Channel Attention, SACA）和自注意力通道注意力（Self-Attention Based Channel Attention, SBCA），开发了专门针对语义分割模型的滤波器剪枝框架。该研究使用Montgomery肺部分割数据集和ISIC 2018皮肤病变分割数据集进行验证，通过集成全局平均池化（GAP）和全局最大池化（GMP）的混合策略，结合一维卷积（Conv1D）和Transformer自注意力机制，实现了对滤波器重要性的精准评估。

关键技术方法包括：1）构建基准U-Net和DeepLabV3+模型，采用加权交叉熵（W_CE）、Dice和广义Dice（G_DC）三种损失函数优化；2）设计SACA模块，通过Tanh和Softmax学习GAP/GMP的重要性权重；3）开发SBCA模块，利用自注意力机制生成通道重要性评分；4）基于重要性评分实施分层滤波器剪枝，最高剪除90%滤波器；5）采用Dice系数（D_C）、交并比（IoU）等指标评估性能，并计算参数压缩率（PR）和浮点运算减少率（FR）。

研究结果部分展示了创新性发现：

3.1. 基准模型性能分析

在肺部分割任务中，U-Net和DeepLabV3+均达到0.974的D_C，但在皮肤病变分割中U-Net表现更优（D_C=0.85）。广义Dice损失（G_DC）在处理类别不平衡时展现出优势，这为后续剪枝实验确定了最佳损失函数。

3.2. 剪枝模型性能比较

在90%滤波器剪枝（PF）下，SACA将U-Net模型压缩至1.22MB（PR=98.9%），GFLOPS降至1.06（FR=98.9%），同时保持0.96的D_C。可视化分析显示，相比l₁-norm等方法，SACA生成的分割掩模能更好保留肺叶细微结构，减少假阴性区域。

3.3. 跨架构通用性验证

SBCA在DeepLabV3+的ResNet-50骨干网络上实现86%参数压缩，推理时间从125ms降至111ms。特别是在皮肤病变分割中，其D_C达到0.776±0.002，显著优于传统方法。

3.4. 注意力机制对比

SACA通过动态平衡GAP/GMP贡献，在肺部分割任务中IoU提升1.2%；SBCA则利用查询-键值（Q-K-V）自注意力机制，在复杂边界分割中表现优异。两者均显著优于SE、ECA等传统注意力模块。

讨论部分指出，该研究的创新性体现在三个方面：首先，首次将子采样策略与通道注意力结合，提出参数化的特征图重要性评估方法；其次，将Transformer自注意力机制适配于滤波器剪枝任务，增强了长程依赖捕捉能力；最后，在极端压缩条件下（如98.9%参数移除），仍能保持临床可接受的性能水平。值得注意的是，该方法在肺部分割中的优势更为明显，这可能与肺部相对规则的解剖结构有关。

这项研究为医学影像分析模型的边缘计算部署提供了切实可行的解决方案。未来工作可进一步探索三维医学影像的剪枝策略，并将注意力评分用于模型可解释性研究。该成果不仅适用于医疗领域，对自动驾驶、遥感图像分析等需要实时语义分割的场景同样具有重要参考价值。