基于Swin Transformer V2的剪枝轻量级Transformer结合少样本学习实现超细粒度鱼类个体识别

《Fishes》：Ultra-Fine-Grained Fish Recognition with a Pruned Lightweight Transformer Based on Few-Shot Learning

　　

在水产养殖监测与生态保育中，对鱼类个体进行可靠识别与行为追踪的需求日益增长，然而此类任务往往依赖极有限的图像样本。个体级鱼类识别之所以困难，是因为条纹、斑点和体表标记在个体间的细微差异难以区分，且标注数据集稀缺、构建成本高。为应对这些挑战，研究人员提出Squeeze-and-Excitation特征融合窗口Transformer（SEFFwin），一种源自Swin Transformer V2的轻量级视觉Transformer（Vision Transformer，ViT），用于在极端少样本条件下进行超细粒度鱼类识别。通过结构化剪枝，SEFFwin骨干网（不含任务特定分类层）约含1130万参数。研究人员进一步引入迁移学习、数据增强与知识蒸馏以提升严重受限监督下的模型优化。实验结果表明，SEFFwin在Koi-fish-3基准上取得92.0%的Top-1准确率，优于代表性轻量级基线且保持较高计算效率。事后可解释性分析显示，SEFFwin持续关注生物学有意义的条纹与斑点模式，并能弱定位类别特定区域。这些发现证明，SEFFwin为极端数据稀缺下的鱼类个体识别提供了准确高效的方案，对智能水产养殖与生态监测具有实用价值，同时为低资源细粒度识别的紧凑Transformer设计提供启示。

研究背景方面，个体鱼类识别与追踪是水产养殖、生态监测及海洋资源管理的核心环节，可实现健康 Surveillance、精确存量评估与智能养殖优化。传统流水线受水下光照变化、姿态改变、浊度与遮挡干扰，早前手工特征方法鲁棒性差，近期CNN虽自动学习特征但参数量大、难部署于边缘设备，Vision Transformer（ViT）表达力强但计算开销高。现有研究在少样本、个体级、轻量级Transformer用于细粒度鱼类识别方面存在空白。为此，研究人员开展一项面向养殖单物种个体鱼识别的轻量级Transformer研究，构建Koi-fish-3少样本基准（每类仅2张训练图、100张验证图，共3类306张448×448图像），提出SEFFwin模型，经迁移学习、数据增强与对比表征蒸馏（Contrastive Representation Distillation，CRD）训练，在Koi-fish-3达92.0% Top-1准确率，并在Salmon Aquarium与WildFish上验证外推性，参数量约11.30M，较SwinV2-Tiny参减56.3%、FLOPs减63.6%。该研究为资源受限边缘端个体鱼识别提供准确高效路径，论文发表于《Fishes》。

关键技术方法上，研究人员以Swin Transformer V2为基干，在设计阶段对各阶段Transformer块做深度结构化剪枝，每阶段仅留1个窗口注意力块，以窗口多头缩放余弦注意力（Windowed Multi-head Scaled Cosine Attention，W-MSCA）替代全局注意力，四阶段头数为2/4/8/16；嵌入Squeeze-and-Excitation（SE）通道重标定与深度可分离卷积（Depthwise-separable Convolution，DWConv）做多尺度特征融合；训练时采用ImageNet-1K预训练权重经弹性对比加载做迁移学习，样本队列来自自建Koi-fish-3（黑底平台采2侧视训练图，验证集80%水中自然场景、20%白底），辅以Cut-out/Cut-in/Extract/NoisyBlur/Rotate及RandAugment增强，并以SwinV2-B为教师用CRD对比蒸馏引导学生SEFFwin。

研究结果各节如下。2.1数据集建立：Koi-fish-3为单物种三个体少样本集，训练极简、验证多样，用于严评分布外泛化。2.2方法：SEFFwin含Patch Partition（256→64分辨率，4×4非重叠块）、Linear Embedding（48→96通道）、四阶段Window Transformer Block（W-MSCA+LayerNorm+残差+MLP）、Patch Merging（2×2下采样倍通道）、SE模块（自适应平均池化挤压+两层全连接激发）与DWConv融合，分类头为单层全连接（1440→3），骨干占参97.28%。2.3训练策略：迁移学习将ImageNet-1K预训练权重载入对应阶段，新模块Kaiming初始化；数据增强排除翻转，RandAugment（n=5,m=15）最优；知识蒸馏选CRD，以学生S与教师T表征对比损失L_CRD=λ·H(T,S)结合交叉熵。3.1迁移学习实验：无预训练仅33.33%，预训练微调后54.67%。3.2数据增强实验：单用RoutAugment不佳，RoutAugment+RandAugment（n=5,m=15,衰减0.5）达84.00%；SEFFwin优于MobileNetV3-L与ShuffleNetV2。3.3知识蒸馏实验：CRD较无蒸馏+8%至92%，优于AT/SP/CC/RKD/PKT，CRD+RKD次之，CRD+常规KD无增益。3.4跨方法与跨数据集比较：SEFFwin+CRD在WideFish Rank-1 96.23%、Koi-fish-3 Rank-2 97.67%；Salmon Aquarium（327类目录身份，1724训/640验/512测）mAP与Rank-1具竞争力；WildFish（685已知种，23117训/20550验）Top-1/Top-5接近SwinV2-Tiny；效率上SEFFwin推理19.6 FPS，较SwinV2-Tiny参减56.3%、FLOPs减63.6%、延迟减56.5%、显存减45.6%。3.5结果分析：遮挡敏感热图显示高响应集中于条纹斑点；Guided Grad-CAM与DFF可视化证模型依体表模式而非背景；混淆矩阵示Koi No.3精度最高，No.1与No.2互混因形态近。

讨论部分指出，Transformer注意力适于建模分散体表线索，SEFFwin以窗口注意力保局部、结构化剪枝与多尺度融合降冗余；CRD转移正样本逼近负样本远离的关系结构，契合超细粒度少样本，但CRD叠加常规KD无益，因监督重叠；可解释性证模型学人类式判别模式；相似个体互混反映形态重叠难题；仅3个体属概念验证，需扩群体与场景。结论部分译文如下：本研究提出SEFFwin，一种源自Swin Transformer V2的轻量级视觉Transformer，用于少样本与超细粒度个体鱼识别。因锦鲤识别依赖条纹、斑点与局部色彩等细微空间分布线索，基于Transformer的注意力适于建模判别区关系。SEFFwin结合窗口注意力、结构化剪枝、通道重标定与多尺度特征融合，在保判别表征的同时降低计算成本。在每体仅2训图的Koi-fish-3上达92%准确率；Salmon Aquarium与WildFish补充实验证其超越原少样本设定的适用性。虽SwinV2-Tiny在外集精度更高，SEFFwin参减56.3%、FLOPs减63.6%、延迟减56.5%、峰值显存减45.6%，平衡精度与效率，宜用于资源受限水产边缘设备。未来需在更大量级鱼群与多样环境中验证鲁棒性与可扩展性。