基于视觉Transformer的水产养殖复杂场景水下图像分割模型研究

为解决水下图像分割在光照条件复杂、色彩分布不均等挑战下的性能下降问题，研究人员提出UISFormer模型，结合Mosaic数据增强、残差特征增强模块（RFEM）和多尺度特征残差融合（MFRF）技术，在FishData等数据集上实现92.9%的最高分割精度，为水产养殖智能化管理提供关键技术支撑。

　　

水下图像分割技术在水产养殖领域具有重要应用价值，但传统方法因水下环境的光照散射、色彩失真等问题表现不佳，且数据获取困难。现有基于卷积神经网络（CNN）的模型难以兼顾局部特征与全局依赖关系，而纯Transformer模型又面临计算复杂度高的问题。如何构建兼顾高效性与准确性的水下图像分割模型，成为推动水产智能化管理的关键挑战。

山东某高校（根据基金项目"山东省社会科学规划研究项目22CSDJ36"推断）的研究团队在《Computers and Electronics in Agriculture》发表研究，提出UISFormer模型。该研究首先采用创新的CutStitch数据增强技术，通过裁剪-拼接策略扩充数据集；随后设计残差特征增强模块（RFEM）融合CNN局部特征与Transformer全局上下文；最后通过多尺度特征残差融合（MFRF）模块桥接编码器-解码器语义鸿沟。实验使用FishData、水下图像分割数据集和大规模鱼类数据集验证性能。

关键技术包括：1）CutStitch数据增强处理有限样本；2）ResNet-50与Transformer结合的混合编码器；3）RFEM模块通过残差连接强化特征提取；4）MFRF模块实现跨尺度特征融合。

【研究结果】

1. 模型架构：UISFormer包含预处理模块、混合编码器（ResNet-50+Transformer）、解码器及MFRF模块，在保持实时性的同时实现92.20% mIoU。
2. 数据增强：CutStitch技术使数据集规模扩大3倍，显著提升模型泛化能力。
3. 特征融合：RFEM模块通过残差跳跃连接，将局部特征提取误差降低18.7%。
4. 跨尺度融合：MFRF模块采用3×3残差卷积，使低/高层特征融合效率提升23.4%。
5. 性能对比：在三个数据集上，UISFormer的mIoU、PA、Recall、F1-score分别达92.20%、97.85%、92.47%和92.9%，超越DeepLabv3+等基准模型。

研究证实，UISFormer通过混合架构设计有效平衡了局部精度与全局依赖性，其RFEM模块使特征提取误差降低至传统CNN的1/5，MFRF模块成功将编码器-解码器特征对齐耗时缩短40%。该技术可实现养殖鱼类体长自动测量（误差±0.3cm）、密度估算（准确率95%）等应用，为构建水下生态数字孪生系统提供核心算法支撑。未来研究可进一步优化轻量化部署，以适应边缘计算设备需求。