《Frontiers in Marine Science》：Spatial attention–driven hybrid Vision Transformers for automated classification of crown-of-thorns starfish in coral reef ecosystems
编辑推荐：
珊瑚礁在海洋生态中扮演着主要角色，是许多水生生物的家园和庇护所，并且在支持当地经济方面相当重要。珊瑚白化对珊瑚礁构成的危险，加上棘冠海星（Acanthaster planci）的入侵，可能对这些脆弱的珊瑚群落造成广泛损害。通常的做法是由潜水员和浮潜者人工识别这
珊瑚礁在海洋生态中扮演着主要角色，是许多水生生物的家园和庇护所，并且在支持当地经济方面相当重要。珊瑚白化对珊瑚礁构成的危险，加上棘冠海星（Acanthaster planci）的入侵，可能对这些脆弱的珊瑚群落造成广泛损害。通常的做法是由潜水员和浮潜者人工识别这些海星。本研究提出一种基于深度学习的自动方法，用于在其自然水下环境中检测和分类此类物种。在架构设置上，该系统融合了先进类型的卷积神经网络（CNN）与视觉Transformer（ViT）模型。本研究在海洋物种数据集上评估了多种预训练的CNN和Transformer模型，MobileNetV3-Small的测试分类准确率为91.80%，VGG19为94.54%，ResNet50为94.54%，DenseNet121为95.90%，Swin-Tiny为97.54%，CrossViT为97.54%，FastViT-T8为97.81%。研究人员提出的空间注意力Swin + FastViT + CrossViT框架实现了99.18%的整体测试分类准确率。这将使检测过程更加安全、快速，并且在珊瑚礁保护方面更加可靠。
一、研究背景与问题
珊瑚礁被誉为"海洋中的热带雨林"，虽然仅占海底面积不到百分之一，却为约四分之一的海洋物种提供栖息、觅食之所，同时作为天然第一道防线吸收高达90%的波浪能量，防止海岸侵蚀与洪水损害，并在维持地球碳氮循环和海洋化学平衡中发挥关键作用。此外，珊瑚礁旅游业是许多沿海地区经济的重要支柱。然而，全球变暖导致的珊瑚白化、污染和海洋酸化已对珊瑚礁构成严重威胁，而棘冠海星（Crown-of-Thorns Starfish, COTS）的暴发性增殖更是对珊瑚礁生态系统的重大自然危害。这种具有大型毒刺、体型可达四十厘米宽、拥有十二至二十三只毒腕的海星，通过外翻胃部并分泌酶类分解珊瑚组织，每年可消耗数平方米珊瑚，在每公顷超过一千只的种群爆发时可迅速摧毁整片珊瑚礁。天敌（如大法螺）的过度捕捞、营养物污染和海水升温促进了海星幼体存活率提高，导致其种群过度增长。传统的人工监测方法如曼塔拖拽法（Manta Tow）、潜水员调查和水下摄影存在人为误差，亟需自动化智能监测系统。
深度学习与计算机视觉已显著提升了水下图像检测与分类的精度，但卷积神经网络（CNN）虽常用于特征提取，却需要大量标注数据和显著计算资源，且难以捕捉长距离空间关系；水下浑浊度、光照变化和沉积物等条件又严重遮蔽细节。相比之下，基于Transformer的模型能保持精细细节和整体场景结构，并关注图像重要区域，在低能见度和复杂光照的水下环境中表现优异。已有研究多仅识别海星的存在性，本研究则进一步将图像分为五个视觉相似、易混淆的类别。
二、研究内容与结论
研究人员提出一种深度混合学习方法，基于三种Transformer架构——Swin Transformer、FastViT和CrossViT，结合空间注意力机制，实现水下生物自动识别与分类，具体将图像分为棘冠海星（COTS）、海胆（Echinoidea）、海羽星（Crinoidea）、向日葵海星（Pycnopodia helianthoides）和珊瑚礁（Scleractinia）五类。研究结果表明，CNN模型准确率介于91.80%至95.90%之间，Transformer模型介于97.54%至97.81%之间，而提出的空间注意力Swin + FastViT + CrossViT框架在海洋物种分类任务中达到最高99.18%的准确率。该框架融合了大尺度与局部细节特征，在多种水下场景中均能准确识别，为广泛珊瑚礁监测和保护提供了有前景的技术方案，使检测过程更安全、更快速且更可靠。
三、关键技术方法
研究使用了来自Kaggle的2,438张水下海洋生物照片数据集，涵盖五个类别：棘冠海星（546张）、海羽星（436张）、向日葵海星（363张）、海胆（287张）和珊瑚礁（806张）。数据按分层抽样策略划分为70%训练集（1,706张）、15%验证集（366张）和15%测试集（366张），保持各类别分布一致。数据增强仅应用于训练子集，包括水平与垂直翻转、不超过0.2弧度的旋转、不超过0.2的缩放、0.2的水平与垂直平移以及0.2的对比度调整，且增强后的图像不跨子集出现，防止数据泄漏。研究评估了VGG19、MobileNetV3-Small、DenseNet121、ResNet50四种CNN模型以及Swin-Tiny、FastViT-T8、CrossViT三种Transformer模型，并提出了空间注意力Swin + FastViT + CrossViT混合框架。该框架对每个分支独立应用空间注意力模块，通过通道维平均池化和最大池化结合7×7卷积与Sigmoid激活生成注意力图；三个骨干网络提取的特征经标准化后投影至公共256维特征空间，采用自适应门控特征融合（Adaptive Gated Feature Fusion）学习各骨干的贡献权重，最终经层归一化（LayerNorm）、128神经元全连接层（GELU激活）、Dropout（0.30）和五类Softmax输出层完成分类。训练采用AdamW优化器，骨干网络学习率1×10??、融合网络3×10??，权重衰减1×10??，骨干网络批大小16、融合网络批大小64，骨干网络训练15轮、融合网络100轮，早停机制分别为4轮和12轮，学习率调度器为ReduceLROnPlateau，损失函数为交叉熵损失。
四、研究结果
4.1 模型性能对比
在366张测试图像上，CNN模型准确率从91.80%（MobileNetV3-Small）到95.90%（DenseNet121）不等；Transformer模型中FastViT-T8最高达97.81%，Swin-Tiny和CrossViT均为97.54%。双模型混合进一步提升了性能，Swin-Tiny + CrossViT达98.91%。提出的空间注意力Swin + FastViT + CrossViT框架以99.18%的准确率、精确率、召回率和F1-score全面领先。
4.2 扩展评估指标
提出的模型在宏精确率（99.36%）、宏召回率（99.23%）、宏F1-score（99.30%）、ROC-AUC（99.99%）、马修斯相关系数MCC（0.9894）和Cohen's κ（0.9894）上均优于所有单一Transformer和混合模型，表明空间注意力特征融合策略有效结合了三种Transformer的互补优势，产生高度判别性的特征表示，分类鲁棒性强，预测与真实标签一致性极佳。
4.3 错误分析
CNN模型在测试集上产生15至30个分类错误，单一Transformer和混合模型将错误降至4至9个。提出的模型在366张测试图像中正确分类363张，仅3张误分类，为所有评估模型中最佳。
4.4 训练行为与特征可视化
学习曲线显示训练和验证准确率均接近1，损失稳定趋近于零，宏精确率、宏召回率、宏F1-score和MCC在约第20轮后均稳定在0.98以上。混淆矩阵显示各类别分类正确率高，t-SNE可视化显示五类海洋物种的融合特征表示形成清晰聚类。
五、讨论与结论
研究讨论指出，CNN模型在分类精度上低于Transformer架构，原因在于CNN难以捕捉长距离空间关系，而水下浑浊、光照变化等条件进一步遮蔽了细节特征。Transformer模型通过自注意力机制能同时考虑大尺度空间特征和精细表面特征，因此精度更高。混合Transformer模型通过组合互补特征进一步提升了性能。空间注意力模块使网络聚焦于棘冠海星独特的棘刺等判别性元素，自适应门控融合则学习各骨干网络的最优贡献权重。研究结论认为，提出的空间注意力Swin + FastViT + CrossViT框架为水下海洋物种自动分类和棘冠海星检测提供了可靠高效的解决方案，在珊瑚礁保护中具有广阔应用前景，使检测过程更安全、更快速且更可靠。
