《Ecological Informatics》:Advancing AI-based species identification for marine bycatch monitoring: Insights from faster R-CNN experiments
编辑推荐:
副渔获物仍是海洋巨型动物死亡的主要来源,但在业务规模上可靠的物种级监测十分罕见。进展受限于在具有挑战性的船载条件下识别物种的困难(杂乱背景、小而遮挡目标、多变光照、运动模糊)。研究人员提出了一种计算机视觉工作流,其中两阶段检测器(Faster R-CNN)提供
副渔获物仍是海洋巨型动物死亡的主要来源,但在业务规模上可靠的物种级监测十分罕见。进展受限于在具有挑战性的船载条件下识别物种的困难(杂乱背景、小而遮挡目标、多变光照、运动模糊)。研究人员提出了一种计算机视觉工作流,其中两阶段检测器(Faster R-CNN)提供高精度分类,并可搭配单阶段检测器(YOLO)进行快速分诊。模型在来自拥挤渔船甲板的类平衡图像数据集上训练,取得了强劲的宏平均性能(F1≈0.83),对困难类别也具有稳健结果。数据集特定的锚框(anchor)调优产生了更紧致、中心更好的边界框,提高了分类器置信度并减少了短鳍灰鲭鲨(shortfin mako)与蓝鲨(blue shark)等困难且形态相似的类对间的混淆。组合流水线平衡了速度与精度,可实现可扩展的副渔获物监测:YOLO 维持吞吐,而 Faster R-CNN 在保护风险最高的决策处保障准确性。由于组件模块化,该方法可通过再训练/微调跨船队、类群和区域迁移,为支持可持续渔业的自动化生物多样性评估提供实用路径。
研究背景方面,保护海洋生物多样性需要可靠且能分辨物种的副渔获物估算。副渔获物死亡威胁非目标类群(如鲨鱼、海龟及其他易危物种)并削弱保护成效。传统监测依赖稀疏观察员覆盖、自行报告与临时拍照,资源密集、易错且范围窄;多数船队缺乏可扩展、准确的物种级识别能力,尤其在低光与杂乱甲板下对相似类群的区分存在困难。尽管电子监控(Electronic Monitoring, EM)在扩展,但将影像转化为可信的物种组成仍是瓶颈。现有深度学习(Deep Learning, DL)在船载 EM 中针对副渔获物巨型动物(特别是鲨鱼与海龟)的研究在同行评审中几近空白,已有工作多聚焦海鸟互动、减缓装置、商业鱼类计数或金枪鱼与旗鱼分类。同时,可部署系统须平衡处理速度(应对大批量数据)与精度(避免高保护价值物种的代价高昂错误),单一快速检测器通常不足。为此,在 REDUCE-EU 项目框架下,研究人员提出以 Faster R-CNN 为核心、YOLO 为前端的模块化双阶段框架,面向东中大西洋受威胁巨型动物副渔获物诊断与减缓。
关键技术方法上,研究人员使用 DataFish 采集、REDUCE 合作方筛选的渔业源图像,按 FAO/OBIS 标准聚合为五类群(BTH_OCS、SPL、TES、SMA、BSH),每类 120 张共 600 张,类平衡且按类群分层划分 80/10/10 训练验证测试并做五折交叉验证;无数据增强。检测器侧采用 YOLOv12-n 与 YOLOv12-x(单阶段、anchor-free、1024×1024 输入)作快速分诊,以及 Faster R-CNN(ResNet-50 FPN 骨干、ImageNet 预训练、短边 800 长边 1333 等比缩放)作精细分类。Faster R-CNN 引入双早期停止(mAP@[0.50:0.95] 与 elbow-mAP)、ReduceLROnPlateau 调度,并将默认锚框替换为依据数据集中边界框统计得到的定制锚框(scales=[92,130,227,358,402],ratios=[0.33,0.5,1.0,2.0,3.0])。评估采用宏精度/召回/F1、mAP@0.50、mAP@[0.50:0.95] 及混淆矩阵,指标跨五折取均值±标准差。
研究结果部分,首先“双准则早期停止带来稳定收敛且过拟合最小”:五折训练-验证曲线显示 mAP@[0.50:0.95] 与 elbow-mAP 稳步上升并在早期停止前企稳,所选检查点对应 F1 平稳或改善段,无系统性晚期发散,ReduceLROnPlateau 步降先于平台期,支持 80/10/10 划分与双停止可复现。其次“Faster R-CNN 应对分类关键情形:整体与逐类表现”显示,默认锚框下宏精度 0.90±0.04、宏召回 0.79±0.04、宏 F1 0.84±0.04,mAP@0.50 为 0.76±0.06,mAP@[0.50:0.95] 为 0.37±0.02;逐类中 BTH_OCS、SPL、TES、BSH 召回均佳(0.85/0.88/0.82/0.77),SMA 最难(召回 0.65±0.07),错误集中于误判为 BSH;YOLOv12-n 训练约 10 分钟但 SMA 召回仅 0.60,YOLOv12-x 训练 2–4 小时且召回降至 0.37,Faster R-CNN 以约 90 分钟取得最优精度-计算权衡。第三“罕见物种可靠性鸿沟:面向业务收益的靶向锚框调优”表明,换用定制锚框后宏 F1 仍约 0.83,SMA 召回由 0.65 升至 0.70(相对增 7.7%),SMA→BSH 混淆减少,每折训练时间降至 30 分钟内,定位更紧致且背景泄漏降低。第四“更锐利定位、更清晰预测:SMA/BSH 案例”通过预测框对比指出,默认锚框对 BSH 给出偏松偏中心偏移框(置信 0.83)含多余甲板背景,定制锚框下框更紧中心更好(置信 0.97);SMA 在默认锚框下定位尚可但翻为 BSH(0.78),定制锚框下保持 SMA(0.85),证明误分更多源于类级歧义而非纯定位失败。
讨论部分总结,研究人员指出在规模化渔业监测中通量必要但不充分,错误分类成本对非目标或保护种不对称;YOLO→Faster R-CNN 同步流水线以置信度与保护优先级分诊,在保速的同时于高风险处保精度。两阶段架构与数据集特定锚框缩小了罕见种可靠性鸿沟,尤其提升短鳍灰鲭鲨识别,紧框降低背景泄漏与 SMA?BSH 混淆,使死亡率估算不确定性下降。双早期停止与经验锚框调优为低复杂度可迁移设计;宏指标均衡关注各类,混淆矩阵与逐类指标使误差结构可审计,可支撑种群评估、减缓措施评价与合规。局限在于 SMA 召回仍中等,未来需更多困难场景样本、适度增强、后验分数校准与逐种阈值,以及视细粒度线索引入 Vision Transformers(ViT)等骨干,但前端 YOLO 可保留。该模块化框架随 EM 扩展可跨区跨种再训练部署。
结论部分翻译:本实验表明 Faster R-CNN 能从具挑战性的船载图像提供稳健物种识别,在生态图像分类中取得速度与精度的实用平衡,并在精度关键任务上优于 YOLO。模型提升了罕见且生态重要类群的分类,解决了生物多样性监测常见局限。自定义锚框为困难类带来增益,表明数据集特定调优可提升性能。然而短鳍灰鲭鲨的中等召回凸显相似种持续挑战,强调需更大数据集与互补架构(如用于细粒度识别的 Vision Transformers)以进一步提升。YOLO 对实时检测仍有价值,但其与 Faster R-CNN 的集成在最关键处保障精度。以 Faster R-CNN 为中心(可选物种级细化器)的模块化监测框架可在真实作业条件(高活跃甲板与舷边/水线场景)下提供可靠副渔获物识别,并与 YOLO 同步保速。该方法在生态风险集中处——困难、罕见或形态相似类群——提升性能,从而降低副渔获物评估不确定性,强化保护与管理的证据。SMA 案例说明超越宏平均分数,定位的定性改进可减少类级混淆,增强对罕见高风险类的信心。最终,YOLO 与 Faster R-CNN 的新颖集成结合特定锚框适应及在困难船载条件下的严谨评估,支撑了一个自适应可扩展 AI 流水线,随 EM 扩展可支持渔业高可靠生物多样性监视,并为减缓策略、法规合规与保护规划提供信息。该文发表于《Ecological Informatics》。