基于改进RT-DETR的EK80声学回声图图像中虾类检测与计数

《Frontiers in Marine Science》：Improved RT-DETR-based detection and counting of shrimp in EK80 acoustic echogram images

　　

针对EK80声学回声图图像中虾类目标检测的准确性挑战，其个体尺寸小、高密度聚集和强背景杂波共同阻碍传统目标检测模型。为解决这些问题，研究人员提出一种基于RT-DETR（Real-Time Detection Transformer，实时检测变换器）的增强检测框架。该方法引入三项关键改进：集成高效多尺度注意力（Efficient Multi-Scale Attention, EMA）机制以增强特征表示；增加专用P₂检测层以更好捕获小目标的细粒度信息；采用Focal Loss与Wise-IoU（WIoU）组合损失函数以缓解类别不平衡并细化边界框回归。实验评估表明，改进模型获得平均mAP@50为0.844和平均mAP@50–95为0.437，优于基线RT-DETR。此外，通过引入DeepSORT（Deep Simple Online and Realtime Tracking，深度简单在线实时跟踪）进行多目标跟踪和身份关联，所提系统在10个视频片段上实现自动虾类计数，平均准确率为83.32%。这些结果证明所提方法在复杂声学图像中增强检测、跟踪和计数性能的有效性，为核电取水安全监测与预警系统等实际应用提供有前景的技术方案。

论文解读：基于改进RT-DETR的EK80声学回声图图像中虾类检测与计数

研究背景与问题：A. chinensis（一种小型浮游甲壳动物）广泛分布于中国沿海，资源分布具季节和空间变化。大量聚集可能对海洋工程基础设施构成风险，沿海核电厂冷却水取水系统在含密集生物海水进入时可能发生生物负载，堵塞取水结构和冷却水系统，导致降功率、停机等风险。因此连续准确监测其丰度对生物风险评估和取水系统安全管理重要。声学传感不依赖环境光照，适合混浊低能见度环境，声学相机和科学回声探测仪可连续观测，回声图包含目标分布、回波强度和时间变化。已有深度学习用于声学图像目标检测、分类和计数，但多集中于鱼类或鱼群，较少关注小型浮游甲壳类，且EK80回声图中小虾目标像素少、密度高、回波弱且与背景混响混淆，仍缺乏连续检测计数方法。研究人员因此开发改进RT-DETR（Real-Time Detection Transformer，实时检测变换器）框架，用于A. chinensis检测、跟踪和计数。

研究开展与结论/意义：研究人员构建专用声学回声图数据集，提出面向任务的RT-DETR改进框架：高分辨率P₂特征层保留极小虾回波空间细节；EMA（Efficient Multi-Scale Attention，高效多尺度注意力）增强异质声学背景下的目标响应；Focal Loss（焦点损失）与WIoU（Wise-IoU，明智交并比损失）处理前景背景不平衡和小目标定位敏感。通过消融实验研究各修改及相互作用，并将检测器与DeepSORT（Deep Simple Online and Realtime Tracking，深度简单在线实时跟踪）集成实现自动计数。结果显示平均mAP@50（mean Average Precision，平均精度均值）0.844、mAP@50–95为0.437，优于基线；10个视频片段平均计数准确率83.32%。该研究为A. chinensis自动声学监测和核电冷却水取水系统生物风险监测提供技术支撑。

关键技术方法：数据由EK80（SIMRAD，Norway）宽带分裂波束回声探测仪单频模式在非消声海水箱3.5 m×3.3 m×1.4 m中采集，换能器深0.6 m，虾体长约3–4 cm。用EK80回放软件生成二维图像序列，每60帧采样一帧，剔除无效噪声帧，Labelme人工标注，共1045图像、10407框，按7:2:1划分。预处理含裁剪、缩放640×640、填充、翻转、亮度/对比度/饱和度调整、随机旋转、高斯模糊、Mosaic和Copy-Paste增强。检测基线为RT-DETR-L（HGNetv2），改进含P₂层、EMA、Focal Loss、WIoU；跟踪计数用DeepSORT。评估含Precision、Recall、mAP、参数量、FLOPs（Floating Point Operations，浮点运算次数）、MOTA（Multiple Object Tracking Accuracy，多目标跟踪准确度）、IDF1和计数误差。

研究结果：
5.1 实验设置：通过比较、消融、定性、计数和计算效率实验评估。基线为RT-DETR，提出模型含P₂、EMA、Focal Loss和WIoU；检测用Precision、Recall、mAP@50、mAP@50–95，效率用参数量、FLOPs、模型大小、CPU内存，计数用MOTA、IDF1、MAE（Mean Absolute Error，平均绝对误差）、相对误差和计数准确率。

5.2 定量结果：
5.2.1 整体检测性能：综合消融以五次独立运行均值±标准差报告。基线Precision为0.811、Recall为0.782、mAP@50为0.818、mAP@50–95为0.428；完整模型分别为0.834、0.841、0.844、0.437，对应p值为0.004、<0.001、0.001、0.016，改善显著。P₂提高Recall和mAP@50，EMA提高Precision，Focal+WIoU提高mAP@50–95；参数量仅从31.99 M到32.21 M，精度与效率折中良好。
5.2.2 与现有目标检测模型比较：与QueryDet、TridentNet、YOLOv10s、DINO、RT-DETRv2比较。提出模型mAP@50为0.844、mAP@50–95为0.437，Recall最高0.841；RT-DETRv2的mAP@50为0.846、mAP@50–95为0.443略高。结论：针对性改进显著改善原RT-DETR，尤其减少漏检，且模型较紧凑；声学虾检测不同于常规视觉。
5.2.3 损失函数消融：无修改损失mAP@50为0.819、Recall为0.781；仅Focal为0.826、0.790；仅WIoU为0.826、mAP@50–95为0.434、Recall为0.796；二者同时mAP@50–95为0.437、Recall为0.798。结论：Focal改善困难分类，WIoU改善边框回归，二者互补。
5.2.4 EMA插入位置消融：在AIFI（Adaptive Intra-scale Feature Interaction，自适应尺度内特征交互）前、AIFI与CCFM（Cross-scale Feature Fusion Module，跨尺度特征融合模块）间、CCFM后比较。无EMA mAP@50为81.9%、mAP@50–95为42.8%；AIFI前最佳84.2%、43.3%；中间82.9%、43.0%；CCFM后83.6%、43.0%。结论：EMA效果依赖插入位置，AIFI前最佳。
5.2.5 P₂融合策略消融：无P₂ mAP@50为81.9%、Recall为78.1%；直接连接82.4%、81.6%；简单FPN融合83.2%、83.1%；提出融合84.4%、43.7%、84.1%。结论：不仅增加分辨率，高分辨率信息融合方式也重要。
5.2.6 计算效率与部署分析：YOLOv10s最低7.24 M参数、21.6 GFLOPs、15 MB、2.1 GB CPU内存；DINO最高47.56 M、187.4 GFLOPs、181 MB、4.8 GB。提出模型32.21 M、138.2 GFLOPs、124 MB、3.6 GB，参数量低于RT-DETRv2-L，FLOPs略高，模型大小和CPU内存与RT-DETRv2-L相当，低于DINO和TridentNet。结论：精度提升且计算复杂度适中，有利连续声学监测部署。

5.3 检测结果定性分析：
5.3.1 检测结果定性分析：选背景诱导假阳性和弱目标漏检案例。背景案例基线置信度0.42超过阈值0.25，提出模型降至0.18；弱目标案例基线0.11漏检，提出模型0.35成功检测。结论：增强特征表示改善生物回波与非目标结构区分，保留弱小虾回波；但声学背景干扰不能完全消除，单帧检测有固有限制。
5.3.2 计数性能与跟踪器比较：10个独立视频片段，每段600 s、约18000帧、30帧/s，人工参考为[105,112,118,121,108,115,126,110,119,114]个体。同一检测结果下比较SORT、ByteTrack、DeepSORT。SORT MOTA为72.18%、IDF1为65.41%、MAE为28.4、准确率74.88%；ByteTrack为77.46%、72.96%、21.3、81.08%；DeepSORT为81.35%、77.61%、18.7、相对误差16.68%、准确率83.32%。结论：DeepSORT结合运动与外观关联，计数最稳定；计数受漏检、间歇回波、重叠、轨迹碎片和身份切换影响。

5.4 讨论：改进主要来自小弱目标表示改善而非大幅增加复杂度。P₂保留高分辨率空间信息，EMA抑制类虾背景，其插入位置影响效果；Focal和WIoU分别缓解分类不平衡和定位低质量样本；相比RT-DETRv2，参数量和CPU内存增加小，mAP@50提高明显，有利连续监测。跟踪显示检测精度与计数精度不等同，声学外观判别性弱，跟踪器需适配声学目标。局限为有限声学序列，未覆盖密度、物种、背景、水深和环境变化，且主要用单帧信息。未来需时间特征建模、多频信息、声学物理约束和更稳健轨迹关联。

6 结论翻译：研究人员开发了基于改进RT-DETR的框架，用于EK80声学回声图中虾类检测。所提方法集成高分辨率P₂特征层、EMA、Focal Loss和WIoU Loss，以改善声学图像中小而弱虾目标的表示和检测。实验结果表明，所提模型平均Precision为0.834、Recall为0.841、mAP@50为0.844、mAP@50–95为0.437，而基线RT-DETR分别为0.811、0.782、0.818和0.428。Recall提高表明该架构特别有利于恢复难以与声学背景区分的弱小小虾目标。消融实验表明各组件均有贡献：P₂提供更高分辨率空间信息，EMA增强目标与背景判别，Focal Loss和WIoU Loss分别改善困难样本分类和边界框定位；EMA插入位置和P₂融合策略实验支持所选配置。与若干传统和近期检测模型相比，所提方法在保持较紧凑结构的同时取得有竞争力性能，模型含32.21 M参数。进一步，将检测器与多目标跟踪结合，DeepSORT提供更可靠轨迹关联，平均计数准确率83.32±3.20%，表明可从帧级识别扩展到自动丰度估计，为监测冷却水取水系统虾类涌入提供信息。局限包括：训练评估条件有限，对不同虾种、体长、水深、密度和背景泛化未充分验证；主要依赖单帧特征，轨迹碎片、错误关联、暂时消失和错误初始化仍造成计数误差；高分辨率P₂和注意力操作降低推理速度。未来将扩展数据集、引入时间与多频声学特征、改进轨迹关联和域适应。总体而言，研究证明深度学习声学图像检测与多目标跟踪结合用于自动虾监测的可行性，为非侵入式评估EK80观测中虾丰度提供基础，但大规模部署前仍需更广泛数据集、更强声学域表示和更稳健时间建模。