基于边缘-高斯增强与多尺度注意力聚合的轻量化水下海洋垃圾检测网络PMDNet

《Journal of Imaging》：A Feature-Enhanced Multi-Scale Attention Network for Marine Debris Detection in Underwater Imagery

　　

水下海洋垃圾检测仍具挑战性，原因在于光衰减、散射、低对比度、模糊的目标边界以及复杂的海底背景会削弱特征表征，并阻碍对小型、稀疏分布且形状不规则的垃圾进行可靠检测。本研究提出PNEB–MAAN–DUEM网络（PMDNet）以应对上述挑战。PMDNet是一个基于YOLOv11n的紧凑检测框架，通过协同特征增强、注意力引导的多尺度聚合与空间特征重建来改善水下特征表征。并行NARU增强模块（PNEB）通过边缘-高斯特征增强、自适应注意力与归一化残差变换强化边缘感知特征表征。多尺度注意力聚合网络（MAAN）通过将所提出的噪声鲁棒能量注意力（NREA）机制与并行深度可分离空间处理相结合以进行多尺度特征聚合，从而增强上下文特征学习。深度可分离上采样增强模块（DUEM）通过单级2×上采样与轻量化特征细化重建空间特征信息。在一个15类水下垃圾数据集上的实验表明，PMDNet在mAP@0.5与mAP@0.5:0.95上分别较YOLOv11n提升6.3与5.4个百分点（三次训练运行的均值），且仅需10.2 GFLOPs。结果表明，以协同方式整合特征增强、多尺度上下文聚合与空间特征重建，在所评估数据集上提升了总体检测精度。因此，PMDNet提供了一个具有明确精度–计算权衡的紧凑检测框架，但其在特定水下退化条件下的优势仍需进一步验证。

研究背景方面，海洋垃圾污染因对海洋生态系统、生物多样性与海岸环境的持续影响而成为重要环境议题，减少海洋污染亦契合可持续发展目标14（Sustainable Development Goal 14）中保护和可持续利用海洋资源的要求。水下垃圾的准确识别与定位是自动化监测与清理作业的前提，因此研发高效准确的水下垃圾检测算法兼具科学与实用价值。然而水下环境带来多重挑战：光的吸收与散射会扭曲颜色、降低对比度、模糊细节并削弱目标边界，悬浮颗粒、折射与不均匀照明亦会干扰特征提取；小型或稀疏分布的垃圾可能被部分遮挡，或在视觉上与复杂海底背景融合而难以区分；垃圾在尺度、形状、材质与外观上差异显著，水体运动与光照变化还会改变其观测特征。这些因素共同增加了水下场景中可靠特征提取、定位与分类的难度。传统方法依赖人工设计的描述符，如方向梯度直方图（HOG）与尺度不变特征变换（SIFT），当光照、目标外观或背景条件偏离设计预期时性能可能下降。基于卷积神经网络（CNN）的检测器改善了端到端特征学习与检测性能，代表性方法包括基于区域的卷积神经网络（R-CNN）系列、单阶段多框检测器（SSD）与RetinaNet，但通用检测器直接应用于水下场景时，其标准特征提取与融合结构并非针对水下特征退化、弱目标与复杂海底干扰而设计，因而可能得到次优结果。已有研究通过特征增强、注意力机制、多尺度融合、轻量化骨干与专用检测头改进水下检测，但在紧凑的YOLOv11n框架内协同整合边缘感知增强、基于注意力的多尺度处理与上采样重建仍研究不足。为此，研究人员提出PMDNet，将特征增强、多尺度注意力聚合与空间特征重建整合于基于YOLOv11n的端到端检测器中。其方法学贡献主要在于以面向任务的方式组织与整合已有的特征增强、基于注意力的多尺度处理与特征重建操作，三个模块分别置于检测流程的不同阶段并应对水下垃圾检测的互补方面。研究的主要贡献为：(1) 在骨干网络中引入并行NARU增强模块（PNEB），通过边缘-高斯处理、自适应注意力与归一化残差变换强化边缘感知特征表征；(2) 开发多尺度注意力聚合网络（MAAN），通过所提出的噪声鲁棒能量注意力（NREA）机制、并行深度可分离空间分支与序列注意力增强聚合来聚合弱响应与多尺度特征响应；(3) 提出深度可分离上采样增强模块（DUEM），通过单级2×最近邻上采样、深度可分离卷积、批归一化、SiLU激活与逐点通道混合改善空间特征重建。研究的意义体现在两方面：实践上，自动化水下监测与清理需要准确且紧凑的水下垃圾检测器，PMDNet提供了此类检测器，并在公开的15类数据集上明确报告了精度增益与附加计算成本；方法学上，研究通过完整的析因消融、重复训练运行以及容量与操作替换对照来评估三个模块，指出哪些观测增益在多次运行中保持一致、哪些仍未解决，从而为设计紧凑水下垃圾检测器及权衡检测精度与计算量提供透明参考。

研究人员开展的研究为：提出PMDNet这一端到端水下垃圾检测网络，以YOLOv11n为基线，由骨干网络、颈部与解耦检测头组成；PNEB纳入骨干网络用于特征增强，MAAN替换常规深层特征处理组件用于基于注意力的聚合，DUEM替换颈部中的常规上采样操作。研究得出，在所评估数据集上，PMDNet的召回率为0.646，mAP@0.5为0.709，mAP@0.5:0.95为0.459，分别较YOLOv11n基线高3.8、6.3与5.4个百分点；前向吞吐量为294 FPS，计算成本为10.2 GFLOPs；消融结果表明PNEB、MAAN与DUEM以不同方式影响精确率、召回率与定位精度，集成配置取得最高总体mAP值，结合重复运行与附加对照结果，表明在所评估数据集上存在精度–计算权衡。其重要意义在于，将特征增强、多尺度上下文聚合与空间特征重建以协同方式整合可提升总体检测精度，并为紧凑水下垃圾检测器设计及精度与计算量的权衡提供透明参考，但其平衡能否超越当前实验设置仍需在更多数据集与部署平台上进一步评估。

关键技术方法方面，研究采用包含5000张标注图像的水下垃圾检测数据集，该数据集来自Kaggle（Underwater Plastic Pollution Detection，Version 1，2024年3月26日发布，CC BY 4.0），原始发布含5130张图像及预定义3628/1001/501划分，经SHA-256哈希查重与感知哈希（pHash，汉明距离≤5）近重复检测并人工复核后移除130张重复或近重复图像，剩余5000张以固定种子0按图像级随机重划为4000/500/500的训练、验证与测试集；数据集含15个垃圾类别、共14063个标注边界框实例。实验以YOLOv11n为基线，输入分辨率640×640，批大小16，训练300轮，采用AdamW优化器（初始学习率0.001，权重衰减0.0001），前5轮学习率由1×10^?6线性增至0.001，并在第100、200、250轮衰减为0.1倍，最小学习率1×10^?6；YOLOv11n由官方COCO预训练权重初始化，PMDNet中与YOLOv11n共享的层采用相同权重初始化，新引入模块随机初始化。YOLOv11n、PMDNet及所有消融配置的每个报告值均为种子17、42、123三次独立训练运行的测试集均值。研究开展完整的2³析因消融，并进行容量与操作替换对照（加宽YOLOv11n、普通上采样变体、固定分母变体）。评估采用精确率、召回率、mAP@0.5与mAP@0.5:0.95，精确率与召回率在使各类平均F1分数最大的置信度阈值处报告；采用Grad-CAM++生成激活热力图；按COCO面积阈值（小目标低于32²像素、中等322–96²像素、大目标高于96²像素）在640×640分辨率下进行目标尺度分析，并施加固定合成扰动（强度乘以0.60并裁剪至[0,1]、5×5核σ=1.5像素的高斯模糊、围绕图像均值缩放0.70的对比度、σ=0.02的高斯噪声）。推理速度在NVIDIA GeForce RTX 4060 GPU上以FP32、批大小1测量，预热200次迭代后计时1000次前向传播，仅测模型前向时间。实验环境为Python 3.10、PyTorch 2.0.1、CUDA 11.8、Ultralytics 8.3.0与OpenCV 4.8.0，运行于Windows 11。

研究结果方面：4.1 数据集与实验设置，研究构建并固定了5000张图像、15类、14063个标注实例的水下垃圾数据集划分，并统一了训练、评估与计时协议，为后续所有比较提供一致基准。4.2 视觉结果与分析，通过Grad-CAM++可视化末级颈部特征层（P3检测头之前，80×80）的激活响应，显示PMDNet在垃圾目标区域呈现更集中、更面向目标的激活模式，多目标场景中不同目标区域响应更清晰、空间分离更明显，但热力图本身不能确立在退化成像条件下的判别力改进，改进定位或特定水下退化鲁棒性仍需定量评估。4.3 与代表性检测器比较，在相同数据集、划分、预处理、计算环境、输入分辨率与评估脚本下，PMDNet取得最高的mAP@0.5与mAP@0.5:0.95，分别为0.709与0.459，较YOLOv11n分别提升6.3与5.4个百分点，在更严格的mAP@0.5:0.95上超过最强参考检测器YOLOv6-N 3.6个百分点，较Faster R-CNN分别提升22.4与16.0个百分点；PMDNet前向吞吐量294 FPS、计算成本10.2 GFLOPs，高于YOLOv11n、YOLOv8n与YOLOv10n但低于Faster R-CNN、RT-DETR、SSD、YOLOv3-tiny、YOLOv5su、YOLOv6-N与YOLOv7-AC，其优势在于总体检测与定位精度而非单一召回率，体现明确的精度、计算复杂度与推理效率权衡。4.4 消融研究，完整的2³析因消融显示基线精确率0.727、召回率0.608、mAP@0.5为0.646、mAP@0.5:0.95为0.405；单模块中PNEB提高精确率至0.761、mAP@0.5:0.95至0.437但降低召回率与mAP@0.5，MAAN提高召回率至0.653、mAP@0.5与mAP@0.5:0.95至0.670与0.433但降低精确率，DUEM单模块总体最强（mAP@0.5为0.688、mAP@0.5:0.95为0.451）；完整PMDNet取得最高mAP@0.5与mAP@0.5:0.95（0.709与0.459），精确率接近基线（0.723对0.727），召回率由0.608升至0.646；参数量由2585077增至2765677（约增7.0%），计算量由6.3增至10.2 GFLOPs（约增61.9%），表明性能提升应解释为明确的精度–计算权衡而非无附加计算成本的改进。4.5 检测结果可视化，16张代表性测试图像显示PMDNet在多目标场景中为多个垃圾实例分配独立边界框而未合并，框中心与范围大体与可见目标位置一致，覆盖大、中、小尺度目标及暗光照、杂乱海底、不规则轮廓与部分重叠等条件，置信度随类别与场景变化，定性展示定位与评分行为。4.6 逐类检测性能分析，15个类别的AP50在0.657至0.751之间、AP50:95在0.405至0.500之间，Pbottle、Gbottle、Can与Tire的AP50相对较高，Sunglasses与Cellphone相对较低（尤其在更严格的AP50:95下），但所有类别AP50均高于0.65，表明总体性能未集中于少数类别。4.7 重复运行与对照分析，以配对差异在三个种子下均为正且均值至少为样本标准差两倍为一致标准，PMDNet相对YOLOv11n的mAP@0.5:0.95配对差异为0.054、0.059、0.049（均值0.054，标准差0.005），满足该标准；相对DUEM单独配置的差异为0.005、0.013、0.006（均值0.008，标准差0.0044），虽全为正但均值低于两倍标准差，故PNEB与MAAN在mAP@0.5:0.95上超越DUEM的附加贡献未被确立，PNEB+DUEM与MAAN+DUEM相对DUEM亦同；在mAP@0.5上，PMDNet、PNEB+DUEM与MAAN+DUEM相对DUEM的配对差异均值0.021、0.013、0.012满足标准，故附加贡献在0.5 IoU阈值下一致而在更严格阈值下未确立。加宽YOLOv11n参数量更多（3.010 M对2.766 M）而计算量略低（9.3对10.2 GFLOPs），PMDNet在两项指标上均一致超过该对照（mAP@0.5:0.95均值高0.025，mAP@0.5高0.020）；相对普通上采样加卷积变体（配对mAP@0.5:0.95差异0.003、0.007、0.005）与固定注意力分母变体（0.003、0.008、0.005），PMDNet三次运行均更高并在mAP@0.5:0.95上满足标准（后者仅勉强满足），但在mAP@0.5上未一致超过二者（均值差异0.000与0.004），故DUEM的具体操作与NREA的可学习归一化被视为至多带来适度改进且仅在更严格IoU阈值下观察到，DUEM以比普通3×3卷积替代方案少3.3 GFLOPs达到该精度。4.8 目标尺度与受控扰动分析，按COCO面积阈值分组并在共同测试划分上评估，PMDNet在各测试扰动下mAP@0.5:0.95均高于YOLOv11n，但相对干净测试图像的绝对下降对PMDNet（0.056至0.109）略大于YOLOv11n（0.049至0.099），两者差距由0.054缩小至0.038至0.052，相对下降幅度相近（PMDNet为12.2%至23.7%，YOLOv11n为12.1%至24.4%），故PMDNet在测试扰动下保持更高精度但结果未显示其对扰动更鲁棒，且不能确立在自然水下浑浊条件下的性能。4.9 局限性，评估存在四方面边界：实验仅在单一公开水下垃圾数据集上进行，跨数据集、采集设备、水体类型与源级划分的性能尚待确立，且发布数据无源或序列标识，同一场景的相关拍摄仍可能跨子集出现，限制了结果作为对未见场景泛化的解读；三个训练种子仅提供有限的运行间变异估计，约0.005的mAP@0.5:0.95差异应谨慎解读，表5中其他检测器仅训练一次，其与PMDNet的差距不含运行间变异估计，目标尺度结果来自单一测试划分；推理速度在桌面级RTX 4060上测量；代表性失败案例（假阳性分类、漏检与定位误差）仅定性呈现，未构成跨类别与成像条件的系统性定量失败模式分析，未来工作将涵盖跨数据集与源感知评估、嵌入式设备性能分析以及自然图像退化与失败模式的系统分析。

讨论部分总结：研究通过完整的2³析因消融、三次重复运行与容量及操作替换对照，系统评估了三个模块的单独与组合贡献，指出PNEB、MAAN与DUEM以不同方式影响精确率、召回率与定位精度，集成配置取得最高总体mAP值，而固定注意力分母对照表明NREA的可学习归一化仅带来约0.005的mAP@0.5:0.95小幅增益且在mAP@0.5上不一致，不应视为改进的主要来源；同时研究明确PMDNet的精度提升伴随计算量由6.3增至10.2 GFLOPs，其实际适用性应结合可用计算资源与目标应用所需精度来判断，并指出数据集单一、种子数有限、桌面GPU计时与失败模式未系统量化等局限。研究结论部分翻译如下：本研究提出PMDNet，一个端到端水下垃圾检测框架，在YOLOv11n检测器的三个相连阶段整合PNEB、MAAN与DUEM。水下图像退化影响边缘感知特征表征，PNEB旨在强化该表征。通过NREA与并行空间核，MAAN聚合弱响应与多尺度特征响应。固定注意力分母的对照表明NREA中的可学习归一化仅贡献小幅增益（mAP@0.5:0.95约0.005，在mAP@0.5上不一致），因此不应被视为改进的主要来源。DUEM通过每个DUEM一次2×上采样操作、深度可分离细化、批归一化、SiLU激活与逐点通道混合来改善空间重建。三个模块在一个架构中协同工作，以处理具有不同尺度、形状与视觉外观的垃圾目标。PMDNet在所评估数据集上达到0.646的召回率，其mAP@0.5为0.709、mAP@0.5:0.95为0.459，三个值分别较YOLOv11n基线高3.8、6.3与5.4个百分点。PMDNet的前向吞吐量为294 FPS，计算成本为10.2 GFLOPs。根据消融结果，PNEB、MAAN与DUEM以不同方式影响精确率、召回率与定位精度，集成配置达到最高总体mAP值。这些发现连同重复运行与附加对照结果，表明在所评估数据集上存在精度–计算权衡。这一平衡能否在当前实验设置之外稳定迁移，将由在更多数据集与部署平台上的进一步评估来确定。