MIP-Net：一种具有局部自适应对比度的多尺度倒金字塔网络，用于水下物体检测

《Neural Networks》：MIP-Net: Multi-Scale Inverted Pyramid Network with Local Adaptive Contrast for Underwater Object Detection

　　

摘要

水下物体常常面临严重的视觉质量下降问题，包括水中的杂质导致的强烈背景噪声、光学散射造成的边界模糊，以及复杂环境中的小物体丢失现象。这些因素共同给水下物体检测带来了巨大挑战。为了解决这些问题，我们提出了专为水下物体检测设计的多尺度倒金字塔网络（MIP-Net）。与传统的特征融合方法不同，MIP-Net通过两个关键组件引入了全新的设计思路：局部自适应对比度模块和多尺度倒特征金字塔网络。与常规的全局注意力机制不同，局部自适应对比度模块能够逐层有选择地调整特征内部的对比度，从而为动态特征调节提供理论依据，避免高频细节的丢失。同时，多尺度倒特征金字塔网络则通过将双金字塔双向流与严格的数学前景-背景分离策略相结合，有效将目标信息与复杂的背景噪声分离开来。在官方DUO基准测试上的实验表明，MIP-Net的准确率达到了70.1%，超过了现有的单阶段、双阶段以及基于Transformer的方法，同时在计算效率与精度之间取得了良好的平衡。此外，在陆地COCO数据集上的测试也显示出45.6%的准确率，进一步证明了该框架出色的跨领域通用能力。相关代码可在以下地址获取：https://github.com/YitengGuo/MIP-Net

引言

水下物体检测是保护海洋生态系统以及提升整体社会经济抗风险能力的重要技术，它还能为追踪海洋污染、目标导向的视觉导航等应用提供支持。随着深度学习的不断发展，智能水下物体检测已成为无人海洋探测平台及水下无人艇的重要技术支撑。然而，由于水下成像所面临的恶劣物理条件，水下物体检测仍然是一项极具挑战性的任务。根据经典的Jaffe-McGlamery模型，视觉质量下降主要由两种现象导致：光吸收会使得能量迅速衰减，对比度降低；而悬浮杂质带来的光学散射则会导致图像模糊、边界不清。这些因素会严重影响小型海洋生物的识别，这一问题与航空成像和遥感中的去雾问题类似。如何解决小物体丢失的问题仍是当前研究的重要课题。

虽然通用物体检测方法在清晰场景下已经取得了不错的效果，但直接将其应用于水下环境时，由于领域差异过大，其性能往往不尽如人意。近期出现的基于Transformer的模型虽然利用了全局自注意力机制，但在视觉质量较差的水下环境中，全局矩阵往往无法有效区分模糊的物体和浑浊的背景。因此，需要一种新的方法——通过显式的局部高频增强和卷积式多尺度空间重建，来分离水中的杂质，从而更好地应对不同的视觉退化情况。为了便于读者理解，我们在图3中提前展示了所提出框架的结构示意图。这一领域的不足凸显出开发针对特定任务的专用架构的迫切需求。

深度学习的快速发展为水下物体检测带来了显著进步，它使得分层特征建模和更强大的目标识别成为可能。不过，现有的深度学习模型依然难以完全克服水下图像固有的视觉退化问题和环境变化带来的影响。近期有一些研究开始采用基于Transformer的模型，这类模型通过全局自注意力机制来捕捉长距离依赖关系，虽然在清晰场景下表现优异，但对于水下图像中极为复杂的局部情况，仅依靠全局上下文往往无法有效区分模糊的物体和浑浊的水体，此时就需要显式的局部高频增强手段。同样，像FPN或BiFPN这样的传统多尺度网络在多次上采样过程中往往会削弱精细的空间特征，从而影响对小型海洋生物的精准定位。在物体检测领域，双阶段方法虽然精度较高，但会带来更高的延迟和计算成本；而单阶段检测器则因为采用端到端的处理方式，更适合实时应用和轻量级系统。不过，这类方法的性能仍然容易受到水下能见度下降的影响。如图1所示

为了解决这些难题，我们提出了MIP-Net，这是一种端到端的检测框架，专门用于从质量下降的水下背景中分离出难以识别的目标。与传统的设计思路不同，MIP-Net采用了基于理论的多尺度倒金字塔结构。它并非简单地将各种特征进行叠加，而是建立了一个闭环优化流程：一方面将高层语义信息向下传递，另一方面注入精细的空间特征信息，以恢复丢失的细节。此外，我们还设计了局部自适应对比度模块，该模块通过动态调节局部对比度，克服了传统通道注意力机制的局限性——后者通常依赖全局平均池化，会导致重要纹理信息被平滑处理。实验结果表明，我们的方法在性能上优于现有的先进检测算法。

我们的工作主要贡献如下：

• •
  我们提出了多尺度倒金字塔网络MIP-Net，这种框架通过引入双金字塔优化机制，突破了传统FPN架构的局限，能够更准确地恢复被水下散射现象抑制的高频空间细节。
• •
  我们设计了局部自适应对比度模块，与传统的注意力机制不同，该模块能够从浅层到深层逐步调整特征内部的局部对比度，从而在视觉质量极差的情况下也能有效清晰化目标边界。
• •
  我们在多尺度倒特征金字塔网络中加入了基于数学原理的背景隔离模块，该模块通过生成专门的前景-背景分离掩码，将目标特征与水中的干扰噪声有效分开。

章节要点

相关工作

在水下物体检测领域，已有许多模型被提出，用于解决光吸收、光学散射以及复杂背景干扰等问题。这些模型主要集中在提升特征提取的性能和稳定性上。总体而言，水下物体检测方法可以分为几类：单阶段检测、双阶段检测，以及基于注意力机制或Transformer的方法。

方法

MIP-Net的架构如图3所示。在详细介绍各个子模块之前，首先需要明确说明MIP-Net与现有特征融合及注意力机制框架的不同之处。与依赖线性加性特征混合的传统FPN或BiFPN架构不同，后者在视觉质量较差的水下环境中容易产生多余的噪声耦合，而MIP-Net则采用了闭环式双金字塔优化结构，并结合了严格的数学算法

实验

在本节中，我们对所提出的MIP-Net在多个基准数据集上的性能进行了全面评估。首先介绍相关数据集和评估指标，然后说明模型的实现细节。随后，我们从定性和定量两个方面将MIP-Net与各种单阶段和双阶段检测方法进行比较。最后，我们通过消融实验来验证各设计模块的有效性。

结论

在本研究中，我们提出了多尺度倒金字塔网络MIP-Net，用以解决水下物体检测中的核心问题，包括背景干扰、边界模糊以及小物体丢失等问题。通过整合局部自适应对比度模块和多尺度倒特征金字塔网络，该框架能够有效调节局部频率对比度，并通过数学方法将目标特征与噪声分离。在官方DUO基准测试以及陆地COCO数据集上的大量实验都证明了该框架具备出色的检测精度，

CRediT作者贡献说明

曲培新：论文撰写——审阅与编辑、论文撰写——初稿、方法设计。 郭一腾：正式分析、数据整理、概念构建。 李国厚：项目管理、调研、资金申请。 庄佩贤：监督指导、软件开发、资源协调。 李德光：结果可视化、性能验证。 赵文毅：结果可视化、数据整理。 梁政：调研工作、正式分析。 张卫东：论文撰写——审阅与编辑、论文撰写——初稿、概念构建。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益关系或个人关联。

致谢

本项研究得到了中国国家自然科学基金（项目编号62171252和61701245）、中国博士后科学基金（项目编号GZC20240163和2024M750747）、河南省高等学校青年骨干教师培养计划（项目编号2025GGJS099）、河南省研究生教育改革项目（项目编号2025SJGLX208Y）以及河南省科技重大专项（项目编号262102111174）的支持。

曲培新|郭一腾|李国厚|庄佩贤|李德光|赵文毅|梁政|张卫东