OShipNet:基于多域融合与多尺度细化的遮挡船舶检测技术 杨胜英(Shengying Yang) 罗浩伟(Haowei Luo) 徐振宇(Zhenyu Xu) 杨静(Jing Yang) 张伟(Wei Zhang)

《Journal of Marine Science and Engineering》:OShipNet: Occlusion Ship Detection Based on Multidomain Fusion and Multiscale Refinement Shengying Yang, Haowei Luo, Zhenyu Xu, Jing Yang and Wei Zhang

【字体: 大 中 小 】 时间:2026年05月01日 来源:Journal of Marine Science and Engineering 2.8

编辑推荐:

  摘要 国际贸易的增长对港口设施的运营需求提出了更高要求,这促使了先进智能监控系统的开发。现有的船舶检测算法在特征混淆和提取遮挡下的上下文特征方面存在困难,从而降低了对象特征与背景噪声之间的区分度。这导致了位置错位和相似目标的不匹配,进而降低了检测精度。为了

  摘要 国际贸易的增长对港口设施的运营需求提出了更高要求,这促使了先进智能监控系统的开发。现有的船舶检测算法在特征混淆和提取遮挡下的上下文特征方面存在困难,从而降低了对象特征与背景噪声之间的区分度。这导致了位置错位和相似目标的不匹配,进而降低了检测精度。为了解决这些问题,我们提出了OShipNet,这是一种旨在优化遮挡船舶检测中特征融合和细化的架构。首先,我们设计了OShipNeXt主干网络,它在频率和空间域提供了互补的特征表示。这种方法能够重建遮挡对象的全局-局部语义关联,增强特征表示并提高检测精度。其次,为了进一步细化目标边界,我们开发了多尺度池化注意力模块(MSPAM)来增强上下文感知并更好地捕捉遮挡的边缘特征。此外,我们提出了一个双路径协作损失函数,以减轻低质量边界框的影响。在MVDD13数据集上的全面评估证明了OShipNet的鲁棒性,其mAP@50达到了94.98%,mAP@50-95达到了84.37%,显示出相对于现有对象检测方法的优势,并为智能港口监控建立了一个有效的框架。

1. 引言
随着人工智能的快速发展,基于计算机视觉的船舶检测技术显著提升了船舶位置和状态的实时监控能力,提高了调度效率。特别是,船舶检测技术在智能碰撞避免[1]和船舶跟踪[2]中发挥着关键作用。目前,研究人员正在探索使用无人机[3]和遥感图像[4]进行智能港口船舶监控。无人机和遥感图像存在固有的局限性(续航能力、空域控制、云层干扰、低分辨率和延迟);它们的计算延迟限制了其在广泛、零延迟的陆地海上监控框架中的应用。因此,最广泛使用的方法仍然是直接使用基于岸上的监控摄像头网络进行实时船舶监控。现有的基于深度学习的岸基监控方法,如ALF-YOLO[5]和PJ-YOLO[6],在解决船舶遮挡问题方面进展有限。然而,在繁忙的港口和主要航道上,船舶交通的高密度往往导致船舶之间的间距很小。这导致了频繁的遮挡现象,对检测模型提出了更高的要求。具体来说,当一个对象被其他对象部分或完全遮挡时,识别和定位的主要挑战在于在遮挡和环境干扰存在的情况下保持区分性特征表示。图1展示了两种常见的船舶遮挡场景:图1a显示了同类船舶之间的遮挡;由于海洋船舶在颜色、纹理和几何形状上往往具有很强的视觉同质性,部分遮挡很容易导致特征混淆,这挑战了模型基于有限可见区域区分个别实例的能力。图1b表示由视角引起的遮挡。在海上环境中,由于海洋的广阔视野,一张图像中经常包含不同大小和类别的船舶。视角效应造成了尺度上的模糊,远处的船舶(占据较大的视觉尺度)和较近的较小船舶表现出相似的视觉特征。这种模糊性加剧了检测难度,因为模型难以解析空间关系并准确区分船舶。

2. 相关工作
2.1. 船舶检测
尽管卷积神经网络(CNNs)的出现从根本上改变了视觉识别[11],但当代的海上监控算法仍然严重依赖于标准的边界框预测器,如YOLO[12]、DETR[13]和Faster R-CNN[14]。结合生成对抗网络(GANs)[15]或使用扩张卷积[16]的策略在典型的无遮挡环境中成功提高了检测指标。全局强度和局部纹理异常图的结合增强了船舶与周围水域之间的区分度,从而提高了识别精度[8]。Wang[9]开发的改进型YOLOv5框架通过快速空间金字塔池化和专门的感受野放大机制,成功减少了错误边界框的出现。YOLO-Vessel[10]在YOLOv7的基础上加入了高效的层聚合网络,以实现更全面的特征融合。尽管研究人员在复杂条件下的船舶检测方面取得了一些成就,但仍面临许多挑战。具体来说,这些检测方法通常依赖于静态卷积核和固定的感受野设计进行特征处理,因此它们对密集排列的船舶目标或复杂背景引起的特征混淆非常敏感,缺乏动态上下文建模能力,并且难以区分具有相似纹理的船舶和背景伪目标。它们还削弱了重要局部特征的明确表示,导致目标特征信息的丢失或扭曲。这种视觉模糊性严重影响了算法在边界框回归和语义分类方面的精度,最终降低了性能。总体而言,有效的特征提取和表示对于实现高精度的遮挡船舶检测至关重要。

鉴于上述限制,本研究的目的是为基于岸上的监控摄像头捕获的复杂海上场景开发一个具有遮挡意识的船舶检测框架。为此,我们提出了OShipNet,这是一个专门设计的检测框架,旨在增强在密集遮挡、尺度变化和背景干扰下的特征区分性和定位鲁棒性。具体来说,其主干网络OShipNeXt由四个层次化的OShipStages组成,每个阶段都包含OShipBlocks,逐步扩大感受野并通过空间-频率协同表示加强全局和局部信息的整合,从而提高重叠目标的区分度。此外,还引入了多尺度池化注意力模块(MSPAM)来增强特征表示,并通过结合多尺度处理和大核卷积注意力动态重新校准遮挡场景中的船舶相关响应。此外,设计了一种双路径优化损失函数,以改善定位和分类性能,其中点计算因子和动态梯度增益分布因子增强了边界框回归,而指数移动平均滑动样本加权损失(EMALoss)提高了类别预测的准确性。为了验证所提出框架的有效性,在包含多个船舶类别的MVDD13数据集上进行了实验,并与代表性的船舶检测方法进行了比较。最后,本文的贡献总结如下:
我们提出了一种新的主干网络OShipNeXt,以减轻遮挡引起的语义不连续性。通过整合来自多个领域的互补表示,主干网络改善了部分遮挡船舶目标的可见局部结构的保留,并增强了全局语义感知。
我们引入了多尺度池化注意力模块(MSPAM),以增强复杂遮挡场景中的上下文交互和尺度适应能力。此外,还开发了一种双路径优化损失,以提高重叠严重和置信度低的目标的边界框回归和分类稳定性。
基于上述设计,我们建立了一个统一的框架OShipNet,用于复杂海上场景中的遮挡船舶检测。在MVDD13、SeaShip7000和Crowdhuman数据集上的广泛实验证明了所提出框架的有效性、鲁棒性和跨场景泛化能力。

3. 提出的方法
3.1. 整体架构
遮挡船舶检测可以被视为在视觉观测不完整的情况下,从输入图像学习到对象类别和边界框的映射。设I表示输入图像,表示预测的边界框和类别。OShipNet的整个检测过程可以概念性地表示为:
(1)
其中表示特征表示阶段,表示上下文细化阶段,表示检测头。
与主要改进单个阶段的传统检测器设计相比,OShipNet遵循了一种以遮挡为导向的协调设计原则。具体来说,所提出的框架围绕遮挡船舶检测中的三个耦合难点进行组织,即不完整的局部结构线索、上下文和尺度模糊以及由于目标严重重叠导致的不稳定优化。因此,所提出的框架可以总结为:
(2)
其中旨在部分遮挡下保持区分性可见结构,旨在恢复遮挡实例周围的上下文和多尺度语义线索,旨在在训练期间为模糊和重叠样本提供稳定的监督。
如图2所示,OShipNet建立在单阶段对象检测框架YOLOv11的基础上,并进一步针对复杂海上环境中的遮挡船舶检测进行了定制。该框架由三个紧密耦合的部分组成:一个名为OShipNeXt的遮挡感知主干网络、一个名为MSPAM的多尺度上下文细化模块,以及用于定位和分类的双路径优化损失。具体来说,OShipNeXt负责在不完整可见性下加强特征表示,MSPAM增强上下文交互和尺度适应,双路径损失在目标严重重叠时提高优化稳定性。通过这种协调设计,OShipNet提高了其在严重遮挡、视角干扰和复杂背景干扰下的区分性线索捕获能力。

3.2. OShipNeXt
根据[28,29]的工作,概念化了一种新的主干网络OShipNeXt。该主干网络采用多域联合方法,融合位置和光谱特征以构建全面的特征表示。如图2a所示,OShipNeXt分为1个CBS(图2d)和4个OShipStages(图2c)。每个OShipStage由1个下采样阶段和2个OShipBlock组成。从概念上讲,提出的OShipNeXt可以表示为:(3),其中X表示输入特征,表示第i个分支的转换,表示精炼后的表示。分支函数旨在捕捉来自不同视角的互补线索,包括保持身份的信息、局部空间模式、扩大的感受野响应、频率感知结构和感受野注意力。通过这种方式,OShipNeXt在保留部分可见目标的可观察到的细粒度局部细节的同时,增强了语义连续性。对于进入OShipStage的每个特征,特征表示由给出,其中表示批量大小,表示通道数,表示特征的高度和宽度。如图2c所示,特征将首先进入下采样阶段,特征大小通过2倍下采样获得。具体来说,为了防止标准ConvNeXt[30]中典型的信息退化,我们在下采样阶段引入了归一化层和GELU激活函数。归一化层确保了特征分布的稳定性,减轻了梯度消失或爆炸等问题,并提高了网络的训练稳定性。GELU激活函数通过其平滑的非线性映射提高了网络适应遮挡环境的能力。这种改进的下采样阶段有助于模型更好地保留关键特征,并减少遮挡对象的信息损失。接下来,在下采样阶段之后,大小为的特征被送入OShipBlock进行精细特征处理。为了便于并行多域处理,OShipBlock内的输入张量进行通道分离。这种系统的划分产生了六个独立的子集,每个子集都具有不同的几何形状。通道分离的目的是将块的表示能力分配给具有不同感受特性的多个互补子空间。具体来说,分割的分支负责保留原始信息、建模局部空间纹理、扩大方向感受野、捕捉频率感知的结构线索,并执行自适应感受野强调。这样的设计在保留每个分支的足够通道宽度的同时,提高了分支的多样性。通过这种方式,块在表示专门化和特征稳定性之间保持了平衡,这对于部分遮挡的船舶目标非常重要,因为它们的区分线索通常分布在局部结构、轮廓上下文和低频语义中。更具体地说,对于特征的第一部分,不应用任何操作,以保留原始信息。在第二部分,对输入特征图采用大小为的深度可分离卷积操作,每个通道执行独立的卷积。与标准卷积相比,这种方法降低了计算复杂性,同时保留了空间信息[31]。受到GoogLeNet[32]的启发,大核卷积被分解为和卷积核。特征的第三和第四部分分别进行这些卷积。这种方法允许模型在减少与大核卷积相关的计算成本的同时,实现更大的感受野。第五和第六部分特征在聚合后通过小波卷积[33]进行处理。我们将输入特征张量分解为四个通道频率元素,空间分辨率减半,通过小核深度可分离卷积处理每个元素,通过逆离散小波变换重建特征,并引入残差连接以保留输入信息。这种设计支持细粒度的多尺度特征提取和高效的低频特征捕获。对于第七和第八个特征,我们将它们聚合并应用感受野注意力卷积(RFAConv)[34]来引入模型中的空间注意力。通过考虑感受野内特征的重要性,使用动态权重调整机制来检测不同位置的目标特征,即使在遮挡条件下也是如此。展开方法从感受野中提取空间特征,进一步增强了对这些特征的关注,提高了网络性能。具体的卷积计算如下:(4)、(5)、(6),其中表示注意力特征图,表示感受野空间特征图。通过突出接收场中不同元素的独特贡献,并给予空间特征更大的重视,RFAConv提高了网络的关键信息捕获能力。我们通过通道级连接聚合八个处理后的特征张量,重建一个维度为的特征张量,然后通过GELU激活层,并通过残差跳跃连接与原始输入融合。这种融合策略在复杂场景中保留了浅层特征以捕获细粒度细节,同时提高了模型的特征表示能力和训练效率。最后,特征通过归一化层(Norm)和多层感知器(MLP)以获得最终的OShipBlock输出。3.3. 多尺度池化注意力模块(MSPAM)在频繁遮挡的船舶检测场景中,局部边缘特征与全局结构信息之间的相关性通常很弱,这使得从部分可见的观测中推断对象存在和边界变得困难。此外,由主干网络提取的单尺度特征表示缺乏对遮挡和视角变化引起的尺度变化的鲁棒性。为了解决这些限制,我们提出了多尺度池化注意力模块(MSPAM),如图3所示,它通过联合利用层次化上下文聚合和自适应注意力细化来增强特征表示。给定一个输入特征图X,我们首先通过卷积获得一个通道调整后的特征。然后,应用具有不同感受场的多个池化操作来捕获不同尺度上的上下文信息:(7),原始特征和池化特征沿通道维度连接起来,形成一个多尺度聚合表示:(8),这有效地扩大了每个空间位置的上下文支持区域,并为遮挡区域提供了互补信息。基于此,MSPAM的整体架构可以总结为:(9),其中表示后续的多尺度卷积-注意力细化。图3. 多尺度池化注意力模块(MSPAM)的架构。具体来说,聚合特征进一步使用一系列具有非对称核(,)和扩展核(,)的深度可分离卷积进行处理,这些核在保持计算效率的同时近似更大的感受野。此外,引入了扩张卷积来进一步扩大有效感受野,使模型能够捕获更丰富的全局上下文依赖性。卷积变换后,特征被映射以生成注意力权重。通过这种设计,MSPAM同时实现了两个目标:减轻遮挡下缺失信息导致的区分信息损失,并自适应地重新校准多尺度特征响应,以提高对尺度变化和密集空间重叠的鲁棒性。因此,所提出的模块使网络能够更好地捕获局部可见细节和全局结构线索,从而在复杂的遮挡场景中提高特征的可区分性和检测置信度。这种设计可以从特征传播的角度进一步解释:多尺度池化路径引入了具有不同感受范围的并行上下文流,减少了对单尺度特征路径的依赖,并改善了部分遮挡下的特征传播连续性。3.4. 双路径优化损失函数从优化的角度来看,遮挡对象检测面临两个主要挑战:(1)由于边界框重叠导致的几何对应关系不明确,以及(2)由难度不同的样本引起的梯度贡献不平衡。这些问题导致梯度信号不稳定和当应用传统损失函数时收敛效果不佳。为了解决这些问题,我们提出了双路径损失,旨在明确调节几何对齐和梯度分布。具体来说,定位项专注于在重叠情况下提高几何可识别性,而分类项动态调整不同置信水平样本的梯度贡献,从而稳定整个优化过程。在这项工作中,OShipNet的优化目标被表述为:(10),其中表示提出的考虑重叠的定位损失,表示动态加权的分类损失。定位项旨在在目标几何形状在严重重叠时改善边界框回归,而分类项在训练期间增强对困难和不确定样本的监督。对于边界框回归,基线模型使用CIoU作为回归损失函数,它同时考虑了边界框的中心点和预测框与真实注释之间的纵横比差异[35]。通过纵横比惩罚项,CIoU有效地优化了形状一致性和位置对齐。然而,在遮挡严重的场景中,CIoU无法充分模拟部分重叠目标之间的复杂几何关系,这降低了其对高度重叠边界框的区分能力。此外,当多个遮挡目标的中心点非常接近时,中心距离项的优化效果减弱,从而限制了定位精度。为了解决这个问题,我们提出了一种新的边界框回归损失,称为遮挡交并比(OIoU)。OIoU由三部分组成,即IoU项、点计算因子和动态梯度增益分布因子,如方程(11)所定义。(11)首先,考虑到现有IoU损失算法的收敛速度较慢,我们使用点计算因子进行优化,如方程(12)所示,和表示图像特征的宽度和高度,和的方程分别表示为方程(13)和(14):(12)、(13)、(14)如图4所示,和表示预测边界框的左上角和右下角坐标,而和表示真实边界框的坐标。点计算因子可以解释为对基于区域的IoU度量的补充的显式坐标级约束。虽然IoU提供了重叠的粗略度量,但当预测框和真实框的交集有限时,它受到梯度稀疏性的影响。相比之下,点距离项在坐标空间中引入了密集和连续的梯度信号,确保了即使在低重叠情况下也能稳定优化。图4. 点计算因子图。其次,为了解决目标之间中心点重叠导致的优化方向不明确问题,我们引入了动态梯度增益分布因子。如方程(15)所示,通过使用自适应惩罚系数和非线性映射函数,这种机制平衡了高质量和低质量样本的梯度贡献,以区分遮挡目标。(15)、(16)具体来说,表示IoU变化的比率,平衡了高质量样本和低质量样本的梯度贡献。控制权重曲线的基本形状,决定了权重对IoU变化的敏感性。动态调整权重,自适应地调整损失幅度,以防止数值不稳定。这里,和表示最小包围边界框的宽度和高度,消除了原始IoU度量的收敛障碍梯度异常。表示预测边界框的中心点与真实边界框的中心点之间的欧几里得距离的平方。动态因子可以被视为基于预测质量的梯度重新加权机制,根据预测的质量重新分配优化重点。具体来说,通过引入依赖于IoU和空间距离的非线性调制项,所提出的公式放大了模糊或定位不良样本的梯度,同时抑制了已经对齐良好的预测的梯度。这种机制有效地缓解了梯度主导问题,其中容易的样本对整体优化贡献不成比例,确保了难以遮挡的实例获得足够的训练信号。对于分类损失,常用的二元交叉熵(BCE)损失衡量模型预测概率与真实标签之间的差异。模型通过最小化这种差异来训练,优化其分类性能。公式如方程(17)所示。(17)然而,船舶之间的相似性可能会显著影响遮挡下的分类准确性。传统的BCE损失采用静态权重分配机制,平等对待所有样本的预测误差,缺乏对困难样本的动态关注[36,37]。结果,模型无法有效捕获密集遮挡场景中相似目标之间的细粒度特征差异,导致分类鲁棒性显著下降。在本文中,使用了一种新的指数移动平均滑动样本权重损失函数(EMALoss)来有效区分相似目标。首先,根据对象的IoU值,将图像划分为三个区域:低置信度、过渡和高置信度,每个区域分配不同的调制权重以提高分类适应性。接下来,对不同区域应用不同的因子。在低置信度区域,不进行额外处理。在过渡区域,指数放大因子提高了模型对模糊边界目标的关注。在高置信度区域,引入指数衰减因子以减少过拟合的风险。与此同时,平均IoU值使用指数移动平均(EMA)算法实时更新,以平滑训练过程中的波动,并最小化局部噪声对损失计算的影响。最后,损失函数通过自动调整的调制权重,动态调整不同难度样本的梯度贡献。具体的计算方法如方程(18)和(20)所示:
(18)
(19)
(20)
分数表示每个预测边界框与其对应的真实标注之间的匹配程度,而表示在训练过程中动态估计的指数平滑平均IoU,d是指数平滑系数。通过自动调整权重,所提出的分类损失动态调节不同难度样本的梯度贡献,这可以解释为一种分段梯度调度策略。具体来说,根据IoU分数将样本划分为低置信度、过渡区和高置信度区域,并为每个区域分配不同的梯度缩放行为。当IoU低于阈值时,相应的样本被视为难例,其权重会增加,从而加强了对模糊和定位不良实例的学习。相比之下,低置信度区域的样本保持基线梯度以保持训练稳定性,而过渡区域的样本则获得放大的梯度以提高区分能力。对于高置信度样本,应用渐进式权重衰减机制来减弱它们的梯度贡献,防止它们主导优化过程,并降低收敛到泛化性能较差的局部最小值的风险。

3.5. 数据集
为了评估OShipNet,我们使用了三个公共数据集:MVDD13、Seaship7000和Crowdhuman,分别用于主要评估、跨数据集迁移验证和密集遮挡泛化分析。详细的数据集统计信息见附录A。
MVDD13:MVDD13被用作主要基准,因为它明确包含了遮挡信息,适用于复杂海洋场景中的船舶检测。它包含25,541张训练图像、2,837张验证图像和7,095张测试图像,在本工作中用于训练、验证和比较评估。
Seaship7000:Seaship7000用于评估所提出模型的跨数据集泛化能力。为此,该数据集被按1:1的比例重新划分为微调集和验证集,并进行预训练和非预训练设置之间的比较。
Crowdhuman:Crowdhuman [38]进一步用于评估OShipNet在高度拥挤和严重遮挡场景中的鲁棒性,这些场景超出了海洋领域。它包含19,370张图像,包括15,000张训练图像和4,370张验证图像,由于其密集的物体布局和严重的实例间遮挡,提供了一个具有挑战性的基准。

3.6. 评估指标
在本工作中,评估指标包括精确度(P)、召回率(R)、平均精确度(mAP)、模型参数(Params)、浮点运算次数(FLOPs)和推理时间。遵循对象检测的标准实践,我们报告了mAP@50和mAP@50-95。具体来说,mAP@50是在IoU阈值为0.5时评估的,而mAP@50-95是通过在0.50到0.95的IoU阈值范围内以0.05的步长平均mAP值计算得出的。此外,还报告了Params、FLOPs和推理时间,以评估模型复杂性和计算效率。这些指标的详细定义见附录B。

4. 实验
4.1. 实验设置
所有消融和比较实验都在配备了NVIDIA RTX 3090 24 GB GPU的Ubuntu 20.04 LTS系统上进行,基于PyTorch 2.2.0框架和CUDA 11.8。表1总结了我们在实验中使用的超参数配置。
表1. 超参数配置。为了确保公平比较,所有基线方法和所提出的模型都在相同的实验条件下进行训练和评估,包括一致的输入分辨率、训练周期、批量大小、优化器设置和数据增强策略。

4.2. 比较实验
为了全面展示所提出方法的有效性,我们对OShipNet与各种先进的检测模型进行了比较分析。比较集包括两阶段检测器Faster R-CNN [14]、SSD [39],以及YOLOv5、YOLOv8、YOLOv11 [40]、YOLOv12 [41],以及最新的基于Transformer的检测器Swin Transformer [24]和RT-DETR [42]。我们对所提出的OShipNet框架在检测准确性、计算效率和鲁棒性方面进行了全面评估,结果总结在表2中。比较结果显示,YOLO系列模型在准确性和效率之间的权衡优于两阶段Faster R-CNN框架。我们的OShipNet通过遮挡感知创新在所有核心指标上达到了最先进的性能:它达到了94.98%的mAP@50和84.37%的mAP@50-95,分别比YOLOv11高出1.26%和2.08%,并且在精确度、召回率、mAP@50和mAP@50-95上分别提高了1.35%、2.30%、1.46%、2.47%,尤其是在遮挡目标上。同时,OShipNet在所有核心指标上显著优于Swin Transformer和RT-DETR,证明了我们提出方法的有效性。在推理时间方面,OShipNet每张图像的运行时间为18.28毫秒。尽管它比一些轻量级YOLO基线稍慢,但它仍然明显比Faster R-CNN和基于Transformer的检测器更高效,显示出准确性和推理效率之间的合理权衡。这些结果表明,所提出的方法并不追求在所有样本上都获得巨大优势,而是在本工作中考虑的目标问题(即复杂海洋场景中的遮挡船舶检测)下提供了持续的改进。值得注意的是,在更严格的mAP@50-95指标上,优势更为明显,表明OShipNet的主要好处在于在具有挑战性的条件下提供了更可靠的定位和框细化。
表2. OShipNet与其他方法的检测性能比较。此外,我们还提供了每个特定类别的AP50指标。如表3所示,OShipNet在大多数类别中取得了最佳结果,尤其是在检测被遮挡的货船方面表现最佳。这表明OShipNet在检测被遮挡的货船方面表现出色,展示了其在各种遮挡场景中识别物体的强大能力。对于散货船和军舰,OShipNet虽然没有获得最高的AP50,但仍然取得了接近最佳的结果。散货船在形状、纹理和整体结构上与货船和油轮有很高的相似度,这增加了类别间的混淆。如混淆矩阵所示,大多数被错误分类的散货船被误认为是货船或油轮。严重的遮挡进一步降低了区分特征的可见性,使得准确分类更加困难。此外,与其他一些船舶类别相比,散货船的独特特征相对微妙,这使得该类别在复杂环境中更容易受到特征退化的影响。总之,OShipNet的出色性能为密集遮挡目标检测提供了新的技术途径。
表3. OShipNet与其他方法之间的类别检测准确性比较。为了进一步证明OShipNet的有效性,我们展示了OShipNet与YOLOv12在测试集上的混淆矩阵,如图5所示。混淆矩阵显示OShipNet在分类许多类别(如货船1404、油轮895、散货船1006和游轮1065)时表现出高准确性。较大的对角线值表明OShipNet在分类这些目标类别时具有很强的性能。此外,货船和油轮之间的混淆较少,表明模型在区分这些相似类别时更加稳定。对于军舰(72)、潜艇(61)和消防船(247)等类别,尽管样本量较小,OShipNet仍然在对角线上保持了大量的正确预测。这表明OShipNet也表现出识别较小类别的显著能力。最后,我们还提供了OShipNet和YOLOv12的精确度-召回率曲线,如图6所示。
图5. 混淆矩阵。
图6. 精确度-召回率曲线。

4.3. 可视化
此外,我们还使用上述主流检测算法在MVDD13数据集上进行了可视化实验,以进一步评估OShipNet在船舶检测中的性能。可视化结果见图7。从可视化结果来看,OShipNet在几个方面表现出明显优势。首先,在目标定位方面,其检测边界框与真实标签的重叠程度更高,边界框更加精确,表明其目标回归能力更强。在第一组图像中,与YOLO系列和基于Transformer的方法相比,OShipNet更准确地勾勒出船舶的轮廓,即使在遮挡场景中也能有效识别目标船舶。其次,OShipNet在透视遮挡下仍保持强劲的检测性能。例如,在第二组图像中,面对光照变化和透视干扰时,Faster R-CNN、SSD和其他方法出现了漏检或边界框偏差。相比之下,OShipNet准确检测到了目标物体。最后,在第三组图像中,处理密集船舶场景时,OShipNet表现出相对较好的鲁棒性。与其他方法(如YOLOv5和YOLOv8)相比,其检测框更完整,目标分类也更准确。
图7. 可视化结果。为了更直观地解释所提出的方法,我们进一步使用热图可视化比较了YOLOv11和OShipNet在主干网络(Backbone)、颈部(Neck)和检测头部(Detection Head)阶段的特征响应。如图8所示,基线YOLOv11的激活相对分散,一些响应分布在背景区域而不是集中在被遮挡的船舶目标上。相比之下,OShipNet在整个网络中产生了更紧凑且与目标一致的响应。
图8. GradCAM可视化结果。在主干网络阶段,OShipNet在主要船体和关键结构部分显示出更强的激活,表明所提出的特征提取器在遮挡下更能保留有信息的局部线索。在颈部阶段,高亮区域变得更加连续和语义上一致,表明特征融合策略改善了多尺度上下文信息的聚合,并抑制了无关的背景干扰。在检测头部阶段,OShipNet表现出更聚焦于目标的响应,激活分散较少,反映了在复杂海洋场景中更稳定的定位趋势。
从实际角度来看,OShipNet的优势在困难的视觉条件下更为明显,包括部分遮挡、透视引起的重叠和密集分布的船舶实例。在这些场景中,所提出的模型产生了更完整的检测结果,更少的漏检目标,以及与真实标签更一致的边界框。Grad-CAM可视化还显示,OShipNet在主干网络、颈部和检测头部产生的响应比YOLOv11更紧凑、更聚焦于目标,表明所提出的设计在遮挡下更好地保留了区分信息并抑制了无关的背景响应。

4.4. 消融研究
在本节中,我们通过严格的消融实验验证了OShipNet中每个模块的贡献和有效性。我们采用了一个多维度评估系统,包括精确度、召回率、mAP@50、mAP@50-95、FLOPs和参数,并在实验过程中保持所有其他配置的一致性,以准确量化每个模块的贡献。

4.4.1. 模块的效果
为了验证所提出模块的有效性,我们对OShipNet框架进行了系统的消融研究,详细结果见表4。表中的每一行对应基于基线模型的一种消融配置,复选标记表示启用了哪些模块,包括OShipNeXt主干网络、多尺度池化注意力模块(MSPAM)和双路径损失函数。与基线模型相比,用OShipNeXt替换原始主干网络将mAP@50-95从81.90%提高到83.62%,表明所提出的主干网络在提取细粒度和区分性特征方面更有效。单独引入MSPAM时,mAP@50-95增加到83.85%,表明多尺度池化和注意力操作增强了特征表示能力。仅添加双路径损失将mAP@50从93.52%提高到94.05%,显示出其在优化定位质量方面的有效性。当这些模块进一步结合时,整体性能得到一致提升。最终,完整模型的检测准确性达到最佳,精确度、召回率、mAP@50和mAP@50-95分别达到95.89%、89.56%、94.98%和84.37%,这证实了所提出的主干网络、注意力模块和损失设计的互补优势。

4.4.2. 不同主干网络的效果
为了验证我们提出的OShipNeXt主干网络的有效性,我们在保持其他模块不变的情况下,使用不同的主流主干网络进行了对照实验,结果见表5。OShipNeXt在所有指标上均取得了最佳性能:与排名第二的InceptionNeXt相比,其在mAP@50指标上高出0.13%,在mAP@50-95指标上高出0.21%;同时相比ConvNeXt v1,在mAP@50指标上提升了1.75%,在mAP@50-95指标上提升了2.97%,这证明了其在高IoU阈值下的卓越细粒度定位能力。这种性能提升归功于OShipNeXt中的空间-频率域信息融合技术,该技术增强了模型的整体特征表示能力。此外,OShipNeXt在参数数量和计算成本方面也表现出更低的开销,优于其他三个主干网络。其资源需求显著低于ConvNeXt v1(46.9 G FLOPs,22.55 M Parameters)和InceptionNeXt(38.2 G FLOPs,18.51 M Parameters)。表5展示了不同主干网络之间的消融实验结果。4.4.3 提出的损失函数的效果在目标检测中,整体优化目标通常由分类损失和定位损失组成,可以简化为公式(21)表示。为了全面评估所提出损失设计的有效性,我们从两个方面进行了消融实验。具体来说,对于定位损失,我们通过不同的超参数设置验证了提出的点计算因子和动态梯度增益分布因子的有效性;对于分类损失,我们比较了不同的分类损失组合与不同的IoU损失。为了评估提出的点计算因子和动态梯度增益分布因子在边界框回归中的有效性,我们将超参数引入定位损失中,如公式(22)所示。表6记录了不同超参数设置的消融结果。从表6可以看出,当仅引入点计算因子时,mAP@50和mAP@50-95分别有所提升;当仅使用动态梯度增益分布因子时,模型在mAP@50和mAP@50-95上也有所提升,这表明该因子可以通过在优化过程中自适应调整梯度分配来有效提升回归质量。进一步地,当两个因子共同作用时,检测性能得到了进一步提升,这证实了它们在边界框优化中提供了互补的优势。在所有测试设置中,当两个因子都达到最佳值时,模型获得了最佳的精度、召回率、mAP@50和mAP@50-95指标。然而,当这两个超参数都增加到最大值时,性能明显下降,这表明过强的回归惩罚可能导致优化不稳定并在最优值附近振荡,从而阻碍有效收敛。为了进一步验证所提出损失设计的有效性,我们还比较了不同的分类损失和基于IoU的定位损失组合,结果列在表7中。表7显示,在BCE损失设置下,提出的OIoU损失在所有比较的基于IoU的损失中表现最佳,mAP@50和mAP@50-95指标均有显著提升。特别是与排名第二的PowerIoU [43] 相比,OIoU在mAP@50指标上提升了更多。接下来,当分类损失替换为EMALoss时,模型性能进一步得到提升。在所有组合中,EMALoss + OIoU配置取得了最佳的整体结果。与排名第二的EMALoss + PowerIoU组合相比,它在精度和召回率上均有额外提升。这些结果表明,提出的OIoU回归损失和采用的分类损失设计可以协同工作,以提高定位准确性和整体检测鲁棒性。4.4.4 随机种子稳定性分析为了进一步验证性能提升不是由训练过程中的随机波动引起的,我们使用不同的随机种子进行了额外实验。具体来说,YOLOv11和OShipNet分别使用种子0、42和999进行了三次训练和评估,同时保持其他所有实验设置不变。对于每个指标,我们报告了平均值、标准差和95%置信区间。95%置信区间按照公式(23)计算得出。表8显示,OShipNet在三种随机种子下的表现始终优于YOLOv11。平均而言,OShipNet在精度、召回率、mAP@50和mAP@50-95上分别提升了1.00%、1.50%、1.10%和2.05个百分点。更重要的是,两种模型在主要检测指标上的置信区间明显分开。图9展示了不同随机种子下指标分布的箱形图可视化结果,可以看出OShipNet在所有评估指标上的中位数表现始终高于YOLOv11,同时由于其更高的性能上限,方差也相当或略大。此外,两种模型的四分位数范围几乎没有重叠,尤其是在mAP@50和mAP@50-95指标上。4.5 微调实验为了验证模型的泛化能力,我们在Seaship7000数据集上进行了微调实验,使用在MVDD13数据集上训练得到的权重作为预训练初始化参数。Seaship7000数据集被划分为1:1比例的微调训练集和验证集,实验结果详细记录在表9中。总体而言,预训练模型在大多数指标上均优于未经预训练的模型。特别是图10显示,预训练的OShipNet在Seaship7000数据集上的损失和mAP@50-95指标上表现更优。微调后的OShipNet精度为97.53%,召回率为97.89%,mAP@50为98.96%,mAP@50-95为84.07%,在各项评估指标上均超越了其他模型。与表现最好的YOLOv11相比,OShipNet在mAP@50指标上仍领先0.04%,在mAP@50-95指标上领先0.87%,证明了其在定位能力上的改进。OShipNet在mAP@50和mAP@50-95指标上显著优于基于Transformer的模型(如Swin Transformer和RT-DETR),这验证了其在预训练后的强大鲁棒性和泛化能力。这些结果表明,引入预训练显著提升了OShipNet的检测性能,进一步凸显了其在不同船型和遮挡条件下的强大适应性和有效性。最后,我们展示了OShipNet在Seaship7000数据集上的结果可视化图。与其它微调模型相比,微调后的OShipNet在检测性能上更为可靠,能够更准确地定位和识别目标。与Faster R-CNN、Swin Transformer和RT-DETR等模型相比,微调后的OShipNet在可视化示例中产生了更少的误报。此外,与YOLOv12和YOLOv8相比,微调后的OShipNet对每个目标的置信度得分更高,同时保持了准确的定位。因此,微调后的OShipNet减少了漏检和误检的数量,并与真实标注更加一致,尤其是在具有密集或重叠船只的复杂场景中。4.6 泛化实验为了进一步评估模型在非海洋场景中的跨域遮挡鲁棒性,我们在公共的Crowdhuman数据集上进行了额外实验。与MVDD13不同,Crowdhuman是一个非海洋基准数据集,具有截然不同的对象类别和场景特征,但它包含密集的布局和严重的遮挡,适合评估基于遮挡的检测器的跨域鲁棒性。比较结果显示,所提出的方法在所有评估指标上均表现优异,包括精度、召回率、mAP@50和mAP@50-95。与最强的基线模型YOLOv12相比,所提出的方法在mAP@50-95指标上提升了1.18%,表明其在不同数据分布下的定位准确性和尺度适应性更好。与两阶段检测器和基于Transformer的方法相比,所提出的方法在保持较低计算复杂度的同时实现了更优的性能。这些结果表明,所提出的框架即使在具有不同特征的数据集上也能保持强大的特征表示能力和稳定的检测性能。5. 讨论实验结果表明,OShipNet在复杂的海洋场景中对于遮挡船只的检测非常有效。性能提升表明,所提出的框架能够在目标部分可见、分布密集或存在尺度变化的情况下更好地保留和利用判别信息。特别是,实验中的改进表明,增强的特征表示、上下文交互和自适应优化的结合有助于在具有挑战性的条件下实现更稳健的检测。从实验观察中可以看出,OShipNet在传统检测器更容易受到遮挡和背景干扰影响的场景中具有明显优势。这表明该模型不仅能捕捉不完整目标的局部视觉线索,还能获取周围区域的有用上下文信息,这对于涉及重叠船只和杂乱背景的海洋场景非常重要。此外,OShipNet在Seaship7000数据集上的稳定表现进一步表明,该方法在主要训练设置之外也具有一定的泛化能力。在Crowdhuman数据集上的泛化实验进一步表明,OShipNet能够在更一般的遮挡场景中实现可靠的检测性能,进一步证明了其泛化能力。然而,仍存在一些局限性。首先,如散货船、货船和油轮等视觉相似性高的类别仍然容易发生误分类,尤其是在拥挤或遮挡严重的场景中,难以保留细粒度的结构差异。其次,尽管所提出的框架提高了检测精度,但引入多个增强模块也增加了计算成本,这可能限制了其在实时或资源有限环境中的应用。这些发现表明,未来的研究应更加关注细粒度类别区分和推理效率,以进一步提高模型在实际海洋应用中的实用性。6. 结论在本文中,我们提出了OShipNet,这是一个高效的船舶检测框架,旨在解决特征提取不足和船舶遮挡下检测性能下降的问题。具体来说,我们开发了OShipNeXt,这是一个多域特征融合框架,通过利用频域和空间域特征之间的互补性来增强语义表示,从而改善遮挡区域中的上下文推理能力。此外,所提出的MSPAM模块通过多尺度处理和自适应注意力细化来加强特征表示,有助于抑制由复杂背景引起的误检测。另外,引入了一种双路径优化损失函数,以同时提升分类和边界框回归的性能,从而实现更准确的预测。在MVDD13数据集上的实验结果表明,OShipNet的mAP@50达到了94.98%,mAP@50-95达到了84.37%,在整体检测性能上优于其他竞争方法。在Seaship7000数据集上的进一步实验表明,OShipNet能够有效利用预训练效果;而在Crowdhuman数据集上的结果验证了其在公共遮挡检测基准测试中的鲁棒性和泛化能力。与现有方法相比,OShipNet通过将特征表示、上下文细化和损失优化集成到一个统一的框架中,提供了一种面向遮挡问题的解决方案。在未来的工作中,我们将进一步研究轻量化和面向边缘设备的部署策略,以更好地满足海洋监控应用的稳定性和效率要求。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号