一种具有加权残差项的上下文感知Transformer模型,用于高效的遥感目标检测
《Frontiers in Neurorobotics》:A context-aware transformer with weighted residual for efficient remote sensing target detection
【字体:
大
中
小
】
时间:2026年05月15日
来源:Frontiers in Neurorobotics 2.8
编辑推荐:
摘要
遥感图像目标检测在灾害预防和缓解中具有重要的应用价值。然而,当前的检测模型在多尺度特征融合和表示上下文信息方面仍存在不足,并且在训练过程中容易出现类别不平衡的问题。为了解决这些问题,本文提出了一种结合上下文变换器和加权残差金字塔的目标检测模型。具体来说,设计了一个加权残差金
摘要
遥感图像目标检测在灾害预防和缓解中具有重要的应用价值。然而,当前的检测模型在多尺度特征融合和表示上下文信息方面仍存在不足,并且在训练过程中容易出现类别不平衡的问题。为了解决这些问题,本文提出了一种结合上下文变换器和加权残差金字塔的目标检测模型。具体来说,设计了一个加权残差金字塔模块来有效融合深度和浅层的目标实例特征,并引入了一个可学习的平衡因子来减轻网络各层之间的贡献不平衡。同时,将上下文变换器模块引入特征提取和融合网络中,以增强模型的多尺度特征表示能力。此外,引入了旋转边界框来定位目标实例,减少冗余背景信息的影响,并设计了一个基于CIoU的多任务损失函数来降低不同实例目标对回归任务的贡献。实验结果表明,该模型在保证实时性能的同时,在DOTAv1.0和DOTAv1.5数据集上分别实现了0.754和0.714的mAP@0.5分数,显示出在两个数据集上的一致性改进。同时,对各种灾害场景下检测结果的可视化显示,本文提出的模型具有很强的实际应用价值。
1 引言
随着遥感技术的发展,高分辨率遥感图像的存储量每天都在增加,为地球科学相关研究提供了关键的数据支持(Gao等人,2024年)。高分辨率遥感图像可以清晰地呈现地面特征的几何形状和空间分布,为高质量遥感目标解释提供了有利条件(Fan等人,2024年)。城市规划者需要清楚地了解其管辖范围内的土地状况、交通等因素,以支持明智的规划决策;自然资源管理者需要了解湿地、森林、河流等自然特征的分布,为生态模拟提供基础。因此,高分辨率遥感图像凭借其独特的优势,被广泛应用于土地资源调查、生态环境模拟、城市规划和灾害预防与缓解等领域。高效且全面地利用高分辨率遥感图像在军事、民用和生态领域具有重要意义(Li等人,2024年)。随着人工智能技术的发展,深度神经网络已广泛应用于行人轨迹预测(Lui等人,2025年)和遥感图像处理(Li J.等人,2025年)等领域。遥感图像目标检测需要识别目标实例的位置并对其进行分类,这是解决场景分割和目标跟踪等复杂抽象任务的基础(Huang等人,2025年)。传统的手动特征提取方法依赖于颜色、纹理和形状等特征,并需要候选区域生成、特征提取和分类等过程。特别是在特征提取方面,这些方法严重依赖于专家知识。因此,在背景复杂且干扰严重的遥感图像中,这些方法的性能较差。卷积深度神经网络凭借其强大的特征提取能力,已经取代了传统的手动特征提取方法,成为遥感图像目标检测的主要方法(Wu等人,2025年)。基于深度神经网络的遥感图像目标检测模型主要分为单阶段和两阶段模型。单阶段模型包括YOLO(You Only Look Once),而两阶段模型包括R-CNN(基于区域的卷积神经网络)。两阶段目标检测模型通常需要使用算法生成候选边界框,然后进行神经网络分类和回归。典型的两阶段模型包括R-CNN(Girshick等人,2014年)、Fast-RCNN(Girshick,2015年)、Faster-RCNN(Ren等人,2016年)、Mask R-CNN(He等人,2017年)、Cascade R-CNN(Cai和Vasconcelos,2018年)、Sparse R-CNN(Sun等人,2021年)和Oriented R-CNN(Xie等人,2024年)等。尽管上述方法在一般目标检测方面取得了良好进展,但在背景复杂且目标尺度变化较大的遥感场景中仍面临许多挑战。
在遥感图像目标检测中,目标实例表现出多尺度和密集的分布。当前的主流目标检测模型缺乏不同网络层与全局上下文之间的有效协作,导致实例特征的多尺度表示不足。此外,在基于边界框的目标检测模型中,不同大小的目标对回归损失的贡献不同。同时,预测边界框与真实边界框之间的交并比(IoU)因目标而异。损失函数的范围、梯度贡献和训练难度在构建定位和回归子任务时也有所不同。此外,目标实例不同层次的特征对损失的贡献不一致,导致严重的损失不平衡,这对遥感图像中的目标检测构成了重大挑战。为了解决这些问题,本文设计了一种整合上下文信息和多尺度特征的目标检测模型。通过引入上下文变换器模块和设计加权残差金字塔结构,实现了多尺度特征和上下文信息的更有效融合,增强了特征表示能力,同时有效缓解了损失不平衡问题。主要贡献如下:
(1) 使用改进的旋转边界框进行目标实例定位,以减少冗余背景信息的影响。
(2) 引入上下文变换器模块,并结合加权残差金字塔结构,实现深度和浅层特征以及上下文信息在多尺度目标实例中的协同融合,从而减轻不同层次特征贡献的不平衡。
(3) 设计了一个多任务加权旋转边界框损失函数,以减少不同目标实例对回归任务的损失贡献不平衡。
(4) 使用DOTAv1.0和DOTAv1.5数据集验证了模型的有效性。
(5) 在各种灾害遥感图像场景中进行了测试,取得了良好的检测结果。
本文的其余部分组织如下:第2节讨论相关工作;第3节讨论材料和方法;第4节讨论和分析实验结果;第5节提出结论和未来工作。
2 相关工作
2.1 主流目标检测方法
目前,使用深度神经网络的遥感图像目标检测方法主要通过重新设计特征判别器或采用多尺度特征融合技术来缓解类别不平衡问题。为了解决重建目标检测判别器的高计算复杂性,文献(Tao等人,2025年)提出了一种高效的单阶段检测器(EDADet)用于小目标。该模型使用域转换技术将来自单模态输入的多模态数据融合在一起。然后设计了一个用于小目标感知的骨干网络,以促进特征融合和提取,并结合编码器-解码器特征融合(EDFF)架构。为了解决目标检测模型误分类小类样本的问题,论文(An等人,2025年)提出了一种利用判别性特征学习和不平衡特征语义扩展模块的检测网络。该模型通过引入判别性特征学习模块和不平衡特征语义扩展模块来构建清晰的分类边界并表示稀缺类特征。为了解决遥感图像中背景分布不平衡的问题,论文(Rao和Zhou,2024年)提出了一种交叉网格标签分配(CLA)方法,通过添加高质量的正面样本进行训练和损失计算,并设计了一个特征细化头(FRHead)来缓解正负样本之间的不平衡。为了解决遥感图像目标的多尺度变换问题,Gao等人(2024年)提出了一种新的少样本目标检测模型,通过特征聚合模块(FAM)和尺度感知注意力模块(SAM)利用多尺度目标的上下文信息来改进支持和查询特征。为了解决遥感图像中小目标检测中的梯度冲突和类别不平衡问题,提出了两阶段平衡正交子空间分离(BOSS)检测器(Jiang等人,2024年)。在模型中引入了低秩子空间适配器(LoSA)进行结构分离。同时,设计了正交子空间提取器(OSE)和平衡分类器(BC)分别用于特征解耦和平衡不平衡损失。参考文献(Pang等人,2019年)提出了Libra R-CNN模型,以解决训练过程中不同层对IoU、分类和回归损失贡献不均衡的问题。该模型采用IoU平衡采样模块来缓解样本不平衡,平衡金字塔模块来解决特征不平衡问题,并采用平衡L1损失来缓解分类和回归任务之间的不平衡。参考文献(Rezatofighi等人,2019年)提出了GIoU(广义IoU)损失,以解决预测框与目标实例实际框不重叠时IoU为0的问题。参考文献(Zheng等人,2020年)提出了DIoU(距离IoU)损失,以解决GIoU损失的问题。该方法考虑了边界框之间的重叠和到中心点的距离,收敛速度快;然而,它没有考虑预测边界框和目标边界框之间的纵横比差异。为了解决这个问题,DIoU损失论文的研究团队在同一篇文章中提出了CIoU(完整IoU)损失。参考文献(Zhang等人,2022年)提出了EIoU(高效交并比)损失,以解决CIoU损失仅使用单一因子来量化边界框之间的纵横比差异的问题,这可能无法准确评估其大小并阻碍有效的网络优化。这解决了边界框纵横比定义不明确的问题,并引入了Focal Loss来缓解难样本和易样本之间的不平衡。参考文献(Cao等人,2020年)研究了不同样本对目标检测平均准确性的影响,并提出了PISA(Prime Sample Attention)方法来提高模型性能。参考文献(Oksuz等人,2021年)解决了多任务和多阶段神经网络训练中任务重要性不等的问题,并提出了RS(Rank and Sort)损失,有效简化了模型并提高了性能。为了解决遥感图像目标检测中的尺度不平衡问题,Li Z.等人(2025年)提出了一种基于频域注意力机制的网络。它在实际遥感图像中验证了模型的有效性。为了解决CNN无法捕捉长距离依赖性和注意力机制的高计算成本问题,Liu等人(2024年)提出了一个全粒度注意力网络(FPFGANet)。上述方法主要通过其网络结构来增强模型。它没有充分考虑遥感图像中目标实例对目标检测任务损失的影响。
2.2 当前研究的瓶颈和不足
由于遥感图像的独特成像特性,尽管现有的目标检测方法取得了一些进展,但以下问题仍然存在,特别是在背景复杂和目标实例尺度变化较大的情况下。这些问题也限制了现有模型的特征表示能力:
(1) 遥感图像中的目标实例具有多角度特征。传统的水平边界框方法难以准确确定目标实例的方向,并避免引入非实例信息,从而影响模型对目标实例特征的学习。
(2) 遥感图像中的目标实例包含显著的背景干扰,这影响了图像检测模型识别目标实例的能力,特别是在多尺度特征融合过程中。
(3) 遥感图像目标检测整合了多个子任务,如定位和分类。不同的子任务对损失函数的贡献不同,导致训练过程中的不平衡,影响检测模型的整体性能。
目前,随着YOLO系列目标检测模型的不断发展,已经开发出了更高级的版本,如YOLO10。然而,CSPDarknet53(Jocher等人,2021年;Bochkovskiy等人,2020年)具有更稳定的结构、更成熟的代码和更强的兼容性。考虑到稳定性和兼容性,本文使用CSPDarknet53作为基础网络,以提高模型在复杂遥感图像中的适应性。该结构在多尺度特征表示方面具有良好的基础。基于上述基本结构和遥感目标检测任务的分析,以及解决当前检测模型在多尺度特征融合和上下文信息表示方面的不足(这些不足容易导致训练过程中的损失不平衡),本文构建了一个结合上下文变换器和加权残差金字塔的目标检测模型。通过结合上下文变换器和加权残差金字塔模块,提高了表示多尺度特征和上下文信息的能力,缓解了损失不平衡问题。该模型的性能在DOTAv1.0和DOTAv1.5数据集上得到了验证,在各种随机灾害的遥感场景中均表现出强大的检测能力。
3 材料与方法
3.1 整体框架
图1展示了所提出模型的整体结构,该模型由三部分组成:特征提取主干网络、特征融合网络和检测头。CoT模块被集成到主干网络和特征提取网络中,通过建立空间和通道级的上下文关系来增强模型的特征表示能力,从而提高区分目标区域和背景区域的能力,并在复杂背景下表示特征。在特征融合网络中,设计了一个残差特征金字塔模块,以增强不同尺度特征之间的信息交互,解决多尺度特征融合不足的问题。同时,引入了可学习的权重因子来调整不同尺度特征的融合贡献。在检测头中,使用旋转边界框进行目标实例定位,以适应遥感图像中目标的任意方向分布,减少冗余的背景干扰并提高定位精度。基于旋转边界框设计了一个加权损失函数,以减轻回归任务中不同目标实例之间的损失不平衡。
图1 所提出方法的整体框架:输入的遥感图像由主干网络处理以提取特征。检测头预测边界框和分类分数,所提出的损失模块减轻了IoU损失的不平衡。
3.2 主干网络
本文使用YOLOv5s的CSPDarknet53模型作为主干网络,该模型基于YOLOv3中的Darknet53模块(Redmon和Farhadi,2018年)并整合了CSPNet(Wang等人,2020年)的优势。CSPDark53结构通过减少网络优化过程中的梯度重复来避免长时间推理。同时,它利用局部层间连接来减少参数数量,并在速度和精度之间取得平衡。图2显示了用于特征提取的主干网络。该网络使用交替的卷积操作、C3模块和上下文Transformer模块在每一层有效地提取和融合特征信息。然后SPPF模块输出一个固定大小的特征向量。这不仅实现了多尺度特征的融合,还支持任意大小的图像。
图2 主干网络。
图3显示了CoT模块。虽然传统的基于Transformer的自注意力机制可以有效地捕捉不同空间位置的特征交互,但它们独立学习所有查询-键关系,而不考虑它们之间的丰富上下文信息。这严重限制了自注意力机制在二维特征图上表示视觉特征的能力。为了解决这个问题,Li等人(2022年)提出了一种基于残差网络的自注意力机制,即图3所示的CoT结构。这种结构有效地将上下文信息与自注意力机制结合在一起,汇总输入特征图中每个空间位置的相邻像素的特征,以获得捕获目标区域结构信息的局部上下文表示。然后,将局部上下文信息加权并与原始输入特征融合,生成增强的特征表示,实现局部信息和全局语义的协同表达。经过上下文建模后的特征图保留了原始信息,同时增强了不同尺度和形状的目标实例的识别能力。输入特征图X具有H×W的空间维度和C个通道。卷积模块K主要从输入特征图中提取局部上下文,生成捕获邻域信息的键特征。连接模块concat主要将原始特征与局部上下文信息融合,为后续的权重计算提供丰富的特征表示。卷积模块θ将连接特征的维度降低到D个通道,从而生成注意力权重。卷积模块δ以投影特征为输入,计算每个空间位置的相应权重系数,从而表征全局特征中局部上下文的重要性。卷积模块V对特征应用线性变换,在每个空间位置生成上下文信息,产生加权输出。乘法模块Mul将权重δ与特征V相乘,实现上下文信息的加权融合。融合模块FusionFusion将加权的上下文特征添加或连接到原始输入X,形成增强的特征输出Y,从而在保留原始局部信息的同时提高全局上下文意识。
图3 上下文Transformer(CoT)模块:CoT模块是一个计算单元,用于增强图像特征的表示。该模块可以在特征图的空间和通道维度内建立有效的上下文关系,从而提高目标区域的区分能力和检测精度。
图4显示了Conv模块,包括卷积操作、批量归一化和Swish激活函数。图5显示了C3模块,它结合了层间特征融合和残差网络(瓶颈模块)。在C3模块中,Concat表示沿通道维度的连接,图6显示了使用的瓶颈模块。在图6所示的瓶颈模块中,加法运算符表示元素级加法。图7显示了SPPF模块,其中Maxpool2d表示最大池化,Concat表示连接。
图4 Conv模块。
图5 C3模块。
图6 瓶颈模块。
图7 SPPF模块。
3.3 特征融合模块
特征融合网络可以有效地整合不同层次和尺度之间的信息。本文提出的加权残差金字塔用于特征融合网络的思路来源于特征金字塔。由于目标检测是一个包含分类、识别和定位的多任务,图像的特征信息在经过多层神经网络处理后变得更加抽象和细致。研究(He等人,2015年;Zhao等人,2019年)表明,浅层特征(如边缘和角点)可以提高定位精度,而抽象的深层语义特征可以提高分类性能。由于图像特征的尺度在卷积神经网络提取后会继续变化,并且卷积神经网络可以被视为金字塔结构,因此它非常适应尺度变换。因此,直接使用卷积神经网络的金字塔结构可以实现多尺度特征融合,而不会增加额外的计算复杂性。同时,浅层高分辨率特征可以提高小目标检测的精度;这是特征金字塔网络(FPN)(Lin等人,2017年)的思想。FPN通过自下而上和自上而下的水平连接融合多尺度特征,充分利用了卷积神经网络固有的金字塔结构,而不会引入过多的计算复杂性或参数数量。因为水平特征信息来自同一尺度的网络层,它仅关注这些层内的特征表示。基本的CSPDarknet53模型中的特征融合模块引入了到FPN的自下而上的路径,从而分别增强高级和低级特征,以提高分类和定位能力。这解决了当目标尺寸相对较小时(PANet论文中指定的10像素)FPN在层间分裂的问题。然而,PANet没有充分利用高分辨率主干网络的特征,不同的特征层对损失的贡献也不同。为了解决这个问题,本文提出了一个加权残差金字塔模型(RFPN),如图8所示。
图8 RFPN模块。
如图8所示,RFPN模块结合了ResNet的思想和PANet的自上而下和自下而上的路径结构。它在相同分辨率下引入了快捷连接,并使用元素级加法来融合特征表示。这不仅最大化了每一层中特征信息的丰富度,还增强了特征信息的传输能力,而不会显著增加计算量或参数数量。此外,由于不同网络层的特征在融合过程中的贡献不同,因此对特征图应用了可学习的权重因子来平衡它们在不同尺度上的贡献。然后使用加权方法进行特征融合,如方程1所示。
output = ∑i wi ε + ∑j wj Ii
(1)
在上述方程1中,wi是一个可学习的权重因子,ε是一个避免数值不稳定性的因子;ε = 0.0001。它是不同层次的特征图。
3.4 检测头
目标检测任务包括两个子任务:分类和定位。在目标检测网络中,特征提取网络逐层提取关键特征,从而提高模型的鲁棒性和精度。检测网络还必须产生分类和定位输出。检测网络的主要功能是根据特征融合网络的输出特征进行预测。为了解决遥感图像的多角度和多源背景特性,本文采用旋转帧检测方法来检测地面目标实例。借鉴YOLO系列方法的数据注释方法,将旋转角度β添加到五参数长边定义方法中,使检测模块能够同时输出地面目标实例的方向偏移信息。检测模块如图9所示。
图9 检测头模块。
在图9中,使用了三个输出分支分别检测大、中、小目标。由于遥感图像的特征尺度在通过特征提取网络和特征融合网络后会继续变化,小特征图中每个像素的感受野较广,语义信息较为抽象,有利于检测大目标实例;大特征图中每个像素的感受野较小,包含丰富的信息(如角点和边缘),有利于检测小目标实例;中等尺度的特征图用于检测中等大小的目标实例。检测网络输出分类概率(图9中的cls)、置信度(图9中的obj)、回归坐标(图9中的reg)(x, y, w, h)和旋转角度β(值范围为?90°~90°);回归坐标和旋转角度构成了长边定义方法的旋转预测框(x, y, w, h, β)。旋转角度β是通过五参数长边定义方法(Yang和Yan,2020年)获得的,如图10所示。
图10 基于长边的定义。
如图10所示,五参数方法使用五个变量来实现旋转边界框的定位,即(x, y, w, h, β),其中(x, y)是中心点坐标,(w, h)是宽度和高度,β是角度参数;长边定义方法规定顺时针方向为正角度,逆时针方向为负角度。定义的角度参数范围是β ∈ [?90°, 90°]。该方法将短边描述为宽度,长边描述为高度。
3.5 改进的损失函数
损失函数是目标检测模型训练过程中的关键组成部分,用于衡量模型预测与真实注释之间的差异,从而指导模型参数的优化。在训练过程中,模型通过前向传播计算预测误差,并通过反向传播更新其参数以最小化总体损失。因此,损失函数的设计直接影响模型的性能。鉴于遥感图像中目标实例的任意分布,传统的水平边界框难以准确描述它们的几何形状,经常引入冗余的背景信息,从而降低模型性能。因此,本文设计了一个多任务旋转边界框损失函数,以减轻不同目标实例对回归任务贡献的不平衡。损失函数由四部分组成:分类损失、置信度损失、定位损失和角度损失,分别用于约束类别、目标置信度、位置回归和方向。在多任务损失中,不同的约束对整体优化有不同的贡献。在优化过程中使用统一权重容易导致训练时偏向某个任务,影响整体模型性能。因此,本文在损失函数中引入了权重因子,以平衡每个损失项的贡献,并减轻多任务联合优化过程中的不平衡。损失函数公式在方程2中定义:
Loss = λregLreg + λclsLcls + λβLβ + λobjLobj
(2)
在上述方程2中,Lreg表示回归损失,Lcls表示分类损失,Lβ表示旋转角度损失,Lobj表示置信度损失,λ表示每个子任务损失的权重。根据任务对损失的贡献,为这些参数分配不同的值。在实验中,λreg = 0.05;λcls = 0.5;λobj = 1;λβ = 0.5。对于分类损失、置信度损失和旋转角度损失,使用二元交叉熵损失函数,如方程3-7所示:
Lcls = ?wcls[pcls?ycls?log(σ(xcls)) + (1?ycls)?log(1?σ(xcls))
(3)
Lβ = ?wβ[pβ?yβ?log(σ(xβ)) + (1?yβ)?log(1?σ(xβ))
(4)
Lobj = ?wobj[pobj?yobj?log(σ(xobj)) + (1?yobj)?log(1?σ(xobj))
(5)
log(σ(x)) = log(1/(1 + e^?x)
(6)
log(1?σ(x)) = log(e^?x)
(7)
方程3-7提供了置信度损失、旋转角度损失和分类损失的计算方法。在这些公式中,wcls、wβ、wobj、pcls、pβ、pobj是权重因子,在实验中取值为1;ycls、yobj、yβ是输入样本的标签值;xcls、xβ、xobj是模型预测的类别概率值、角度值和置信度值。方程8-13定义了回归损失:
Lreg = 1 ? CIoU
(8)
CIoU = IoU ? (d2/c2 + αν)
(9)
IoU = S∩/S∪
(10)
ν = 4π/(2*(arctan(wgt ? arctan(h))
(11)
α = ν/(1 ? IoU)
(12)
d = √((x2 ? x1)2 + (y2 ? y1)2)
(13)
方程8-13给出了改进后的回归损失函数的计算公式。在方程10中,IoU(交并比)是指模型预测的边界框与实际边界框的交集与并集的比率,其中分子S∩表示交集的面积,分母S∪表示并集的面积。交集和并集在图11中展示。在方程11中,w和h分别表示预测边界框的宽度和高度,wgt和hgt分别表示标记边界框的宽度和高度;c表示预测边界框和真实标记边界框的最小外接矩形的对角线长度。方程13中的(xi, yi)是预测边界框和实际边界框中心点的坐标;d表示预测边界框中心点与实际标记边界框中心点之间的欧几里得距离,α是中间转换因子。示意图见图12。
图11:交集和并集:(a) 交集;(b) 并集。
图12:注释框与预测框中心点之间的距离以及最小包围矩形的示意图。
3.6 数据集
由于缺乏大规模、标注良好的遥感图像目标检测数据集,Xia等人(2018年)发布了DOTA(Aerial Images中的对象检测数据集)。该数据集包含大量具有随机分布方向的目标实例,包含复杂的场景信息。数据集有两种标注方法:水平框标注和旋转框标注。
3.6.1 DOTAv1.0数据集
DOTAv1.0数据集包含2,806张分辨率为4,000×4,000的图像,包含不同大小、方向和形状的目标实例。它包括15个类别和188,282个实例。类别实例包括卡车、足球场、船舶、环岛、网球场、油罐、田径场、桥梁、汽车、飞机、棒球场、港口、直升机、游泳池和篮球场。数据集样本见图13。
图13:DOTAv1.0数据集示例:(a) 场景1;(b) 场景2
3.6.2 DOTAv1.5数据集
DOTAv1.5数据集在之前的版本基础上增加了集装箱起重机类别,并加入了新的实例标注。总共有16个类别,包括卡车、足球场、船舶、环岛、网球场、油罐、田径场、桥梁、汽车、飞机、棒球场、港口、直升机、游泳池和集装箱起重机,共计403,318个实例。数据集实例图见图14。
图14:DOTAv1.5数据集示例:(a) 场景1;(b) 场景2
4 实验和结果分析
实验部分首先进行性能比较和消融研究,然后是一些失败的探索性实验,最后是真实灾难场景的检测。比较和消融实验使用了第3.6节介绍的DOTA v1.0和DOTA v1.5两个数据集。实验在Ubuntu 20.04操作系统上使用PyTorch深度学习框架进行,加速器为CUDA 11.2。硬件环境包括Intel E5-2680 v4 CPU和32GB Tesla V100 NVIDIA显卡。检测网络的输入遥感图像分辨率为640×640像素。在模型训练期间,初始学习率设置为0.01,并使用余弦退火调度进行动态调整,下限为0.002。权重衰减系数设置为0.0005,动量设置为0.937,训练迭代次数设置为300,批量大小设置为64。所有实验都在相同的训练和评估设置下进行,以确保结果的公平性和可比性。
4.1 评估方法
本文主要讨论基于边界框的遥感图像和对象检测模型。以下主要介绍实验中使用的评估方法:
(1) 精确度P:也称为精确率,表示正确预测的正类的比例,即正确预测的正样本与所有预测的正样本的比例,如方程14、15所示:
P = TP / (TP + FP)
(14)
P′ = TP + FP
(15)
(2) 召回率R(Recall):也称为实际正样本率,表示正确预测的正样本与实际正样本的比例,如方程16、17所示:
R = TP / Positive
(16)
Positive = TP + FN
(17)
在方程14-17中,TP表示正确预测的正样本的准确率;FP表示错误预测的正样本的数量;Positive表示实际的正样本;P′表示预测的正样本。
AP(平均精确度):某个类别的平均精确度。该曲线使用不同的置信度阈值绘制,以获得不同的召回率和精确度值。曲线的横轴表示召回率,纵轴表示精确度。曲线下的面积是AP值,也称为精确度-召回率曲线下的面积。较高的AP值表示模型性能更好。计算方法见方程18。方程19也可用于近似计算:
AP = ∫?^1 p(r) dr
(18)
AP = ∑_{j=1}^{N} P(j)
(19)
在方程19中,NN表示第i类的样本总数,jj表示第i类中的第j个样本。
(3) mAP(平均平均精确度):所有类别的平均精确度,即所有类别AP之和除以类别数量,如方程20所示:
mAP = ∑_{i=1}^{N} AP(i)
(20)
在方程20中,ii表示第i类,NN表示该类别的样本总数。
4.2 对比实验和结果讨论
本节展示了所提出模型在DOTAv1.0和DOTAv1.5数据集上的实验结果(表1、2),并将其与主流模型进行了比较。结果表明了我们模型的优越性和有效性。表1展示了本文提出的模型在DOTAv1.0数据集上的实验结果,以及一阶段和两阶段模型的结果。表2展示了本文提出的模型在DOTAv1.5数据集上的实验结果,以及一阶段和两阶段模型的结果。
表1:网络模型、网络层、参数、GFLOPs、FP、SP、R(所有)、mAP@0.5
Faster R-CNN:40、137.09、872、437、0.21、16.7、0.49、60.81、30.73
YOLOv5s:21、37.05、058、15.92、760.71、50.67
YOLOv5m:29、020.90、950、848、1590.78、70.67
YOLOv8n:168、3.00、857、38.13、000.81、0.69、30.74
YOLOx:360、8.94、13.39、250.82、90.64、70.74
RT-DERT-l5:30、37.49、732、17.35、00.75、50.71
CoT_WRPNet(我们的模型):30、37.49、732、17.35、00.75、50.71
表2:网络模型、网络层、参数、GFLOPs、FP、SP、R(所有)、mAP@0.5
Faster R-CNN:40、137.09、937、0.21、110.78、70.61
YOLOv5s:21、37.05、327、715.92、690.80
YOLOv5m:29、020.91、354、948、1138、0.76
YOLOv8n:168、3.15、190、48.73
YOLOx:360、8.94、13.39、210.87
RT-DERT-l5:30、37.50、0089、17.34
CoT_WRPNet(我们的模型):30、37.50、0089、17.34
表1和表2展示了所提出模型在DOTAv1.0和DOTAv1.5数据集上的实验结果,并将其与主流模型进行了比较。结果表明了我们模型的优越性和有效性。相比之下,CoT_WRPNet采用了轻量级的卷积层和上下文变换器来优化特征提取,并采用端到端的单阶段检测策略。这使得模型在保持高准确性的同时显著降低了计算复杂性,从而提高了帧率(FPS)。与YOLOv5s模型相比,我们提出的模型具有更多的网络层、更多的参数和略高的GFLOPs(浮点运算次数),但FPS略低(尽管仍满足实时检测的要求)。这是因为YOLOv5s的轻量级设计虽然提高了速度,但牺牲了一些特征表示能力,导致mAP@0.5降低了7.4%,R值降低了10.1%。与YOLO5m相比,其参数数量和GFLOPs大约是本文模型的2.78倍。然而,其mAP@0.5仍然低1%,表明过度增加网络规模并不会直接提高准确性。与CoT_WRPNet模型相比,YOLOv8n具有更少的网络层、参数和GFLOPs,因此推理速度更快,FPS也更高。但是,其mAP@0.5比CoT_WRPNet低2.1%。这表明尽管YOLOv8n采用了轻量级设计来提高速度,但其特征提取和融合能力相对较弱,导致检测准确性下降。相比之下,CoT_WRPNet通过多尺度特征融合和优化的注意力机制,在保持实时推理的同时提高了目标识别准确性。因此,它在速度、参数数量和空间复杂性之间取得了平衡,充分展示了模型在准确性和效率方面的综合优势。与CoT_WRPNet模型相比,YOLOx具有多57层网络和1.19倍的参数数量。其GFLOPs大约是我们的0.77倍,而FPS则是我们的0.435倍。然而,其mAP@0.5比CoT_WRPNet低2.3%。这表明尽管YOLOx使用了多层优化,但在特征提取和融合方面并未完全超越CoT_WRPNet。因此,我们的模型稍微更准确。与RT-DETR-1模型相比,CoT_WRPNet的mAP@0.5提高了2.6%。在模型复杂性方面,CoT_WRPNet减少了203层网络,参数数量约为RT-DETR-1的0.234倍,GFLOPs约为0.17倍,FPS约为1.8倍。这表明CoT_WRPNet显著减少了模型参数和计算开销,同时提高了检测准确性和推理速度,从而展示了高计算效率。与YOLOv9m模型相比,CoT_WRPNet的mAP@0.5降低了71.4%,而YOLOv9m的mAP@0.5为74.8%。在模型复杂性方面,CoT_WRPNet多了152层网络,但其参数数量仅为YOLOv9m的0.375倍,GFLOPs约为0.23倍,FPS约为1.2倍。这表明尽管检测准确性略有下降,但CoT_WRPNet的参数数量和计算成本显著降低,推理速度更快,整体计算开销更低。与YOLOv10m相比,CoT_WRPNet的mAP@0.5降低了71.4%,而YOLOv10m的mAP@0.5为75.7%。在模型复杂性方面,CoT_WRPNet多了167层网络,但其参数数量仅为YOLOv10m的0.49倍,GFLOPs约为0.29倍,FPS约为1.37倍。这表明尽管检测准确性略有下降,但CoT_WRPNet显著减少了参数数量和计算成本,同时实现了更快的推理速度。因此,在DOTAv1.5数据集上的实验结果表明,CoT_WRPNet在保持高检测准确性和相对较快推理速度的同时,有效减少了模型参数和计算成本,展现了良好的整体性能。
4.3 消融实验和结果讨论
4.3.1 DOTAv1.0数据集的实验结果与分析
该实验是在第3.6节介绍的DOTAv1.0数据集上进行的。DOTAv1.0数据集包含15个类别,目标对象实例分布不规则,背景复杂。在实验中,我们使用P、R和mAP@0.5来评估模型的检测准确性,并通过参数数量、FLOPs(浮点运算次数)和FPS来衡量其复杂性和速度。相应的消融测试结果列在表3中。表3中,YOLOv5s代表原始基线模型;RFPN_YOLOv5s是在YOLOv5s基础上引入残差特征金字塔结构得到的模型;R_YOLOv5s是使用旋转边界框进行目标标注的模型;WRPNet是在旋转边界框标注基础上进一步结合加权残差金字塔结构得到的模型。在此基础上,将上下文变换器模块引入不同模型中,以增强它们捕获上下文信息的能力。CoT_YOLOv5s、CoT_RFPN_YOLOv5s和CoT_R_YOLOv5s分别表示将此模块集成到YOLOv5s、RFPN_YOLOv5s和R_YOLOv5s中得到的模型。CoT_WRPNet是在WRPNet基础上进一步加入上下文变换器模块得到的模型,也是本文提出的最终模型。
表3
方法 模型 YOLOv5s RFPN_YOLOv5s R_YOLOv5s WRPNet CoT_YOLOv5s CoT_RFPN_YOLOv5s CoT_R_YOLOv5s CoT_WRPNet(我们的)
基线 (CSPDarkNet53) √ √ √ √ √ √ √ √
RFPN √ √ √ √ √ √ √
网络层 21 32 21 32 21 32 87 28 7 30 30 3
参数数量(×10^6) 7.05 50 58 7.05 58 7.53 60 47.5 36 04 7.49 73
GFLOPs 15.9 15.9 17.4 17.4 15.5 15.5 17.3 17.3
FPS 276 284 208 207 49 50 58 50
P(全部) 0.71 50 0.74 0.76 0.76 20.8 0.75 0.75
R(全部) 0.67 30 66 70 66 40 67 50 69 50 67 40 0.71
mAP@0.5 0.67 60 68 10.70 60 71 10.71 30 75 0.75
表3展示了各种模型的性能比较。从结构上看,YOLOv5s、RFPN_YOLOv5s、R_YOLOv5s和WRPNet具有相同数量的网络层,而在引入CoT模块后网络层数量增加。与使用水平边界框标注的模型相比,使用旋转边界框标注的R_YOLOv5s、CoT_R_YOLOv5s和提出的CoT_WRPNet具有更高的参数数量和计算复杂性,比基线模型增加了约0.5百万个参数和1.5 GFLOPs,同时帧率略有下降。这主要是因为旋转边界框标注引入了角度参数β到目标表示中。模型需要在回归目标位置和大小的同时预测目标的角度,从而增加了回归任务的复杂性并产生了额外的计算开销。尽管帧率有所下降,但仍满足实时检测的要求。根据表3中的检测准确性,每种改进策略都带来了不同程度的性能提升。与YOLOv5s相比,RFPN_YOLOv5s在引入残差特征金字塔后,mAP@0.5提高了0.5%;R_YOLOv5s使用旋转边界框标注后提高了3%;CoT_YOLOv5s在引入CoT模块后提高了3.7%。在此基础上,WRPNet比RFPN_YOLOv5s提高了3%,比R_YOLOv5s提高了0.5%,表明加权残差金字塔结构和旋转边界框标注的结合可以进一步提高检测性能。继续引入CoT模块后,CoT_RFPN_YOLOv5s比RFPN_YOLOv5s提高了6.9%,CoT_R_YOLOv5s比R_YOLOv5s提高了1%。在此基础上,提出的CoT_WRPNet比CoT_RFPN_YOLOv5s提高了0.4%,比CoT_R_YOLOv5s提高了3.8%,在所有模型中实现了最佳的检测性能。总体而言,结果表明提出的CoT_WRPNet在保持实时性能的同时有效提高了检测准确性。
由于篇幅限制,仅展示了一些图像的实验结果。图15显示了DOTAv1.0数据集中八个模型在特定场景下的可视化结果。
图15展示了DOTAv1.0数据集中一个场景的检测结果。(a) YOLOv5s模型;(b) RFPN_YOLOv5s模型;(c) R_YOLOv5s模型;(d) WRPNet模型;(e) CoT_YOLOv5s;(f) CoT_RFPN_YOLOv5s;(g) CoT_R_YOLOv5s;(h) CoT_WRPNet(我们的)。
图15显示了不同模型在DOTAv1.0数据集上的检测结果。图中的矩形代表检测到的目标位置,不同颜色的框用于区分目标;每个框上方的数值代表该类别的置信度分数,旁边标有相应的类别名称。例如,在图15g中,黄色框检测到的目标是“ship”,置信度分数为0.47。可视化结果显示,DOTAv1.0数据集的目标分布密集,包含许多小目标,这对检测模型的特征表示能力和定位准确性提出了更高要求。在这种复杂场景中,一些模型容易漏检或检测不完整。相比之下,CoT_WRPNet能够在密集目标区域检测到更多有效目标,减少了漏检情况,提供了更完整的结果。这些结果表明,引入加权残差金字塔结构和上下文变换器模块增强了模型在复杂场景中的目标表示能力,并提高了密集小目标的检测性能,进一步验证了所提出方法的有效性。
4.3.2 DOTAv1.5数据集的实验结果与分析
该实验是在DOTA v1.5数据集上进行的。本节进行了八项实验。DOTA v1.5数据集包含16个类别,有许多小对象和复杂的背景。与DOTA v1.0数据集相比,该数据集增加了一个集装箱起重机类别,但注释较少。整个测试集包含107,333个标注的对象实例,其中只有23个是集装箱起重机。这显著加剧了不同数据样本对损失贡献的不平衡。实验结果如表4所示。
表4
方法 模型 YOLOv5s RFPN_YOLOv5s R_YOLOv5s WRPNet CoT_YOLOv5s CoT_RFPN_YOLOv5s CoT_R_YOLOv5s CoT_WRPNet(我们的)
基线 (CSPDarkNet53) √ √ √ √ √ √ √ √
RFPN √ √ √ √ √ √ √
网络层 21 32 21 32 21 32 87 28 7 30 30 3
参数数量(×10^6) 7.05 32 77 7.05 32 85 7.5 38 77 7.5 00
GFLOPs 15.9 15.9 17.4 17.4 15.5 15.5 17.4 17.3
FPS 269 267 173 171 50 49 51 48
P(全部) 0.80 40 0.81 50 72 0.76 10.74 90 0.69 40 0.68
R(全部) 0.59 80 60 10.62 70 61 50 63 0.62 20.66 30 69
mAP@0.5 0.64 0.64 0.67 30 68 0.68 40 0.68 20.71 4
表4展示了各种模型的性能比较。在模型复杂性方面,趋势与表3中DOTAv1.0数据集的结果大体一致。YOLOv5s、RFPN_YOLOv5s、R_YOLOv5s和WRPNet的网络层数量保持不变,而在引入CoT模块后网络层数量增加。与使用水平边界框的模型相比,使用旋转边界框的R_YOLOv5s、CoT_R_YOLOv5s和提出的CoT_WRPNet具有更高的参数数量和计算复杂性,比基线模型增加了约0.5百万个参数和1.5 GFLOPs,同时帧率略有下降。这种变化主要与旋转框标注方法有关。旋转框引入了角度参数β到目标表示中。模型需要在回归目标位置和大小的同时预测目标的角度,这使得回归过程更加复杂,增加了参数和计算开销。尽管帧率有所下降,但仍满足实时检测的基本要求。
如表4所示,DOTAv1.5数据集上的检测准确性结果显示,每种改进策略都不同程度地提高了模型性能。与基线模型YOLOv5s相比,RFPN_YOLOv5s在引入残差特征金字塔后,mAP@0.5提高了0.5%;R_YOLOv5s使用旋转边界框标注后提高了3%;CoT_YOLOv5s在引入CoT模块后提高了3.7%。在此基础上,WRPNet比RFPN_YOLOv5s提高了3%,比R_YOLOv5s提高了0.5%,表明加权残差金字塔结构和旋转边界框标注的结合可以进一步提高检测性能。继续引入CoT模块后,CoT_RFPN_YOLOv5s比RFPN_YOLOv5s提高了6.9%,CoT_R_YOLOv5s比R_YOLOv5s提高了1%。在此基础上,提出的CoT_WRPNet比CoT_RFPN_YOLOv5s提高了0.4%,比CoT_R_YOLOv5s提高了3.8%,在所有模型中实现了最佳的检测性能。总体而言,结果表明提出的CoT_WRPNet在保持实时性能的同时有效提高了检测准确性。
由于篇幅限制,仅展示了一些图像的实验结果。图15显示了DOTAv1.0数据集中八个模型在特定场景下的可视化结果。
图16中,目标用彩色矩形标记,每个框上显示了类别名称和置信度水平。例如,在图16h中,浅蓝色框标记为“swimming pool 0.69”,表示目标被识别为游泳池,置信度水平为0.69。比较图16c和d可以看出,一些模型在复杂场景中出现了误检(用黄色箭头标出),例如将树木误识别为小型车辆。同时,CoT_WRPNet能够准确识别这些目标,没有此类错误。这表明CoT_WRPNet在特征表示和目标区分方面具有显著优势。一方面,加权残差金字塔结构增强了多尺度特征的融合,使模型能够更准确地捕捉不同大小的目标特征;另一方面,上下文变换器模块利用周围环境的信息来支持目标判断,从而提高了区分相邻或形状相似目标的能力。结果显示,CoT_WRPNet在密集目标和复杂背景下的检测精度更高,假阴性和假阳性率显著降低,这验证了将加权残差金字塔与上下文信息结合的有效性。图16展示了DOTAv1.5数据集中一个场景的视觉检测结果。(a) YOLOv5s模型;(b) RFPN_YOLOv5s模型;(c) R_YOLOv5s模型;(d) WRPNet模型;(e) CoT_YOLOv5s;(f) CoT_RFPN_YOLOv5s;(g) CoT_R_YOLOv5s;(h) CoT_WRPNet(我们的模型)。4.4 性能与复杂度权衡分析在DOTA v1.0和DOTA v1.5数据集上的实验结果表明,所提出的CoT_WRPNet模型在检测性能和计算复杂度之间取得了良好的平衡。为了进一步说明这一特性,本节将分析该模型的性能和复杂度。在4.2节的比较实验中,CoT_WRPNet在DOTA v1.0数据集上的mAP@0.5达到了75.4%,低于YOLOv9m的78.7%和YOLOv10m的79.2%。然而,其参数数量仅为YOLOv9m的0.37倍,YOLOv10m的0.49倍,其GFLOPs仅为YOLOv9m的0.23倍,YOLOv10m的0.29倍。同时,其FPS是YOLOv9m的1.16倍,YOLOv10m的1.61倍。在DOTA v1.5数据集上,CoT_WRPNet的mAP@0.5为71.4%,低于YOLOv9m的74.8%和YOLOv10m的75.7%。然而,其参数数量仅为YOLOv9m的0.375倍,YOLOv10m的0.49倍;其GFLOPs仅为YOLOv9m的0.23倍,YOLOv10m的0.29倍;其FPS是YOLOv9m的1.2倍,YOLOv10m的1.37倍。实验结果表明,尽管提高精度通常伴随着更高的计算开销,但我们的模型通过显著减少参数数量和计算成本,在保持强大检测性能的同时实现了更高的推理效率,从而在性能和复杂度之间取得了合理的平衡。与Faster R-CNN和RT-DERT-1相比,所提出的模型在精度和复杂度方面都表现出更好的性能。此外,在与YOLOv8n、YOLOv5s、YOLOv5m和YOLOx的比较实验中,CoT_WRPNet在相似的复杂度下实现了更高的检测精度,进一步验证了所提出模型在平衡精度和复杂度方面的有效性。在4.3节的消融实验中,无论是DOTA v1.0还是DOTA v1.5数据集,引入CoT模块、RFPN和旋转边界框后,mAP@0.5都有稳定的提升,同时保持了现有的参数数量、GFLOPs和实时性能。这表明性能的提升并不完全依赖于计算复杂度的增加。因此,结合消融实验和比较实验可以看出,我们提出的模型在不显著增加复杂度的同时有效提升了检测性能,并保持了实时性能,展示了精度和复杂度之间的良好平衡。4.5 失败的实验与分析在研究过程中,团队进行了各种实验以更有效地评估不同方法对目标检测模型的影响。尽管一些实验未能显著提高模型性能,但这些探索性实验为团队进一步理解基于YOLO的目标检测模型提供了宝贵的参考。表5和表6展示了在Dota 1.0和Dota 1.5数据集上的一些失败探索性实验。表5网络模型网络层参数×10^6 GFLOPs FPS P(全部)R(全部)mAP@0.5YOLOv5s 2137.05058 15.92760.7150.6730.676RFPN_YOLOv5s 2137.050588 15.92840.740.6670.681R_YOLOv5s 2137.5360417.42080.7640.6640.706WRPNet 2137.53604817.42070.760.6770.711WRPNet_C2f 2018.77508821.1500.7350.6410.695CoT_WRPNet_C2f 2148.10667220.6510.7030.5980.64表5和表6中,WRPNet_C2f模型用YOLOv5中的C2f模块替换了WRPNet主干网络中的C3模块;CoT_WRPNet_C2f模型将上下文变换器模块集成到了WRPNet_C2f中。表4显示,用C2f模块替换C3模块后,在Dota1.0和Dota1.5数据集上的实验结果表明,尽管网络层数量略有减少,但GFLOPs增加了。同时,FPS、P、R和mAP@0.5显著下降。分析表明,这可能是因为C2f减少了原始C3中的多个瓶颈层,从而削弱了目标检测模型表达深度特征和与信息交互的能力。同时,由于C2f不使用卷积层之间的跨层连接,模型捕获上下文语义信息的能力受到限制。在具有复杂背景的遥感图像目标检测中,捕获关键特征具有挑战性,导致检测性能较差。将上下文变换器模块集成到WRPNet_C2f模块后,CoT_WRPNet_C2f在dota1.0数据集上的P、R和mAP@0.5分别下降了3.2%、4.3%和5.5%。在Dota1.5数据集上,其R和mAP@0.5分别下降了2.1%和0.3%。分析显示,虽然上下文变换器理论上可以通过结合自注意力与上下文特征融合来更好地考虑目标与背景之间的关系,但实际上,C2f模块可能会减少原始YOLOv5模型中的跨通道连接,从而削弱特征融合。此外,上下文变换器严重依赖于上下文中的语义特征。如果输入特征的语义不足,变换器的注意力机制将提取较少的关键信息,可能影响召回率并降低模型精度。4.6 灾害遥感场景检测的可视化上述消融和比较实验验证了CoT_WRPNet模型的有效性。为了进一步评估模型的泛化能力,本文将基于DATAv1.5数据集训练的模型应用于真实的灾害遥感图像。由于选定的真实世界场景是随机样本且没有精确标注,定量评估较为困难;因此,使用可视化结果进行分析。从不同场景中随机选择了三张灾害图像,并使用在DATAv1.5数据集上训练的CoT_WRPNet模型进行直接检测。图17展示了所提模型在地震后遥感图像上的检测结果。图17显示了地震灾后场景的检测结果。(a) 原始图像;(b) 网络检测输出。图17是一张随机选择的地震后图像,显示了小型车辆、树木和建筑物。本文提出的模型在DATAv1.5数据集上训练,只能识别16个类别的特征,包括小型车辆。如图17b所示,当新图像数据输入网络后,模型可以检测到这些目标的类别和位置;例如,小型车辆可以被有效识别。在检测结果图中,目标的位置用不同颜色的矩形框标记出来,每个框上显示了目标的类别置信概率和名称。例如,图(b)中红色矩形框中的小型车辆置信度为0.68,表示该目标是一个置信度为0.68的小型车辆。由于本文的模型没有学习到树木等类别特征,因此无法识别这些目标。同时,模型也存在假阳性和漏检的情况,团队将进一步研究这些问题。图18是火灾灾后随机选择的遥感图像。图像中包含小型车辆等场景。CoT_WRPNet模型只能在Dota 1.5数据集中识别16个类别的特征,如小型车辆。如图18b所示,当新图像数据输入网络后,小型车辆和游泳池可以被有效识别。在检测结果图中,目标的位置用不同颜色的矩形框标记出来,每个框上显示了类别置信概率和目标名称。例如,图18b中红色矩形框中的小型车辆置信度为0.65,表示该目标是小型车辆的置信度为0.65。由于本文的模型没有学习到道路等类别特征,因此无法识别这些目标实例,同时也存在少量漏检情况。团队将在后续进行更深入的研究。图18显示了火灾灾后随机选择的遥感图像。图19是洪水灾后随机选择的遥感图像。图像中包含植被、建筑物和小型车辆等类别。如图19b所示,本文的模型可以有效地检测图像中的小型车辆和游泳池的类别和位置信息。目标的位置用不同颜色的矩形框标记出来,矩形框中显示了类别置信概率和目标名称。例如,图19b中绿色矩形框中的小型车辆置信度为0.52,表示该目标是小型车辆的置信度为0.52。图19显示了洪水灾后随机选择的遥感图像的应用结果。来自不同场景的三张灾害遥感图像的应用结果有效地验证了我们模型的泛化能力。然而,仍有一些小型对象被遗漏,团队将在未来的研究中进一步研究。5 结论与未来工作由于遥感图像的特点,目标实例表现出大规模的变化、不规则的排列和复杂的背景。传统的水平边界框容易引入冗余的背景信息,现有的目标检测模型在多尺度特征融合和上下文信息表示方面不足,容易导致训练过程中的损失不平衡。为了解决这些问题,本文构建了一个目标检测模型CoT_WRPNet,它结合了上下文变换器和加权残差金字塔。具体来说,设计了一个加权残差金字塔模块来有效融合深度和浅层目标实例特征,并引入了一个可学习的平衡因子来减轻网络层之间的贡献不平衡。同时,将上下文变换器模块引入特征提取和融合网络中,以增强模型表示多尺度上下文特征的能力。此外,引入了旋转边界框来定位目标实例,减少了冗余背景信息的影响,并设计了一个基于CIoU的多任务损失函数来减少不同目标实例对回归任务损失的影响。在DOTA v1.0和DOTA v1.5数据集上的消融和比较实验表明,所提出的模型分别实现了0.714和0.754的mAP@0.5,同时保持了实时性能,并与多种方法相比表现出良好的检测性能。结果表明,所提出的模型在提高检测精度的同时没有显著增加复杂度,实现了两者之间的良好平衡。此外,对各种灾害遥感图像场景的检测结果进行可视化显示,表明该模型在复杂场景中表现良好。然而,所提出的模型在参数大小和计算复杂性方面仍存在开销,推理效率和检测精度需要进一步优化。未来的工作将考虑引入模型剪枝和量化等方法,以进一步降低计算成本并提高整体效率,同时保持检测性能。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号