基于边缘感知注意力与浅层引导融合的遥感图像船舶检测方法研究

《Sensors》:Edge-Aware Attention with Shallow-Guided Fusion for Ship Detection in Remote Sensing

【字体: 大 中 小 】 时间:2026年09月15日 来源:Sensors 4.0

编辑推荐:

  遥感图像中的船舶检测在海上交通监控、港口管理、国防安全等领域具有重要意义。由于遥感图像中船舶目标尺度小、背景复杂且分布稀疏,现有的实时检测器在定位精度和特征利用效率方面仍面临挑战。本研究以RT-DETR-s为基线,提出了两项编码器层面的改进以提升遥感图像船舶检

  
遥感图像中的船舶检测在海上交通监控、港口管理、国防安全等领域具有重要意义。由于遥感图像中船舶目标尺度小、背景复杂且分布稀疏,现有的实时检测器在定位精度和特征利用效率方面仍面临挑战。本研究以RT-DETR-s为基线,提出了两项编码器层面的改进以提升遥感图像船舶检测性能。在注意力机制方面,提出了边缘感知自注意力(Edge-Aware Self-Attention,EASA)模块,作为主要的方法学贡献。该模块在softmax之前将Scharr边缘图以可学习强度注入注意力矩阵,提供一种结构先验,增强具有强边缘响应的位置(包括船舶轮廓、海岸线和尾迹边界)之间的注意力交互。船舶相关边缘与无关边缘之间的语义区分由注意力机制本身的查询-键投影学习获得,而非通过边缘偏置实现。在特征融合方面,设计了浅层引导深度融合(Shallow-Guided Deep Fusion,SGDF)模块,作为现有技术(CBAM注意力和跨尺度融合)的高效集成策略,其创新之处在于“先注意力、后下采样”的流程,保留了小目标检测所需的细粒度空间细节。该模块将骨干网络浅层的高分辨率小目标上下文注入深层特征,通过空间-通道注意力有效缓解深层特征图中小型船舶空间信息的丢失。最后,采用现有的WIoUv3损失函数,并系统性地与六种其他IoU变体进行比较,以确定最适合遥感船舶检测的回归损失。实验表明,与RT-DETR-s相比,所提方法在保持实时推理速度(37.6 FPS)的同时,mAP50–95提升了2.8%,APsmall(APs)提升了3.2%。

论文解读文章

一、研究背景与问题

遥感图像船舶检测在海上交通监控、港口调度管理、渔业资源调查、国防预警等场景中具有广泛应用。随着高分辨率遥感卫星和航空遥感平台的快速发展,获取的遥感图像数据量急剧增长,对自动化、高精度的船舶检测算法提出了迫切需求。然而,遥感图像中的船舶检测面临多重困难:其一,船舶通常以小尺度目标出现,经过深度特征图中的多次下采样操作后,其空间信息容易丢失;其二,遥感场景包含海洋杂波、港口建筑和海岸线等杂乱背景,干扰目标定位;其三,实际部署对推理速度有严格约束,需要在精度与效率之间取得平衡。
现有深度学习方法中,两阶段检测器如Faster R-CNN通过区域提议网络生成候选框,精度较高但推理速度慢,难以满足实时要求。单阶段检测器如YOLO系列和SSD直接回归边界框以加速推理,但受限于局部感受野,缺乏建模全局上下文的能力。DETR首次将Transformer引入目标检测,通过自注意力建立端到端的全局特征交互范式。RT-DETR系列针对实时检测场景进行了优化,但其编码器特征利用效率仍有提升空间,尤其是在遥感图像小船舶检测方面。具体而言,常规自注意力仅基于语义相似性计算权重,无法区分船舶边缘与平坦海洋背景,限制了小目标定位精度;此外,骨干网络浅层保留的高分辨率空间细节未能有效融入深层语义特征,加剧了小船舶的上下文信息丢失。

二、研究内容与核心方法

针对上述问题,研究人员以RT-DETR-s为基线,提出了两项编码器层面的改进策略,并系统比较了七种IoU损失函数。主要技术创新包括三个方面:
第一,提出了边缘感知自注意力(Edge-Aware Self-Attention,EASA)模块。该模块使用固定的、不可学习的Scharr算子计算梯度生成边缘图,通过外积构造边缘偏置矩阵,在softmax之前将结构边缘先验注入注意力分数中。边缘偏置以可学习标量控制强度,初始化为0,训练初期退化为标准自注意力以避免干扰,随后模型学习最优边缘偏置强度。语义区分由学习得到的查询-键投影负责,边缘偏置仅作为温和的结构扰动(约占语义注意力logits幅度的0.78%),将注意力轻微移向边界区域。
第二,设计了浅层引导深度融合(Shallow-Guided Deep Fusion,SGDF)模块。该模块遵循“全分辨率注意力增强、后下采样”的范式:浅层S3特征先经过1×1卷积、BN和ReLU进行通道投影,在原始80×80分辨率上通过CBAM注意力模块提取联合通道-空间注意力,再经两次步长为2的3×3卷积下采样至与深层F5特征匹配的20×20分辨率,最后通过逐元素相加完成融合。该流程在降采样之前保留细粒度空间细节,有效缓解小目标空间信息丢失。
第三,采用WIoUv3作为边界框回归损失函数。研究人员系统比较了GIoU、DIoU、CIoU、EIoU、SIoU、WIoUv3和MPDIoU七种IoU变体,WIoUv3的非单调聚焦机制能自适应调整不同质量样本的梯度权重,在定位精度、小目标检测能力和大目标性能稳定性之间取得最佳平衡。

三、研究结果

EASA模块消融实验:研究人员将EASA与SHAB(简化单头自注意力)和GatedSHSA(后置门控自注意力)进行对比。SHAB的AP50为0.841,APs为0.229;GatedSHSA在其基础上增加后置sigmoid门控,AP50提升0.4%,APs提升1.1%;EASA将边缘线索直接嵌入softmax分数,AP50较SHAB提升0.9%,较GatedSHSA提升0.5%,APs分别提升1.4%和0.3%,mAP50–95达到0.597。值得注意的是,SHAB和GatedSHSA的mAP50–95均为0.594,表明后置门控单独无法提升整体检测性能,只有将边缘线索集成到核心注意力计算中才能实现整体提升。注意力热图可视化显示,基线模型将注意力大量分散在海洋波浪背景上,EASA则有效抑制背景响应并将注意力集中于船舶轮廓。
SGDF模块设计与分析:SGDF中可学习平衡系数α初始化为0.300,四次独立训练后收敛至均值0.298±0.008,表明默认调制强度近似适合浅层到深层特征注入任务。
损失函数比较实验:以GIoU为基线(AP50=0.833,mAP50–95=0.585),DIoU获得最高AP50为0.858但APs仅提升0.1%;WIoUv3取得均衡的整体性能,AP50=0.847(+1.4%),APs=0.237(+1.0%),mAP50–95=0.599(+1.4%)。在Ships in Aerial Images独立测试集上的评估进一步确认WIoUv3取得最佳mAP50–95为0.090,优于GIoU基线(0.087)。
整体对比实验:在Ship-Detection数据集上,所提模型以12.96M参数、43.42 GFLOPs和37.6 FPS达到AP50=0.858、mAP50–95=0.613,较RT-DETR-s基线分别提升2.5%和2.8%,APs从0.224提升至0.256(+3.2%)。相比FSDETR(mAP50–95=0.562)和CSFPR-RTDETR(mAP50–95=0.581),所提方法分别高出5.1%和3.2%,且参数量更少。
消融实验:基线RT-DETR-s的mAP50–95为0.585、APs为0.224。单独添加EASA使mAP50–95提升1.2%、APs提升1.9%;单独添加SGDF使mAP50–95提升1.5%、APs提升1.1%;单独替换WIoUv3使AP75提升1.5%。三者集成后达到最优性能:AP50=0.858(+2.5%)、APs=0.256(+3.2%)、mAP50–95=0.613(+2.8%)。边缘算子消融实验表明,固定Scharr算子(mAP50–95=0.597)优于Sobel算子(0.589)和可学习Scharr算子(0.576),尤其在APs方面优势显著(0.243对比0.195和0.209)。敏感性分析显示,可学习边缘偏置强度λ收敛至约0.027,落在最优固定值范围(0.02–0.03)内;可学习SGDF系数α收敛至约0.298,与经验最优值0.3几乎一致。
泛化实验:在Remote-Ship数据集上,所提方法较RT-DETR-s基线提升AP50 2.7%、mAP50–95 1.5%、APs 2.9%。在Ships in Aerial Images独立测试集上,所提模型取得最高mAP50–95为0.117,优于所有对比模型。
训练稳定性分析:四次不同随机种子的训练中,所提模型的mAP50–95标准差较基线降低30.2%,AP50标准差降低67.1%,AP75标准差降低86.8%,APs标准差降低43.7%,表明所提模块倾向于降低不同随机初始化下的性能方差。
定性可视化:在稀疏场景中,基线仅检测到2艘船,所提方法成功识别全部5艘;在密集码头场景中,基线产生大量漏检,所提方法检测召回率显著提升。在雾天低对比度条件下,固定Scharr算子无法产生可靠的边缘响应,导致漏检增加,这是当前方法的一个局限。

四、讨论与结论

讨论部分指出,当前EASA依赖固定Scharr算子,仅提供通用边缘先验而无语义区分能力;SGDF引入不可忽略的计算开销。未来研究方向包括:探索可学习的语义感知边缘提取、利用Mamba状态空间模型替代堆叠卷积下采样、扩展多模态和旋转目标检测能力、提升跨域泛化能力以及构建集成多任务解译框架。
研究结论可翻译为:以RT-DETR为基线,本文通过三项互补改进解决了遥感船舶检测中的小目标稀疏性和边界定位挑战:EASA模块将Scharr边缘图作为可学习结构先验嵌入softmax计算之前,结合学习得到的语义查询-键注意力,使模型优先关注船舶相关边缘以改善定位;SGDF模块通过先注意力后下采样的方式将全分辨率浅层空间线索注入深层语义层,恢复丢失的小目标细节;WIoUv3回归损失利用非单调样本聚焦机制动态调整梯度权重,实现精确的边界框回归。定量比较确认所提模型达到AP50=0.858和mAP50–95=0.613,较RT-DETR-s分别提升2.5%和2.8%,APs提升3.2%。消融实验验证了EASA和SGDF的独立性能贡献及强协同效应。泛化实验表明所提方法在轻量级DETR类别中具有优势,尤其在APs和参数效率方面。训练稳定性实验显示所提框架在不同随机种子下性能方差降低。定性可视化证明在密集港口场景中漏检大幅减少,验证了所提边缘感知和浅层引导融合策略在高精度遥感小船舶检测中的实用价值。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号