MicroDETR:一种结合频率-空间感知和跨尺度融合技术的DETR算法,用于微小物体检测

《Pattern Recognition》:MicroDETR: DETR with frequency-spatial aware and cross-scale fusion for tiny object detection

【字体: 大 中 小 】 时间:2026年04月17日 来源:Pattern Recognition 7.6

编辑推荐:

  微小物体检测通过LGFSI模块抑制局部干扰和TO-CCFF模块增强跨尺度特征融合,有效提升检测精度。

  
吕艳霞|董光文|宋欣
中国秦皇岛东北大学计算机与通信工程学院,邮编066004

摘要

微小物体检测在多种应用中得到广泛使用,例如无人机(UAV)航空成像、海洋救援操作、工业缺陷检测和医学成像。然而,它特别容易受到局部化、耦合和频率不一致的退化影响,包括光晕、反射和噪声,这些因素会降低定位精度并增加漏检的发生率。为了解决现有基于Transformer的端到端检测器在微小物体场景中对局部高频细节响应不足的问题,我们提出了一种名为MicroDETR的新检测模型。首先,我们引入了局部-全局和频率-空间交互(LGFSI)模块,该模块旨在促进全局-局部交互以及频率和空间域之间的跨域表示。该模块有效减少了由光晕、反射和噪声引起的干扰,同时保留了细粒度图像细节。接下来,我们提出了微小物体-跨尺度特征融合(TO-CCFF)模块,该模块整合了来自主干网络的低级语义特征,并构建了一个更深层次的特征金字塔以实现跨尺度特征融合。在多个基准数据集上的实验评估表明,MicroDETR优于现有的最先进模型。

引言

在计算机视觉领域,微小物体检测是一个极具挑战性且影响深远的研发方向。如图1所示,微小物体通常具有较小的像素范围,通常占据图像的不到3%[1]。这导致特征表示较弱且语义信息不足,使得这些物体特别容易受到视觉遮挡的影响,尤其是在杂乱背景下。稀疏特征和背景干扰的结合给传统的卷积神经网络(CNN)带来了重大挑战,因为它们难以利用有限的局部感受野提取具有足够区分度的特征。因此,微小物体检测经常出现高误报率和漏检率。
这些技术挑战在各种跨学科应用中普遍存在。例如,在遥感信息科学中,高分辨率图像中微小物体(如车辆和船只)的检测精度直接影响地理空间元素的动态监测的时空分辨率和信息完整性[2]。在智能交通系统中,系统的安全性和可靠性在很大程度上依赖于对微小物体(包括行人和非机动车辆)的实时感知和准确识别能力[3]。在工业智能制造场景中,快速检测微小缺陷(如轮毂气泡或焊接异常)是确保产品质量和生产效率的关键技术方面[4]。同样,在医学影像分析中,早期识别微小肿瘤病变是实现癌症等关键疾病及时诊断和治疗的重要技术途径[5]。因此,克服与微小物体检测相关的理论和技术瓶颈不仅是计算机视觉基础研究创新的关键方向,也是支持重大国家战略计划(包括智慧城市发展、高端设备制造和精准医疗)实施的核心技术基础。
在微小物体检测研究的早期阶段,算法主要依赖于手工制作的特征和浅层机器学习框架,以及早期的深度学习范式。经典方法将诸如方向梯度直方图(HOG)[6]和尺度不变特征变换(SIFT)[7]等特征与支持向量机(SVM)[8]和AdaBoost[9]等分类器结合使用。虽然这些方法通过手动定义的描述符部分缓解了特征稀疏性问题,但它们受到特征表示能力不足的制约,并且难以适应复杂背景中的语义模糊性和尺度变化,最终限制了检测精度和泛化能力。随着深度学习技术的进步,基于CNN的方法(如Faster R-CNN[10]和YOLO[11])在物体检测中得到了广泛应用。这些方法利用多层卷积结构自动提取物体特征,显著提高了检测效率。然而,这些模型仍然面临微小物体的特征尺度与网络感受野不匹配的固有挑战。浅层网络难以捕捉细粒度细节,而深层网络则常常丢失语义信息[12]。此外,缺乏有效的上下文建模机制导致微小物体检测任务的性能显著下降。
近年来,Transformer[13]架构在微小物体检测领域取得了重大突破,这得益于其强大的全局上下文建模能力和灵活的多尺度特征融合机制。为了解决微小物体中特征表示稀疏的问题,STF-YOLO[14]将Swin Transformer[15]模块集成到YOLOv8[16]中。通过利用自注意力机制捕获局部和全局信息,它有效增强了微小物体的特征表达能力和检测精度。为了减轻多尺度特征融合中的噪声干扰,DNTR[17]引入了对比学习并提出了去噪特征金字塔网络(FPN)模块。此外,它用自注意力增强的Trans R-CNN替换了传统的R-CNN头部,从而实现了微小物体的鲁棒特征提取和高效检测。然而,这些方法主要依赖于空间域特征提取,没有利用频域信息来增强细节响应或抑制复杂场景中的背景噪声。
最近的研究调查了频域和空间域特征的整合,为微小物体检测提供了新的见解。HS-FPN[18]基于小波分解,将图像分解为高频和低频子带。该方法通过高频通道突出微小物体的边缘特征,并在特征金字塔内进行分层融合,从而实现高精度检测细小目标。FMNet[19]专为伪装物体检测设计,引入了多尺度频域模块(MFM)。它使用谱注意力引导Transformer动态过滤和重组高频和低频带中的特征,从而提高了分割性能。然而,这些方法在应用于微小物体检测时存在局限性:HS-FPN倾向于不加区分地处理高频成分,可能会放大通常与微小物体耦合的背景噪声。同样,FMNet专注于捕获伪装分割的独特谱模式,缺乏从实际环境中频率不一致的退化中提取微小物体弱结构信号的通用机制。
为了解决现有微小物体检测方法面临的双重挑战——具体来说,由于局部化、耦合和频率不一致的干扰(如图2所示的光晕、反射和噪声)导致的性能下降、误报和漏检,以及特征严重稀疏、有效语义信息不足和由于微小物体像素比例极小而导致的弱细粒度识别能力——本文提出了MicroDETR,这是一个具有任务特定的全局-局部交互和跨域特征建模能力的端到端检测框架。
与通常仅增强高频成分的通用频率感知方法不同,我们引入了局部-全局和频率-空间交互(LGFSI)模块,该模块专门为动态频谱解耦而设计。LGFSI不是简单地提取边缘,而是采用频率-空间动态聚合(FSDA)独立处理幅度和相位谱。这促进了有针对性的三重优化:(1)通过幅度抑制抑制频率不一致的高频干扰(例如光晕和强反射),(2)通过频率选择过滤低频背景杂乱,(3)通过相位保持选择性地增强微小物体的结构信息。随后,局部感知(LP)模块对这些清洗后的特征进行细化,以捕捉微弱的局部几何细节。
同时,为了解决由于标准FPN的“语义优先”下采样策略导致微小物体经常丢失的特征稀疏问题,我们提出了微小物体-跨尺度特征融合(TO-CCFF)模块。与为了速度而丢弃浅层结构的架构不同,TO-CCFF强制集成高分辨率P2特征。它构建了一个密集的、双向的融合路径,并配备了重新参数化块,以弥合浅层和深层之间的显著语义差距。这确保了微小物体极其微弱的几何细节在语义稀释中得到保留,并与深层上下文信息牢固融合。
本文的主要贡献总结如下:
  • 我们提出了
    LGFSI
  • 我们设计了
    TO-CCFF
  • 基于这些创新,我们开发了
    MicroDETR
  • 部分摘录

    基于Transformer的端到端检测器

    DETR[20]引入了一种标准的Transformer架构,消除了对预定义锚框和非最大值抑制(NMS)的需求,实现了真正的端到端训练和推理。然而,DETR存在收敛缓慢和计算开销高的问题。Deformable DETR[21]用可变形注意力替换了全局注意力,并结合了多尺度特征,训练速度提高了10倍,性能也得到了改善。尽管如此,编码器的数量

    MicroDETR

    MicroDETR的总体框架如图3所示。MicroDETR主要由主干网络、LGFSI、TO-CCFF、最小不确定性查询选择器和带有辅助预测头的解码器组成[23]。该架构通过跨域特征融合和跨尺度融合的双重方法促进了微小物体的特征提取和精确定位。
    MicroDETR框架首先使用HGNetv2主干网络[41]提取多尺度特征(P2、P3、P4和P5)。

    数据集

    为了评估所提出模型的有效性和泛化能力,使用了四个数据集进行了实验:VisDrone2019、SeaDroneSee、MiniCOCO以及一个为工业玻璃产品缺陷自构建的数据集。VisDrone2019、SeaDroneSee和MiniCOCO数据集是公开可用的,而工业玻璃产品缺陷数据集是专门为这项研究创建的。

    限制和部署约束

    尽管MicroDETR达到了最先进的精度,但我们承认在实际部署中存在某些限制。正如实验中所指出的,TO-CCFF模块中的高分辨率处理和LGFSI中的频域计算增加了计算负担(271 GFLOPs)。尽管推理延迟满足了工业检测系统的吞吐量要求,但在低功耗边缘设备(例如用于无人机的NVIDIA Jetson Xavier或嵌入式摄像头)上部署该模型

    结论

    在本文中,我们提出了MicroDETR,这是一种专为复杂环境中的微小物体检测量身定制的端到端检测Transformer。通过引入局部-全局和频率-空间交互(LGFSI)模块,该模型有效地将微小物体与频率不一致的干扰分离。此外,微小物体-跨尺度特征融合(TO-CCFF)模块通过保留高分辨率细节来减轻特征稀疏问题。
    在VisDrone2019上的实证评估表明,

    CRediT作者贡献声明

    吕艳霞:写作 – 审稿与编辑、可视化、资金获取、形式分析、数据管理、概念化。董光文:写作 – 审稿与编辑、原始草稿编写、可视化、验证、监督、软件、资源管理、方法论、调查、形式分析、数据管理、概念化。宋欣:写作 – 审稿与编辑、监督、资金获取。

    利益冲突声明

    作者声明他们没有已知的竞争财务利益或个人关系可能影响本文所述的工作。

    致谢

    本研究工作部分得到了国家自然科学基金(项目编号:72371067)、河北省自然科学基金(项目编号:F2021501020)、中央高校基本科研业务费(项目编号:N2323020)以及河北省教育厅科研项目(项目编号:QN2024167)的支持。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号