在计算机视觉领域,微小物体检测是一个极具挑战性且影响深远的研发方向。如图1所示,微小物体通常具有较小的像素范围,通常占据图像的不到3%[1]。这导致特征表示较弱且语义信息不足,使得这些物体特别容易受到视觉遮挡的影响,尤其是在杂乱背景下。稀疏特征和背景干扰的结合给传统的卷积神经网络(CNN)带来了重大挑战,因为它们难以利用有限的局部感受野提取具有足够区分度的特征。因此,微小物体检测经常出现高误报率和漏检率。
这些技术挑战在各种跨学科应用中普遍存在。例如,在遥感信息科学中,高分辨率图像中微小物体(如车辆和船只)的检测精度直接影响地理空间元素的动态监测的时空分辨率和信息完整性[2]。在智能交通系统中,系统的安全性和可靠性在很大程度上依赖于对微小物体(包括行人和非机动车辆)的实时感知和准确识别能力[3]。在工业智能制造场景中,快速检测微小缺陷(如轮毂气泡或焊接异常)是确保产品质量和生产效率的关键技术方面[4]。同样,在医学影像分析中,早期识别微小肿瘤病变是实现癌症等关键疾病及时诊断和治疗的重要技术途径[5]。因此,克服与微小物体检测相关的理论和技术瓶颈不仅是计算机视觉基础研究创新的关键方向,也是支持重大国家战略计划(包括智慧城市发展、高端设备制造和精准医疗)实施的核心技术基础。
在微小物体检测研究的早期阶段,算法主要依赖于手工制作的特征和浅层机器学习框架,以及早期的深度学习范式。经典方法将诸如方向梯度直方图(HOG)[6]和尺度不变特征变换(SIFT)[7]等特征与支持向量机(SVM)[8]和AdaBoost[9]等分类器结合使用。虽然这些方法通过手动定义的描述符部分缓解了特征稀疏性问题,但它们受到特征表示能力不足的制约,并且难以适应复杂背景中的语义模糊性和尺度变化,最终限制了检测精度和泛化能力。随着深度学习技术的进步,基于CNN的方法(如Faster R-CNN[10]和YOLO[11])在物体检测中得到了广泛应用。这些方法利用多层卷积结构自动提取物体特征,显著提高了检测效率。然而,这些模型仍然面临微小物体的特征尺度与网络感受野不匹配的固有挑战。浅层网络难以捕捉细粒度细节,而深层网络则常常丢失语义信息[12]。此外,缺乏有效的上下文建模机制导致微小物体检测任务的性能显著下降。
近年来,Transformer[13]架构在微小物体检测领域取得了重大突破,这得益于其强大的全局上下文建模能力和灵活的多尺度特征融合机制。为了解决微小物体中特征表示稀疏的问题,STF-YOLO[14]将Swin Transformer[15]模块集成到YOLOv8[16]中。通过利用自注意力机制捕获局部和全局信息,它有效增强了微小物体的特征表达能力和检测精度。为了减轻多尺度特征融合中的噪声干扰,DNTR[17]引入了对比学习并提出了去噪特征金字塔网络(FPN)模块。此外,它用自注意力增强的Trans R-CNN替换了传统的R-CNN头部,从而实现了微小物体的鲁棒特征提取和高效检测。然而,这些方法主要依赖于空间域特征提取,没有利用频域信息来增强细节响应或抑制复杂场景中的背景噪声。
最近的研究调查了频域和空间域特征的整合,为微小物体检测提供了新的见解。HS-FPN[18]基于小波分解,将图像分解为高频和低频子带。该方法通过高频通道突出微小物体的边缘特征,并在特征金字塔内进行分层融合,从而实现高精度检测细小目标。FMNet[19]专为伪装物体检测设计,引入了多尺度频域模块(MFM)。它使用谱注意力引导Transformer动态过滤和重组高频和低频带中的特征,从而提高了分割性能。然而,这些方法在应用于微小物体检测时存在局限性:HS-FPN倾向于不加区分地处理高频成分,可能会放大通常与微小物体耦合的背景噪声。同样,FMNet专注于捕获伪装分割的独特谱模式,缺乏从实际环境中频率不一致的退化中提取微小物体弱结构信号的通用机制。
为了解决现有微小物体检测方法面临的双重挑战——具体来说,由于局部化、耦合和频率不一致的干扰(如图2所示的光晕、反射和噪声)导致的性能下降、误报和漏检,以及特征严重稀疏、有效语义信息不足和由于微小物体像素比例极小而导致的弱细粒度识别能力——本文提出了MicroDETR,这是一个具有任务特定的全局-局部交互和跨域特征建模能力的端到端检测框架。
与通常仅增强高频成分的通用频率感知方法不同,我们引入了局部-全局和频率-空间交互(LGFSI)模块,该模块专门为动态频谱解耦而设计。LGFSI不是简单地提取边缘,而是采用频率-空间动态聚合(FSDA)独立处理幅度和相位谱。这促进了有针对性的三重优化:(1)通过幅度抑制抑制频率不一致的高频干扰(例如光晕和强反射),(2)通过频率选择过滤低频背景杂乱,(3)通过相位保持选择性地增强微小物体的结构信息。随后,局部感知(LP)模块对这些清洗后的特征进行细化,以捕捉微弱的局部几何细节。
同时,为了解决由于标准FPN的“语义优先”下采样策略导致微小物体经常丢失的特征稀疏问题,我们提出了微小物体-跨尺度特征融合(TO-CCFF)模块。与为了速度而丢弃浅层结构的架构不同,TO-CCFF强制集成高分辨率P2特征。它构建了一个密集的、双向的融合路径,并配备了重新参数化块,以弥合浅层和深层之间的显著语义差距。这确保了微小物体极其微弱的几何细节在语义稀释中得到保留,并与深层上下文信息牢固融合。
本文的主要贡献总结如下:
我们设计了TO-CCFF