基于ROI约束查询选择的实时目标检测增强方法：ROI-DETR

《Scientific Reports》：ROI-constrained query selection for small object detection with RT-DETRv2

　　

摘要

目标检测是计算机视觉领域中的一个重要研究方向。近年来，基于Transformer的目标检测方法在检测精度与推理效率之间取得了较好的平衡，其中RT-DETRv2展现了稳健的实时检测能力。然而，在解码器查询初始化阶段，RT-DETRv2主要采用基于编码器令牌分类分数的全局Top-K选择策略。该方法倾向于忽略局部关键区域，尤其是在复杂背景和小目标场景中，这使得弱响应目标的有效保留变得困难。针对这一局限性，本文提出了一种基于ROI约束查询选择的增强方法，称为ROI-DETR。该方法在RT-DETRv2框架中融入了ROI掩码直通机制，并结合了自适应令牌掩码机制、多尺度预算分配策略以及ROI引导的混合Top-K查询选择策略。这些改进优化了从编码器到解码器的查询生成过程，从而增强了模型对潜在目标区域的聚焦能力。实验结果表明，在COCO数据集上，ROI-DETR的平均精度（AP）达到0.501，相较于RT-DETRv2提升了0.006；而在小目标上的AP达到0.321，提升了0.015。此外，在DOTA和TinyPerson上的三组重复实验也提供了跨数据集适用性的证据。在DOTA上，ROI-DETR的AP为0.259 ± 0.001，而RT-DETRv2为0.251 ± 0.001；在TinyPerson上，平均AP从0.193 ± 0.002提升至0.0197 ± 0.001，而AP变化相对较小。在消融实验中，本文证实了各个子模块对检测性能的贡献，并分析了各模块的工作机制。关于Top-K令牌与真实标注（GT）匹配的统计与可视化结果进一步表明，该方法能够提升与目标相关查询的覆盖率，同时减少背景令牌干扰。综上所述，ROI-DETR显著提升了复杂背景下小目标相关查询的选择质量，为优化实时Transformer检测器的小目标检测性能提供了一种可行方案。