引言
对象检测是一项基本的计算机视觉任务，用于识别和定位图像中的对象。其在实际应用中的准确性至关重要，例如自动驾驶[1]和基于无人机的监控[2]。随着深度学习的进步[3],[4]，检测器[5],[6]有了显著的发展。然而，这些模型需要大规模的人工标注数据集[7],[8]，而这些数据集的构建既昂贵又耗时。为了解决这个问题，想象监督对象检测（ISOD）[9]提供了一种替代方案，即模型在合成图像上进行训练，在真实图像上进行测试。
ISOD面临两个挑战：合成数据集的质量和检测器的适用性。早期的合成图像生成方法[10],[11],[12]依赖于数字处理或真实图像的增强。这些方法严重依赖于真实图像数据集，并需要辅助模型进行标注，这增加了复杂性，限制了多样性，并可能产生不真实的图像[13]。文本到图像生成技术[14],[15]的出现提高了合成数据集的规模和质量。基于这些技术，最近的方法[16],[17],[18]将真实数据集与扩散模型结合起来生成大规模数据。然而，这些方法仍然使用具有多个手工设计组件的复杂流程，并且仍然依赖于真实数据集，这与ISOD[9]的严格要求相矛盾。
ImaginaryNet [9]使用GPT-2 [19]生成的提示为DALL-E 2 [15]引入了ISOD，提示类别作为弱监督检测的图像级标签。然而，如图1（顶部）所示，其合成数据集存在三个关键限制。首先，提示过于简单，依赖于基本模板，导致场景单调，通常每张图像只有一个类别。其次，图像质量受到早期文本到图像模型[15]能力的限制，大多数合成图像存在明显的细节失真，违反了现实世界的逻辑。第三，它仅提供图像级标签，限制了定位精度。为了克服这些限制，我们首先使用LLaMA-3 [20]和包含类别间关系的专家提示来生成场景丰富且逻辑一致的描述。其次，我们利用开源文本到图像模型Flux [14]生成具有真实细节和高多样性的图像。第三，我们使用开放词汇表检测器Grounding DINO [21]根据类别标签自动生成精确的边界框注释，从而使ISOD能够从弱监督过渡到全监督，如图1（底部）所示。
关于检测器，基于DETR的模型[22],[23],[24],[25]取得了良好的性能。这些模型包括一个CNN骨架、一个编码器-解码器Transformer [26]和一个匈牙利匹配模块。DAB-DETR [27]将每个对象查询定义为4D锚框与内容嵌入的组合。然而，在DAB-DETR和其他变体[24],[25],[28]中，锚框和内容嵌入是以图像无关的方式随机初始化的，这减慢了收敛速度，并在ISOD设置中构成了一个关键挑战：模型倾向于过拟合特定于合成的模式（例如，固定的背景和布局），从而在真实图像上性能下降。
为了解决这个问题，我们提出了高质量提议（HQP）引导的查询编码，它使用提议来初始化锚框，并使用RoI对齐的特征来初始化内容嵌入。这为模型提供了特定于图像的几何和语义先验。传统方法[29],[30]每张图像生成数千个提议，增加了计算成本，并将模型引向不相关的区域。深度学习方法[6],[31]需要在真实图像上进行训练，这与ISOD设置相冲突。相比之下，我们使用SAM [32]为合成和真实图像生成高质量提议。由于这些提议覆盖了跨域的前景对象，模型学习了与领域一致的低级视觉特征（例如，轮廓、边缘），而不是特定于合成的模式（例如，固定的背景），从而促进了泛化。
ISOD数据集中的注释来自自动工具，不可避免地存在不精确性。虽然DN-DETR [24]的去噪机制加速了收敛速度，但其均匀的训练压力迫使模型不加选择地过拟合这些不精确的伪标签。我们通过一个关键洞察来解决这个问题：在质量要求不断提高的情况下，模型面临两条路径：要么努力适应不精确的伪标签，要么学习稳定的低级特征，如对象轮廓，这些特征在数据中提供了一致的优化信号。受Cascade R-CNN [5]的启发，我们提出了一种级联去噪机制，该机制在不同层设置逐渐增加的IoU阈值，并动态调整去噪查询的训练权重。这指导模型在后期阶段精细化高质量预测，利用可靠的视觉线索来校准监督，而不是盲目地拟合不精确的伪标签。
这项工作做出了四个主要贡献：
(1) 高质量合成数据生成流程。我们使用LLaMA-3 [20]、Flux [14]和Grounding DINO [21]设计了一个流程，构建了FluxVOC和FluxCOCO，使ISOD能够从弱监督过渡到全监督，与ImaginaryNet [9]相比，具有更优质的图像质量、场景多样性和注释准确性。
(2) HQP引导的查询编码。我们使用SAM生成的提议和RoI对齐的特征初始化锚框和内容嵌入。这为模型提供了特定于图像的先验，并鼓励学习与领域一致的低级特征，从而提高了收敛速度和泛化性能。
(3) 级联去噪算法。通过逐渐增加IoU阈值动态调整训练权重，我们指导模型学习稳定的低级视觉特征，而不是过度拟合不精确的伪标签，减少了对不精确监督的依赖，并提高了定位精度。
章节片段
对象检测中的合成图像
在对象检测中，早期的合成图像生成方法依赖于数字处理或真实图像的增强。剪切粘贴方法[10]从真实图像中提取前景对象并将它们合成到不同的背景上，领域随机化方法[11],[33]改变图像参数以创建新样本，3D渲染方法[12]将3D模型与场景信息结合起来合成数据集。然而，这些方法依赖于真实数据集，并需要辅助模型
预备知识
DETR [22]将对象检测表述为一个集合预测问题，其Transformer解码器接收可学习的对象查询，这些查询与编码器生成的图像特征交互以预测边界框和类别标签。DETR [22]使用匈牙利算法进行预测与真实值的一对一匹配，然后使用分类损失损失和GIoU损失进行端到端优化。
DAB-DETR [27]将每个对象查询定义为4D锚框Aq和
为什么HQP编码能够实现跨域泛化
ISOD的一个关键挑战是合成域和真实域之间的显著分布差异。主流的DETR变体[24],[25],[27]以图像无关的方式初始化对象查询。当仅在合成数据上训练时，这些查询不可避免地会过拟合特定于合成的视觉模式（例如，刻板的背景风格、可预测的对象布局），从而在真实图像上的泛化能力较差。
我们的HQP机制通过利用SAM生成的提议解决了这个问题
数据集和评估指标
对于ISOD评估，我们在两个合成数据集（第3.3节）上进行训练：FluxVOC（10k图像，20个类别）和FluxCOCO（80k图像，80个类别），与Pascal VOC 2012 [8] trainval集和MS COCO 2014 [7] train集相当。为了验证架构改进在真实数据上的效果，我们还在VOC12 trainval集上进行训练。
我们在Pascal VOC 2007 [8] test集上进行评估，报告了mAP@0.5、平均AP（在0.5到0.95的IoU阈值上平均）和AP@0.75，并进行了超参数和配置
结论
我们提出了Cascade HQP-DETR，通过合成数据和架构创新将ISOD从弱监督提升到全监督。我们使用LLaMA-3、Flux和Grounding DINO构建了FluxVOC和FluxCOCO。我们的高质量提议编码使用SAM生成的提议和RoI对齐的特征来提供特定于图像的先验，指导模型学习可转移的特征，而不是过度拟合合成模式。我们的级联去噪通过逐渐增加的IoU调整训练压力
CRediT作者贡献声明
陈志远：撰写 – 原始草稿、可视化、验证、软件、方法论、调研、形式分析、数据管理、概念化。郭越琳：撰写 – 审稿与编辑、可视化、验证、监督、软件、项目管理、方法论、调研、形式分析、数据管理、概念化。黄志同：撰写 – 审稿与编辑、可视化、验证。何昊宇：撰写 – 审稿与编辑、可视化、验证、监督，
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文中报告的工作。
致谢
这项工作部分得到了国家自然科学基金委员会（项目编号U22A2036）的支持，部分得到了国家自然科学基金委员会（NSFC）/研究资助委员会（RGC）合作研究计划（项目编号62461160332和2CRS_HKUST602/24）的支持，部分得到了国家自然科学基金委员会（NSFC）（项目编号62402141）的支持，部分得到了国家自然科学基金委员会（NSFC）（项目编号62472122）的支持，部分得到了深圳
陈志远于2024年从深圳哈尔滨工业大学获得了学士学位，目前正在攻读硕士学位。他的研究兴趣包括计算机视觉、对象检测以及多模态大型模型的训练调优。
Zhiyuan Chen|Yuelin Guo|Zitong Huang|Haoyu He|Renhao Lu|Weizhe Zhang
