用于高性能检测变压器的更优早期检测装置

《Image and Vision Computing》：Better early detector for high-performance detection transformer

目标检测框架BETR通过引入早期检测器、A2F辅助损失和局部二分图匹配策略，在COCO数据集上达到3.0% mAP提升，参数效率最优且性能接近CNN基线模型。

　　Transformer架构正在重塑人工智能领域，特别是在自然语言处理、计算机视觉等多个方向上实现了统一。本研究探索了Transformer架构在目标检测任务中的潜力，目标检测是计算机视觉中的基础任务，广泛应用于各种工程场景，如自动驾驶、动物识别、人脸识别、农业监测、医学影像分析和活动识别等。设计高性能的目标检测模型是许多人工智能应用中的关键工程问题。传统的目标检测方法多依赖于卷积神经网络（CNN）以及多阶段的手工设计组件，如锚框、锚点、建议框和非极大值抑制（NMS）等。然而，Transformer架构基于注意力机制，能够高效捕捉长距离上下文信息，逐渐成为深度学习中的主流选择，并有助于构建更加统一的目标检测框架。

DETR是首个将Transformer引入目标检测流程的方法，它通过在预训练的CNN主干网络上附加一个简单的Transformer编码器和解码器架构，将对象视为查询，利用对象查询与真实标签之间的二分图匹配进行检测，实现了端到端的检测过程。尽管DETR在检测精度上表现出色，但其计算效率相较于传统卷积检测器较低，且混合架构未能充分挖掘Transformer在目标检测中的潜力。因此，如何构建一个完全基于Transformer的目标检测模型，成为当前研究的一个重要方向。

本研究提出了一种新的方法，通过引入一个早期检测器来提升检测Transformer的性能，使模型能够更有效地聚焦于关键区域。我们设计了一种新颖的注意力图到特征图（A2F）辅助损失函数，并采用了一种新的局部二分图匹配策略，以实现低成本的早期检测器构建。这些方法不仅提升了检测性能，还有效降低了计算复杂度。在COCO数据集上，我们的模型BETR在不增加过多参数（不超过600万）的情况下，显著优于现有的基于Transformer的目标检测模型，并在速度和参数数量上与之前最先进的基于CNN的GFLV2框架相当。

早期检测器的引入是提升检测性能的关键因素之一。传统方法中，早期检测器通常是在特征图的稀疏点上进行检测，而我们的方法则是在特征图的每个点上进行密集预测，从而构建了一个更加全面和高效的早期检测器。这种方法能够更好地捕捉图像中的细节信息，提高检测的准确率。此外，为了提高早期检测器的监督效果，我们提出了一种新的A2F损失函数，该损失函数利用解码器中的交叉注意力图的丰富实例信息，为早期检测器提供额外的训练信号。

在实验部分，我们展示了BETR在不同模型规模下的最佳性能。与ViDT等其他基于Transformer的目标检测模型相比，BETR在保持相似速度的同时，实现了更高的平均精度（mAP）。特别是在相同的Swin-nano主干网络下，BETR的mAP比ViDT高出3.0%。此外，BETR在参数效率方面也表现出色，仅需引入不超过600万的参数即可实现高质量和高速的目标检测。通过详细的消融实验，我们验证了A2F损失函数和局部二分图匹配策略的有效性，进一步证明了BETR在提升检测性能方面的优势。

我们的研究不仅在理论上对早期检测器的作用进行了深入分析，还在实践中验证了其在提升检测效果中的关键作用。BETR框架的成功应用表明，完全基于Transformer的目标检测模型在性能和效率上具有巨大潜力，有望成为未来目标检测研究的主流方向。此外，BETR的高效性和可扩展性使其在工业应用中也具有广泛前景，能够满足各种应用场景对检测速度和精度的需求。

本研究的主要贡献包括：首先，我们深入研究了完全基于Transformer的目标检测模型的组成部分，发现早期检测器在其中扮演着至关重要的角色。基于这一发现，我们提出了BETR框架，通过改进早期检测器，实现了在最小化参数引入的情况下，提升检测性能。其次，我们设计了一种新颖的A2F辅助损失函数和局部二分图匹配策略，以增强早期检测器的监督效果，提高匹配的准确性。最后，我们展示了BETR在不同模型规模下的最佳性能，不仅在准确率和速度之间取得了良好的平衡，还在参数效率方面表现出色，甚至在完全端到端的检测方式下，与最先进的基于CNN的GFLV2框架相比，也展现出竞争力。

在方法部分，我们详细描述了如何利用空间先验信息改进二分图匹配，并通过A2F损失函数为早期检测器提供额外的监督信号。这些技术的应用使得BETR能够在不增加过多计算负担的情况下，实现更高的检测性能。此外，我们还探讨了如何将检测头与视觉Transformer结合，以构建一个更加高效和准确的早期检测器。通过这些改进，BETR不仅在检测精度上有所提升，还在计算效率和参数数量上实现了优化。

实验结果表明，BETR在COCO数据集上的表现优于现有的基于Transformer的目标检测模型，并且在速度和参数数量上与基于CNN的GFLV2框架相当。这说明BETR在保持高性能的同时，也具备更高的计算效率和更低的资源消耗。通过消融实验，我们进一步验证了A2F损失函数和局部二分图匹配策略的有效性，发现它们对提升检测性能具有显著贡献。此外，我们还评估了BETR在不同模型规模下的表现，发现其在不同规模的模型中都能保持较高的检测精度和较低的延迟，展现出良好的可扩展性。

综上所述，BETR框架的成功不仅在于其在检测精度上的提升，更在于其在计算效率和参数数量上的优化。通过引入早期检测器和改进匹配策略，BETR能够在不增加过多参数的情况下，实现更高效的检测过程。这一研究成果为未来基于Transformer的目标检测研究提供了新的思路和方法，同时也为工业应用中的目标检测任务提供了更具实际意义的解决方案。