QRT-DETR：面向实时检测Transformer的训练后量化技术及其在边缘计算中的应用突破

本文针对实时检测Transformer（RT-DETR）在资源受限平台部署时的高计算量瓶颈，提出系统性训练后量化（PTQ）框架QRT-DETR。通过动态量化（EMA-MSE量化器）、渐进重建和结构优化协同设计，突破低比特量化下检测性能崩溃的难题，在4比特量化下实现22.6% AP（原方法为0% AP），为边缘设备（如自动驾驶、医疗影像设备）的实时目标检测提供轻量化解决方案。

　　

亮点

1. 1.
   我们推出专为RT-DETR设计的全面PTQ框架QRT-DETR，提供无需重新训练的量化方案，构建从模型准备到验证的完整流程。
2. 2.
   框架核心集成EMA-MSE量化器（结合指数移动平均与均方误差指标），动态校准激活分布，并采用两阶段重建策略优化量化参数。
3. 3.
   通过对现有方法的严格基准测试，证实定制化量化方案的必要性，在4比特量化下实现突破性22.6% AP（原方法完全失效）。
4. 4.
   框架在其他DETR变体和实际数据集中验证了通用性，为现实场景部署提供可扩展方案。

量化RT-DETR

本研究以ResNet18为骨干网络的RT-DETR为量化对象，其基础算子包含卷积层（Conv2d）、批归一化层（BatchNorm2d）等不可分割单元。架构还涉及池化层（AvgPool2d）、Dropout层等组件，需针对性设计量化策略。

方法论

QRT-DETR框架构建为包含量化预处理、数据校准、重建和验证的四阶段流水线（图3）。核心创新包括：

• •
  EMA-MSE量化器：通过动态分布追踪与质量度量实现自适应量化范围校准；
• •
  两阶段重建感知量化：迭代优化分类与边界框回归双任务的量化参数。

实验结果与分析

实验验证表明，QRT-DETR系统化流水线（非单一组件创新）对RT-DETR量化至关重要。在低比特设置下，框架显著优于直接应用现有方法的表现。

结论

QRT-DETR证明，对复杂检测器需采用协同设计的系统化PTQ方案。动态量化器与两阶段重建策略的整合，使4比特量化下实现22.6% AP成为可能，推动实时目标检测在边缘设备落地。