基于对数学生化自适应量化的视觉中心三维目标检测后训练量化框架

《ICT Express》：LSAQ: Adaptive post-training quantization for vision-centric 3D object detection

　　

本文提出对数学生化自适应量化（Log-Studentized Adaptive Quantization，LSAQ），一种针对视觉中心三维目标检测的静态后训练量化（Post-Training Quantization，PTQ）框架。为缓解均匀PTQ分辨率因激活异常值而退化的问题，LSAQ通过对数学生化范围（log-studentized range）量化逐层异常值严重程度，并连续重新缩放每层的最优均方误差（Optimal Mean Square Error，OMSE）搜索区间——将量化网格集中在密集特征质量上而不增加运行时开销。研究人员进一步引入初始参考点折叠（Initial Reference Point Folding，IRPF），减轻DETR风格检测头中的级联误差。在nuScenes数据集上的六个三维检测模型中，LSAQ普遍优于PTQ基线，并在六个模型中的四个上超越动态INT8，TensorRT性能分析显示最高达5.0倍加速和5.3倍内存减少。

研究背景与问题

视觉中心三维目标检测因其丰富的语义信息和较低传感器成本在自动驾驶领域日益重要，但这类计算密集型模型在边缘设备上面临严格的延迟和内存约束。后训练量化（PTQ）是有效的压缩技术，但广泛使用的均匀PTQ方法未能考虑三维检测架构中独特的结构特性。具体而言，卷积神经网络中的空间反投影和Transformer中的非线性注意力机制会产生极端激活异常值，这些重尾分布异常值降低了标准均匀校准下的量化分辨率，并放大对校准样本选择的敏感性。动态量化虽能适应异常值，但其依赖的操作常不被边缘硬件支持。因此，亟需一个稳健的静态PTQ框架来保证稳定低延迟执行，同时避免量化感知训练（QAT）的高昂开销。

研究内容与结论

研究人员提出对数学生化自适应量化（LSAQ），一个无需重训练的静态PTQ框架。LSAQ通过数据驱动的对数学生化范围统计量量化每层异常值严重程度，并据此连续调整每层最优均方误差（OMSE）搜索范围，将量化网格聚焦于异常值严重层的密集特征区域，同时保持稳健层的完整范围。此外，研究人员引入初始参考点折叠（IRPF），通过离线投影折叠简化DETR风格Transformer头的结构，减少级联量化误差。在nuScenes基准测试中，LSAQ在六个涵盖三种架构范式的三维检测模型上，于五个模型上优于标准PTQ基线，并在四个模型上超越动态INT8精度。TensorRT性能分析显示，INT8部署下推理速度提升高达5.0倍，内存减少5.3倍。

主要关键技术方法

1. 1.
   对数学生化范围度量：对每层激活张量计算其极差与标准差比值的对数，即 φ_i = log(r_i/σ_i)，作为尺度不变的异常值严重程度指标。
2. 2.
   自适应搜索范围分配：基于所有层的 φ_i 进行最小-最大归一化，为每层分配连续的搜索比例 SR_i ∈ [λ, 1]，其中 λ 为搜索下限常数（设为0.1）。
3. 3.
   约束OMSE优化：在由 SR_i 缩放的区间 [0, SR_i·max(|X_i|)] 内最小化均方误差，确定每层最优裁剪阈值 c_i^*。
4. 4.
   初始参考点折叠：将DETR头中初始参考点的线性投影预先计算并融合为单次量化操作，消除两级乘性噪声。

研究结果

4.2 结果与分析：LSAQ在六个模型中的五个上取得最佳静态平均精度（mAP），是唯一在查询基和卷积BEV系列中超越动态INT8的静态方法。在重尾架构上收益最显著：PolarBEVU从MinMax灾难性崩溃中恢复，PolarBEVDet接近全精度。KL散度校准在所有四个Transformer头模型上崩溃至近零mAP，证实了直方图熵估计在重尾分布下的脆弱性。在BEV+Attention模型上，获得最紧搜索尺度的层恰好是多视图融合注意力路径，其激活分布呈强重尾特征（如BEVFormer注意力权重 φ=5.14），裁剪这些层会丢弃下游使用的信号而非可舍弃的尾部质量。

4.3 消融研究：

• •
  校准鲁棒性：在PolarBEVDet上改变校准帧数（10-200帧），MinMax的mAP随帧数增加单调下降约2.5%，而LSAQ和OMSE保持稳定（相对波动分别约0.65%和0.18%），且LSAQ在所有设置中达到最高精度。
• •
  校准速度：LSAQ校准耗时127.0秒，仅比OMSE慢0.3秒（约0.24%），提供几乎免费的精度提升。
• •
  IRPF效果：在BEVFormer和PolarFormer上启用IRPF分别带来mAP提升0.5%和0.4%，数学上消除了乘性噪声项。
• •
  硬件部署效率：INT8部署实现4.6-5.0倍吞吐量和5.3倍内存缩减，LSAQ优化完全离线，部署图与标准INT8相同。

4.4 跨目标尺度检测性能：按物体尺寸分组分析显示，LSAQ在小物体组上的增益超过大物体组（如BEVFormer上+0.0255 vs +0.0112），因为小物体依赖靠近有效网格分辨率的弱激活，LSAQ通过不收缩稳健层的搜索范围保护了这部分信号。

4.5 与Transformer专用PTQ比较：LSAQ在六个模型中的四个上取得更高mAP，五个上取得更高NDS。FQ-ViT组件在此模型家族上未转移成功，PTQ4ViT的双均匀量化器在PETR上不稳定且无法在标准均匀INT8硬件上执行。

总结与讨论

LSAQ假设极端激活相对于密集特征质量是可舍弃的，因此在尾部本身携带下游消耗信号时（如BEVFormer和PolarFormer的多相机融合注意力）或激活统计量高度场景依赖时，会产生次优阈值。未来工作将从激活范围度量转向考虑层输出如何被下游消耗的敏感性度量，并扩展至混合精度分配。

研究结论：研究人员提出了LSAQ，一个用于视觉中心三维目标检测的自适应静态PTQ框架。通过对数学生化范围 φ 量化逐层异常值严重程度并连续调整OMSE搜索范围，LSAQ解决了均匀校准中分辨率崩溃与过度裁剪之间的权衡。互补的IRPF通过离线结构简化减少了DETR风格Transformer头中的级联量化误差。在跨越三个范式的六个三维检测模型上，LSAQ在五个通用校准基线中取得最佳静态mAP，并在四个模型上超越动态INT8量化，TensorRT性能分析确认INT8部署下最高5.0倍吞吐量和5.3倍内存增益。