基于目标跟踪的目标检测器无标注置信度校准

《Pattern Recognition Letters》：Annotation-free Confidence Calibration of Object Detectors via Object Tracking

　　

• •
  我们提出了首个用于目标检测的无标注事后校准方法。
• •
  跟踪框提供了时间一致的无标注目标。
• •
  感知 IoU 的加权损失缓解了带有噪声的跟踪监督。
• •
  我们的方法改善了未标记目标域中的定位感知校准。
• •
  我们的方法与有监督的域内校准基线保持竞争力。

引言

准确反映实际检测质量的置信度分数对于目标检测器的可靠部署至关重要，尤其是在自动驾驶 [1]、智能监控 [2] 和机器人 [3] 等安全关键应用中。然而，目标检测器经常产生过度自信的预测 [4]，导致预测置信度分数与实际检测质量之间出现错位。这种校准偏差损害了目标检测器的可靠性，并降低了下游决策的质量。为了提高检测器置信度的可靠性，先前的研究通过训练时 [5]、[6]、[7] 和事后方法 [4]、[8] 研究了校准问题，旨在使置信度分数与实际检测质量对齐。

然而，现有的校准方法在校准训练过程中依赖于真值 (GT) [4]、[8]、[9]。在实际部署中，数据分布在不同的运行环境中经常发生偏移。为每个新的目标域获取真值需要巨大的标注成本，这使得现有方法在部署后变得不切实际。因此，未标记域中的置信度校准问题仍未得到解决。

未标记域中的校准带来了根本性挑战。校准训练需要一个量化预测置信度与实际检测质量之间对齐程度的目标，但只有真值能提供可靠的目标。虽然检测器输出似乎提供了一个可行的替代方案，但将单帧检测器逐帧应用于视频时，往往会对同一物体在连续帧中产生时间不一致的预测 [10]。目标跟踪器提供了一种更稳定的时间一致的定位替代方案，然而跟踪器误差会将噪声引入校准目标，且由于缺乏类别信息，跟踪器输出无法作为完整的校准监督。

为了解决这些局限性，我们提出了一个无标注事后校准框架，该框架利用视频中的时间一致性来在没有真值的情况下训练校准器。关键想法是用跟踪框监督替代不可用的真值定位。从检测器输出开始，该框架从检测到的物体初始化对象轨迹，并在连续帧之间传播轨迹。为了提高对跟踪噪声的鲁棒性，我们进一步引入了感知 IoU 的加权损失，在校准器训练期间赋予检测框与跟踪框之间 IoU 更高的训练样本更大的权重。然后优化校准器，使预测的置信度分数与检测结果和跟踪框之间的 IoU 对齐，利用感知 IoU 的加权实现无需真值的可靠校准。

实验表明，在未标记的目标域设置中，所提框架在定位感知校准指标上优于以往方法，证明了基于跟踪的定位监督在无标注校准中的有效性。在域内设置中，所提方法与各种检测器架构下的有监督校准基线保持竞争力。

本工作的贡献总结如下：

• •
  我们提出了首个用于目标检测的无标注事后校准框架。
• •
  我们使用跟踪框作为时间一致的定位参考，并将其与检测器的预测类别标签相结合，为校准器训练提供无标注监督。
• •
  我们引入了感知 IoU 的加权损失，在校准器训练期间根据每个检测框和跟踪框之间的 IoU 分配权重，从而提高了对跟踪噪声的鲁棒性。
• •
  实验表明，在未标记的目标域设置中，在定位感知校准指标上具有优越的校准效果，并且在域内设置中针对有监督事后方法具有竞争力的校准性能。

章节摘录

相关工作

置信度校准。置信度校准旨在使预测置信度与模型预测的经验正确性对齐 [11]。现有的校准方法通常分为训练时和事后方法。训练时方法修改训练目标以减少过度自信的预测，例如通过引入焦点损失 [12]，而事后方法则在冻结的模型之上学习一个单独的校准器。代表性的事后方法，如 Platt

方法

所提框架的整体流程如图 1 所示。我们利用预训练的基础目标检测器 f^D 进行事后校准。目标检测器以图像 $\mathbf{x}\in {\mathbb{R}}^{H\times W\times C}$ 作为输入，其中 H 和 W 表示高度和宽度，C 表示通道数。然后，目标检测器预测 ${\{{\widehat{b}}_i^D,c_i,{\widehat{p}}_i\}}^N$ 针对 N 个物体，其中 ${\widehat{b}}_i^D$、c_i 和 ${\widehat{p}}_i$ 分别表示第 i 个检测物体的边界框、类别标签和置信度分数。为了替代真值

数据集

所提框架在两个数据集上进行评估，涵盖域内和未标记目标域场景。

KITTI 跟踪 [20] 是一个从移动车辆收集的自动驾驶数据集。该数据集包含 21 个训练序列共 8K 帧和 29 个测试序列共 11K 帧。遵循 KITTI 目标检测评估协议 [21]，每一帧被视为一个独立样本而不包含轨迹 ID，跟踪序列被重新组织为使用 2D 边界框的检测任务

未来工作

感知 IoU 的加权损失缓解了无需真值即可观察到的跟踪噪声，而仅能用真值识别的剩余噪声依然存在。为了表征这种剩余噪声，当某个样本的跟踪框与真值之间的 IoU 低于阈值时，该样本被视为带有噪声，并在排除此类样本后重新训练校准器。图 5 显示 LaECE 和 LaECE₀ 一致减少，表明低质量的跟踪框（包括遮挡情况下的框）限制了可达到的校准水平。

结论

在本文中，我们解决了目标检测任务中置信度校准对真值依赖这一根本性局限。我们引入了无标注事后校准框架，该框架利用跟踪框作为时间一致的校准目标。此外，我们提出了感知 IoU 的加权损失以缓解跟踪噪声带来的校准偏差。实验表明，所提方法在 LaECE 和

CRediT 作者贡献声明

Dongyoung Lee: 验证，方法论，形式分析。Juyong Lee: 写作 – 初稿，可视化，验证。Jaeyoon Lee: 写作 – 审阅与编辑，调查。Jongwon Choi: 写作 – 审阅与编辑，监督，资金获取，概念化。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系，这些利益或关系可能影响本论文中报告的工作。

致谢

本工作由韩国政府 (MSIT) 资助的信息通信技术规划与评估院 (IITP) 拨款支持（编号 RS-2024-00437576，基于边缘分析服务器连接的基于视频监控系统自主性能改进技术开发；RS-2021-II211341，人工智能研究生院项目（中央大学））

Dongyoung Lee|Juyong Lee|Jaeyoon Lee|Jongwon Choi