RectyNet：面向鲁棒目标检测的几何感知特征校正

《Pattern Recognition Letters》：RectyNet: Geometry-Aware Feature Rectification for Robust Object Detection

　　

• •
  创建了一个包含1946张图像和176个产品类别的杂货数据集。
• •
  引入角度校正方法以校正倾斜的杂货图像。
• •
  在倾斜图像上实现了61.2的mAP@0.5，超越了最先进的模型。
• •
  提供了角度和密度对检测准确率影响的分析。
• •
  提出了RectyNet以改进倾斜和正面图像的检测结果。

章节摘要

引言

由于对智能零售解决方案需求的增长，商店自动化近年来已成为一个重要研究领域[1]、[2]。自动结账、货架审计、库存监控和补货等应用依赖于从货架图像中准确检测、分类和计数产品。虽然零售产品识别取得了重大进展[3]、[4]，但这些任务通常是独立研究的，使得难以

数据集

数据集是使用三种不同的移动相机在一家超市中收集的。图像仅从一家商店拍摄，以尽量减少背景和环境的差异，从而确保产品外观的领域一致性和统一性。这种受控的设置使数据集能够主要反映来自相机视角、距离和物体密度的变化，而不是背景杂乱或商店间布局差异。我们采用密集采样来捕获

方法论

所提出的RectyNet模型的核心设计理念是减轻图像角度失真对实时物体检测的不利影响，特别是在不同物体密度条件下。如图4所示，RectyNet接收输入图像I ∈ R^{H × W × 3}并使用ResNet-50骨干网络提取层次化特征表示，使得：$$(c_3,c_4,c_5)=Backbone\left(I\right)$$这些骨干特征随后由特征金字塔网络（FPN）处理以生成

结果与分析

所有实验都在单个NVIDIA GeForce GTX 1080Ti GPU上进行，训练了200个epoch。训练数据集包含4,664张图像，含有超过100,000个标注对象，每张图像包含1到65个实例。为确保所有评估模型之间的公平比较，关键超参数，包括输入图像分辨率、学习率、权重衰减和动量，分别固定在640 × 640、0.001、0.0005和0.937。测试集由760

结论

在这项工作中，我们引入了一个新颖的真实杂货店图像数据集，包括货架上产品的正面和倾斜视角。我们提出了一个角度校正和图像校正框架，该框架估计倾斜图像中的偏斜度，并在物体检测前将其扭曲到规范方向。据我们所知，这是第一个在杂货产品识别的物体检测流程中整合角度校正的工作。实验结果

CRediT作者贡献声明

Mayank Sah：撰写-审阅与编辑，撰写-初稿，方法论，数据管理，概念构思。Jimson Mathew：监督。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系，这些可能被认为会影响本文报告的工作。

Mayank Sah|Jimson Mathew