《Journal of Visual Communication and Image Representation》：Beyond bounding boxes: Segmentation supervision for robust object detection in fisheye images
编辑推荐：
鱼眼相机检测中基于实例分割掩码的监督信号优化方法，通过SAM模型将边界框标注自动转换为高精度分割掩码，有效解决径向畸变导致的边界框失效问题。实验表明该方法使YOLOv8/v11/v12在Fisheye8K数据集上的mAP提升10-12绝对点，显著优于传统边界框监督方法，并验证了其在不同模型架构下的泛化能力。
Arda Oztuner | Mehmet Kilicarslan
埃斯基谢希尔技术大学工程学院计算机工程系，埃斯基谢希尔，26555，土耳其
摘要
鱼眼相机由于严重的径向畸变，在物体检测方面存在显著挑战，这使得传统的轴向对齐边界框对于扭曲的物体形状来说并不理想。我们提出了一种流程，该流程使用“Segment Anything Model”（SAM）将边界框注释转换为实例分割掩码，并在直线和扭曲的领域中验证掩码的准确性。我们在Fisheye8K数据集上对各种模型进行了基准测试，证明了我们方法在YOLOv8、YOLOv11和YOLOv12中的架构通用性。结果表明，基于分割的监督训练能够显著提升性能，平均精度（mAP@[0.5:0.95]）比使用边界框训练的模型提高了多达10个绝对百分点，在扭曲的外部区域提高了多达12个百分点。此外，我们的方法优于现有的最先进方法，并为鱼眼物体检测树立了新的基准。这项工作突出了在复杂、扭曲的成像领域中自动化基于分割的注释的具体理论和实证优势。
引言
鱼眼相机提供了广阔的视野，通常达到180度或更多，这使得它们对于需要从单个传感器获得全面环境感知的应用来说非常宝贵。这种宽视野在自主导航系统中特别有利，因为在这些系统中，情境意识至关重要；同时，在广域监控中，较少的相机就可以覆盖更大的区域。尽管有这些优势，但鱼眼镜头引入的严重桶形畸变从根本上改变了物体的外观，与传统的直线图像相比，3D世界中的直线在图像平面上变成了曲线，物体的形状和大小随着它们在图像中的位置而显著变化，尤其是在边缘部分[1]。
标准的物体检测模型通常在像COCO [2]或ImageNet [3]这样的大规模直线图像数据集上预训练，很难泛化到鱼眼图像。畸变违反了这些模型对物体几何形状和上下文的隐含假设。虽然可以应用图像去畸变（校正）技术作为预处理步骤，但它们往往会导致信息丢失，特别是在图像边界处，或者引入不希望出现的伪影和计算开销[4]。此外，对整个图像统一应用去畸变可能并不理想，因为鱼眼图像的中心区域通常畸变较小。
最近的努力集中在开发能够感知畸变的模型或专门为鱼眼图像调整现有架构[1]上。这些方法包括设计自定义卷积核以及使用能够适应不同畸变水平的注意力机制。然而，一个根本性的挑战仍然是如何表示和定位物体。传统的轴向对齐边界框虽然计算效率高，但不适合准确捕捉鱼眼视角中物体的扭曲形状。在现实世界中呈矩形的物体在图像中可能会显得严重扭曲，因此在图像空间中使用紧密的矩形边界框无法准确反映其实际范围和形状。具体来说，我们确定了三个需要在鱼眼领域从边界框转向分割掩码的几何因素：（1）边界框是线性近似，它包含了图像边缘大量扭曲的背景噪声，而掩码则将损失计算限制在物体的实际扭曲流形上。（2）这种背景包含迫使检测器将扭曲的上下文与目标类别关联起来；基于掩码的训练作为一种强大的空间规范化器，将语义特征与边缘杂乱分离。（3）标准框回归提供的梯度信号较为稀疏，而基于分割的监督提供了密集的、像素级别的梯度，使网络能够学习局部、半径依赖的扭曲模式。
在这项工作中，我们提出了一种新的策略，通过从根本上改变向模型呈现的真实信息的方式来改进鱼眼相机中的物体检测。我们没有依赖不理想的边界框，而是将Fisheye8K数据集中的所有边界框注释转换为相应的实例分割掩码，这些掩码位于原始的鱼眼图像空间中。这种转换使模型能够更准确地学习物体特征和边界，因为分割掩码本质上捕捉了由鱼眼畸变引起的复杂形状。我们的实验表明，使用这些基于分割的真实数据进行物体检测训练可以在Fisheye8K数据集上显著提高整体检测性能。这种方法不仅提高了定位精度，还提供了对几何变化更鲁棒的更丰富的监督信号。这与弱监督学习中的发现一致，在弱监督学习中，已经显示出分割协作可以通过利用像素级线索来细化物体检测机制[6]。
基于这一理论基础，我们在图1中展示了我们提出的框架。该流程自动将粗略的边界框注释转换为掩码，使用SAM，从而建立了一个密集的监督信号，随后用于训练基于YOLO的模型，以在鱼眼环境中提高性能。
本文的主要贡献如下：
- •
我们提出了一种新颖的自动化流程，将不精确的边界框注释转换为鱼眼图像的高保真分割掩码，利用“Segment Anything Model”创建一个几何上准确的监督信号，而无需手动重新注释。
- •
我们验证了我们的基于分割的监督范式在三种不同的YOLO模型架构（v8、v11和v12）中的通用性。我们的结果表明，无论具体模型的深度或复杂性如何，所提出的流程都能带来一致的性能提升，证明了其作为一种与模型无关的增强技术的鲁棒性。
- •
我们证明，所提出的自动化监督将定位精度提高了超过10个百分点，在Fisheye8K数据集上建立了新的最佳水平。
- •
我们对SAM生成的掩码与专家真实数据在扭曲和直线领域进行了严格的定量评估。
本文的其余部分组织如下。第2节回顾了关于扭曲图像中物体检测的现有文献，强调了当前方法的局限性，并将我们的工作定位在该领域内。第3节详细介绍了我们提出的方法，包括将边界框注释转换为分割掩码的自动化流程以及我们用于基于区域的空间分析的框架。第4节概述了实验协议，其中描述了Fisheye8K数据集、评估指标和我们的实现细节。第5节对我们的结果进行了全面分析，将基于分割的监督与最先进的方法进行了基准测试，同时还详细讨论了掩码准确性、遮挡鲁棒性和领域通用性的广泛消融研究。最后，我们在第6节总结了我们的关键发现，讨论了它们的更广泛含义，并提出了未来研究的方向。
相关工作
相关工作
由于广角相机的应用范围不断扩大，鱼眼图像中的物体检测受到了越来越多的关注。本节回顾了与我们的工作相关的现有文献，重点关注鱼眼物体检测中的挑战、处理畸变的方法以及使用分割进行检测的方法。
像素级分割掩码注释劳动密集且成本高昂，特别是对于大规模数据集。因此，大多数物体检测数据集和方法依赖于轴向对齐的边界框。
方法论
我们的核心思想是通过使用从现有边界框注释派生的实例分割掩码来训练模型，从而增强鱼眼图像中的物体检测。这种方法使网络能够更有效地学习物体形状和边界，减轻鱼眼畸变的负面影响。本节详细介绍了我们提出的边界框到分割的转换过程以及用于基于区域评估的圆形场估计。
实验设置
在本节中，我们介绍了旨在从多个性能维度评估我们提出方法的实验协议。虽然主要的基准测试是在Fisheye8K数据集上使用基于边界框和基于分割的监督进行的，但我们还结合了WoodScape [23]和BDD100K [24]数据集来验证掩码的准确性并分析领域通用性。最后，本节总结了实施细节。
与最先进方法的比较
在本节中，我们对我们提出的方法进行了全面评估，并将其与Fisheye8K数据集上的最先进方法进行了比较。
由于鱼眼相机在自动驾驶、监控和机器人技术中的使用日益增加，人们对鱼眼相机中的物体检测产生了浓厚的兴趣。Gochoo等人[5]引入的Fisheye8K数据集已成为一个广泛采用的基准，提供了一个包含具有挑战性几何畸变的大规模、多样化的鱼眼图像集。
结论
在这项研究中，我们解决了一个基本但经常被忽视的鱼眼物体检测瓶颈：刚性、轴向对齐的边界框与广角光学系统的非线性径向畸变之间的几何不匹配问题。我们提出了一种可扩展的自动化流程，利用SAM将传统的边界框注释转换为高保真分割掩码。这种方法为像Fisheye8K这样的现有基准提供了以数据为中心的升级，提供了密集的监督
CRediT作者贡献声明
Arda Oztuner：写作——审阅与编辑、软件、方法论、数据策划。Mehmet Kilicarslan：写作——审阅与编辑、原始草稿编写、监督、方法论、数据策划、概念化。
写作过程中生成式AI和AI辅助技术的声明
在准备这项工作时，作者使用了Gemini工具来改进文本的语法、可读性和流畅性。使用该工具后，作者根据需要对内容进行了审阅和编辑，并对出版物的内容负全责。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
