综述：360度全向图像中的目标检测与跟踪：综述

《Neurocomputing》：Object detection and tracking in 360 degree omnidirectional images: A review

　　

360度全向成像能够实现全面的场景理解，使其在自主监控、机器人导航和沉浸式虚拟环境等应用中极具价值。与传统成像不同，360度等距柱状视频引入了独特的挑战，包括视点变化、几何失真、光照变化、尺度变化、环绕效应以及高计算需求。本综述首次提供了集成调查，共同分析了全向图像中的目标检测、跟踪、投影策略和数据集，突出了挑战、局限性和未来研究方向，以提升准确性、效率和鲁棒性。本综述综合了当前的方法论，考察了用于全景检测和跟踪的关键算法和框架，同时讨论了将全向输入转换为可处理表示的投影技术。研究人员回顾了用于训练和基准测试的相关数据集，以将实际评估和可重复性置于背景中。研究人员评估了从深度学习架构到几何变换的多种方法，关注其优势、局限性及对实际场景的适用性。最后，本综述概述了开放性挑战和新兴研究机会，为推进全景目标检测与跟踪提供了路线图，为该领域的研究人员提供了全面参考。

**1. 引言**
360度全向图像中的目标检测与跟踪已成为快速增长的研究领域，源于全景环境中对全面场景理解的需求增加。与传统平面图像不同，使用鱼眼、折反射或多相机系统捕获的360度全向图像提供了完整的360°×180°视场（FoV）。然而，这种宽覆盖引入了若干挑战，包括球形失真、极地附近目标变形、图像边界处的环绕连续性、极端视角下的遮挡，以及处理高分辨率全景流的高计算成本。这些特性限制了标准2D检测与跟踪方法直接应用于全向图像时的有效性，因此需要专门的适配。应用领域包括自主监控、机器人导航、自动驾驶以及虚拟/增强现实系统。现有综述主要关注子问题，缺乏对检测、跟踪、投影策略和数据集的联合调查。本综述的主要贡献包括：结构化分类（涵盖经典、卷积神经网络（CNN）和基于变换器的方法）、系统调查现有数据集和投影策略、算法性能的关键分析，以及实践挑战与未来建议的识别。

**2. 背景**
全向相机的360度FoV通过折反射、折射或多折射相机实现。折反射相机使用标准相机与特殊形状镜面组合，但相机自身会遮挡图像中心部分，在自动驾驶领域有显著应用。折射相机使用鱼眼镜头解决遮挡问题，因其简单和成本效益而日益流行。多折射相机通过多相机配置实现球面FoV。全向相机可根据应用（如驾驶或监控）定向放置。目标检测与跟踪在2D图像中已成熟，但360度成像引入新复杂性。深度学习架构（如YOLO、SSD、Faster R-CNN）已被修改用于全向目标识别。挑战包括处理失真与形变、遮挡与重叠目标、不同距离的尺度变化，以及旋转与反射目标。目标跟踪在360度图像中因固有失真和宽FoV而更加复杂，常用算法包括卡尔曼滤波器（KF）、粒子滤波器（PF）、光流法（OF）、基于SIFT的跟踪、基于ORB的跟踪、深度学习跟踪器（如DeepSORT）和全景SSD。现有研究常关注单一算法或数据集，缺乏比较。本综述填补了空白，提供了结构化分类、数据集和投影策略调查，以及算法性能的关键分析。

**3. 与现有综述的比较**
现有全向视觉综述主要关注3D场景几何、顶视图成像、全景成像或感知质量，对目标检测或跟踪的覆盖部分或不完整。本综述通过系统整合360目标检测、跟踪、投影策略、数据集和挑战/未来方向，填补了这一关键空白。

**5. 全向图像投影**
全向成像在1970年首次引入。球面图像需转换为2D平面以适配传统处理流程。等距柱状投影（ERP）将球面经纬度直接映射到矩形图像，映射简单且可逆，但会在极地附近引入严重失真。透视投影通过虚拟相机模型从全向数据生成局部透视视图，以模拟人类感知，但需要处理重叠裁剪的计算开销。立方体映射投影（Cubemap）将球面映射到六个面，减少失真，但引入面边缘不连续性。改进包括立方体填充、调整立方体映射投影和混合等角立方体映射投影，以提升采样均匀性和编码效率。

**6. 全向图像数据集**
近年来出现了多个专用于360视频和图像中人物与目标检测的数据集，按应用领域组织。监控与室内数据集包括BOMNI-DB、CVRG、HG-DB等，覆盖室内人体跟踪和检测。室外与道路场景数据集包括Pano-RSOD、FisheyeMODNet、JRDB等，涵盖车辆、行人、交通标志等。合成数据集如THEODORE使用游戏引擎生成，提供可控的室内场景。数据集评估指标包括平均精度（mAP）、多重目标跟踪准确度（MOTA）、多重目标跟踪精度（MOTP）和身份F1分数（IDF1）。当前数据集在规模、多样性和标准化方面存在局限。

**7. 全向目标检测**
目标检测方法从经典图像处理发展到深度学习。经典方法包括背景减除、光流和分类器，计算轻量但处理多目标和光照变化能力有限。深度学习方法以YOLO变体、R-CNN家族为主，如YOLOv8、Mask R-CNN、MobileNet等，在自建数据集上达到高精度，但在公共基准上mAP通常为60%-80%。失真感知与小型目标检测方法（如球形CNN、旋转不变训练、多投影YOLO）直接处理全景失真，性能优于直接适配的2D检测器。轻量架构（如YOLOv8n）在精度与实时性之间取得平衡。

**8. 全向目标跟踪**
跟踪方法涵盖经典滤波、检测基础跟踪、多模态融合和专门技术。经典方法如卡尔曼滤波器适用于短距离单目标。检测基础方法如DeepSORT和FairMOT实现多目标跟踪，但依赖检测器性能。多模态融合方法结合LiDAR或深度传感器提升鲁棒性。专门技术如Siamese网络和虚拟PTZ相机用于单目标跟踪。评估指标（MOTA）范围从31.7%到96.2%，但直接比较因数据集和协议差异而困难。

**9. 挑战**
主要挑战包括：球形失真（极地拉伸/压缩）、镜头失真与拼接伪影、遮挡（宽FoV增加遮挡概率）、高计算需求（对4K全景流实时处理要求高）以及有限标注数据集（高质量标注稀缺）。未来研究应聚焦于适应失真架构、多模态融合、轻量模型和合成数据生成。

**10. 假设与局限**
假设涵盖文献完整性和技术可行性。局限包括缺乏标准化基准、作为综述未提出新算法、对多模态融合讨论有限。性能结果来自原始文献，直接比较需谨慎。

**11. 结论**
本综述首次提供了360全向图像中目标检测与跟踪的综合调查。优势包括对强大2D方法的适配、专门数据集和投影技术进展。弱点包括缺乏标准化基准、数据集规模小和通用化受限。未来方向包括基于360几何的架构、更大规模数据集、跨模态学习、自监督和领域自适应策略，以推进精确、可靠和可扩展的全景视觉系统。