QRVS：一款快速且稳健的视频拼接工具，采用创新的单次拍摄视差技术实现物体的同时检测与跟踪

《IEEE Transactions on Artificial Intelligence》：QRVS: Quick and Robust Video Stitcher With Novel Single Shot Homography for Simultaneous Object Detection and Tracking

　　

影响声明：

这项研究从根本上重新定义了智能系统中实时全景视觉的可能性。我们提出了QRVS这一新方法，该方法采用了一种创新的SSH技术...显示更多

摘要：

在本文中，我们提出了一种快速且稳健的实时视频拼接方法，适用于360度视角下的目标检测与跟踪。该方法改进了单次拍摄的立体匹配（SSH）技术，以生成无缝的全景图像，解决了实时视频拼接、目标检测和跟踪中的关键问题。该方法通过对输入图像进行圆柱形变形，并重用图像关键点和立体匹配矩阵来减少计算时间，从而提高处理效率。为了保持拼接视频的质量并消除盲点，我们采用了最先进的特征提取和融合技术。该方法已在Nvidia Jetson AGX Xavier开发套件上实现，并通过六台安装在固定平台上的摄像机进行了测试。使用合成数据（基准数据集Marearts Roof、Adobe Panorama和Rio数据集）对方法进行了验证，实际测试使用了在研究所内录制的视频，实现了30 FPS的拼接速度。结果表明，与最新的方法相比，该技术在质量指数方差（QILV）上提高了15%，拼接得分提高了12.17%，执行时间减少了90倍。因此，该方法非常适合应用于监控、国防和汽车行业。

引言

在许多场景中，单个摄像机的视野不足以确定最佳行动方案。机器人技术、军事操作、虚拟现实、人机交互和汽车等领域都需要360度视图来收集足够的信息[1]、[2]、[3]。这可以提供更广泛的覆盖范围，增强监控能力，并有助于识别潜在的感兴趣对象，从多个角度提供沉浸式的观看体验。因此，通过多摄像机视频拼接构建全景图像是计算机视觉领域一个活跃且重要的研究方向。例如，现代装甲车在外部安装了摄像机，用于捕捉实时周边视频，并将其传输到车内显示屏上，使士兵无需暴露在危险环境中即可保持情境意识。这需要在资源受限的嵌入式平台上结合多台摄像机的图像帧来实时生成扩展的全景图像。然而，创建全景视频在保持空间和时间连续性方面存在技术挑战，从而影响视觉效果的平滑性。本研究旨在解决这些挑战，重点关注立体匹配的计算、圆柱形投影、图像变形、盲点消除和稳定等方面，以改善视觉体验。我们还进一步将实时目标检测和跟踪技术应用于拼接的全景视频中。