为节能单光子视频成像预测重要光子

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：Predicting Important Photons for Energy-Efficient Single-Photon Videography

　　**摘要：**单光子雪崩二极管（SPAD）能够以精细的时间分辨率检测单个光子，从而实现近乎全黑环境下的成像、极高动态范围和快速运动检测等功能。得益于这些功能，加之近期高分辨率（>1 MP）阵列的出现，SPAD 有潜力成为未来计算机视觉系统的主力，可在各种具有挑战性的条件下工作。然而，SPAD 的灵敏度伴随着高昂的能源成本，这源于底层的雪崩过程，每检测到一个光子都会消耗大量能量，限制了高分辨率 SPAD 阵列的可扩展性和实用性。为了解决这个问题，我们提出了针对给定视觉任务仅预测和采样最显著光子的方法。为此，我们设计了计算轻量级的光子采样策略，仅在有显著运动和空间变化的区域分配能量资源来检测光子，同时不断适应变化的信号。我们证明了所提出方法的有效性，在包含运动、高动态范围和不同光照条件的多样化现实场景中，仅需使用一小部分光子（少至 1/10）即可恢复出与全采样 SPAD 捕获相当的视频。**I. 引言**单光子雪崩二极管（SPAD）是一种新兴的成像模式，能够以超高速度捕获单个光子。SPAD 正迅速成为激光雷达飞行时间成像中的首选传感器，甚至正在被集成到高分辨率被动相机中，最近达到了百万像素门槛。这一突破首次提供了足够的分辨率，使 SPAD 能够作为通用相机部署于一系列计算机视觉任务中，例如物体检测、同步定位与建图（SLAM）和语义分割，并能在涉及快速运动、高动态范围和低光照的极端条件下工作。