综述：基于深度学习的单光子单像素成像：综述

《Optics & Laser Technology》：Deep learning-based single-photon single-pixel imaging: a review

　　

Jiaxiang Zhou|Lin Cui|Qinggai Mi|Ruoxin Mi|Zining Wang|Rui Wang|Tengfei Wu

摘要

单像素成像技术通过一系列空间光调制模式照亮目标物体，再由单像素探测器记录相应的总反射或透射光强度，随后通过将记录的强度与已知的调制模式相关联来实现图像重建。然而，传统的单像素成像技术在光子匮乏条件下存在诸多难题。通过用单光子探测器替代传统的单像素探测器，并结合时间相关单光子计数技术，可以有效缓解这些限制。该方法不仅能克服弱光环境下的缺陷，还能利用光子飞行时间技术将单像素成像从二维强度成像扩展到三维深度感知。此外，深度学习技术作为重要推动因素，显著提升了图像重建的质量和计算效率。本综述重点介绍单光子单像素成像技术，尤其是其与深度学习方法的结合应用。文中首先阐述单像素成像、单光子检测以及深度学习技术的基本原理，接着系统梳理了从传统方法到专用单光子检测算法的重建算法发展历程，重点分析了应用于单光子单像素成像的三种深度学习驱动模型：数据驱动型、物理驱动型和混合驱动型。此外，还介绍了基于深度学习的单光子单像素成像在光子匮乏成像、三维成像、遥感、散射介质成像、不可见光波段成像以及全息成像等领域的关键应用。最后，本文总结了当前面临的挑战，并对未来发展趋势进行了展望，强调了硬件与软件的协同设计以及物理先验条件的深度整合。

引言

单像素成像技术是一种新兴的成像技术，它通过一组空间调制模式照亮物体，再用单像素探测器测量对应的1D信号，最终根据这些信号重建图像[1]、[2]。与传统逐像素成像方法不同，单像素成像技术可以通过计算信号与空间调制模式之间的二阶相关性来重建图像，这种基于相关性的方法在光子匮乏条件下具有显著优势。单像素成像技术可追溯到量子幽灵成像技术。1995年，Pittman等人利用纠缠光对之间的量子相关性实现了量子成像[3]。此后，研究人员又使用伪热光等经典光源实现了量子幽灵成像[4]、[5]、[6]。2008年，Shapiro等人用空间光调制器代替物理参考臂，通过投影计算机生成的散斑图案，实现了所谓计算量子幽灵成像技术[7]。同年，Duarte等人也提出了单像素成像架构[8]。计算量子幽灵成像和传统量子幽灵成像都需要主动照明，即空间光调制器在光与物体相互作用之前就对光进行调制，而Duarte提出的架构则多用于被动检测，即空间光调制器仅对从物体反射或透射的光进行调制。尽管空间光调制器的位置不同，但这三种技术都遵循相同的底层原理，具体内容将在2.1节详细阐述。在过去十年中，单像素成像技术的应用范围不断拓展，涵盖了遥感[9]、红外成像[10]、高光谱成像[11]、[12]、太赫兹成像[13]、[14]、显微成像[15]、水下探测[16]、[17]、加密图像传输[18]、[19]、[20]等诸多领域。

根据单像素成像的基本原理，图像重建的质量直接取决于测量次数：要获得高质量图像，就需要满足奈奎斯特-香农准则的足够采样率，而这又需要较长的采样时间。为提高成像效率和信噪比，人们提出了多种优化算法，包括差分量子幽灵成像技术[21]、归一化量子幽灵成像技术[22]以及基于奇异值分解的量子幽灵成像技术[23]。还有一些研究人员致力于优化调制模式，比如哈达玛基组[24]、傅里叶基组[25]以及其他优化后的调制模式[6]、[26]、[27]。不过，这些方法的明显局限在于它们依赖于足够的采样时间，在低于奈奎斯特频率的采样条件下，其重建性能会迅速下降。为解决欠采样重建过程中存在的病态逆问题，即如何在欠采样条件下仍能重建出高质量图像，压缩感知技术被引入到单像素成像领域[28]、[29]。

然而，压缩感知技术需要大量的计算资源，且亚奈奎斯特采样带来的信息损失也会限制图像重建的质量。近年来，由于深度学习在计算机视觉和计算成像领域展现出卓越的性能[30]、[31]，越来越多的研究人员开始将深度学习算法应用于单像素成像技术[32]、[33]、[34]。2017年，Lyu等人首次将深度神经网络引入量子幽灵成像技术中[35]。2019年，又有研究者提出了可以直接从测量数据重建图像的端到端模型[36]，从而能够在较低的采样率下实现无伪影的图像重建。目前，深度学习已在单像素成像技术中得到广泛应用，其性能远超传统方法。

虽然深度学习方法从算法层面显著提升了单像素成像技术的性能，但整个系统的性能仍受限于探测器的灵敏度和响应速度。单光子检测技术为解决这一难题提供了绝佳方案[37]、[38]。通过时间相关单光子计数技术，单光子探测器能够实现单光子级别的灵敏度以及皮秒级的时间分辨率。其独特的时间分辨能力使得可以精确记录光子的飞行时间，进而通过生成光子计数直方图来重建深度图像[39]、[40]。单光子检测技术的出现大大拓展了单像素成像技术的应用范围，使其从二维强度成像扩展到三维深度感知，并在众多领域展现出巨大潜力[41]、[42]。此外，深度学习技术的引入还推动了单像素成像技术与单光子检测技术的深度融合[43]、[44]。

本文旨在综述基于深度学习的单光子单像素成像技术。本文的架构示意图如图1所示。首先，本文详细阐述了单光子单像素成像的物理过程，包括空间光调制和单光子检测环节；接着介绍了基于深度学习的单光子单像素成像的重建流程，并分析了在引入物理驱动模型之前的各种技术思路以及引入之后的新发展。最后，本文总结了基于深度学习的单光子单像素成像在各领域的应用情况。第2节将介绍单像素成像、单光子检测以及深度学习的技术原理，同时描述相关的光学系统。第3节则介绍了各类单像素成像算法，主要分为三类：传统单像素成像算法、针对单光子检测的重建算法以及基于深度学习的算法。第4节介绍了结合单光子检测技术的基于深度学习的单像素成像的应用场景。最后，本文会对相关内容进行总结并展望未来发展趋势。

章节要点

单像素成像技术

单像素成像技术的发展源于量子幽灵成像技术的演进。量子幽灵成像技术本质上是通过计算两条光路的光强之间的二阶相关性来实现成像的。最初，量子幽灵成像是借助纠缠光实现的[3]，但后续研究发现，这种现象并非量子纠缠所独有[4]、[5]、[45]，像伪热光这样的经典非相干光源也能用来实现量子幽灵成像。

图2展示了实现伪热光量子幽灵成像的典型光学装置结构

传统单像素成像算法

传统单像素成像算法大致可分为两类：一类是线性非迭代算法，包括光场相关法以及矩阵变换法；另一类则是以压缩感知为代表的非线性迭代算法。

基于深度学习的单光子单像素成像的应用

基于深度学习的单像素成像技术从实验室研究走向实际应用，展现出在极端条件下的成像任务中具有巨大应用潜力，尤其是在光子计数极低的场景下。需要指出的是，单光子检测技术与传统基于强度的单像素成像技术拥有相似的数学模型。因此，许多最初在高光子通量环境下经过验证的深度学习架构和处理方法，能够为这类技术提供重要的结构参考和设计基准。

未来展望

深度学习技术的发展为单光子单像素成像技术带来了前所未有的变革。不过，这项技术要想实现大规模的实际应用，仍需克服若干挑战。

在系统层面，算法设计不可避免地会受到硬件条件的限制。例如，在光子计数条件下，单光子雪崩二极管的暗电流和死时间等问题，往往要求算法将硬件产生的噪声转化为数学模型，并在算法设计中加以考虑。

结论

从最初基于两路光强的二阶相关性分析，到后来发展为单路光的计算方法，再到如今与单光子检测技术的结合，单像素成像技术的理念一直在不断演变。基于深度学习的单光子单像素成像技术不仅凭借单光子级别的灵敏度和皮秒级的时间分辨率，从根本上解决了传统单像素成像在弱光条件下的性能瓶颈，还能够通过光子飞行时间测量，将单像素成像的能力从二维强度成像拓展到三维深度感知领域。

CRediT作者贡献说明

Jiaxiang Zhou：论文撰写——审阅与编辑、论文撰写——初稿撰写、数据整理、概念构思。Lin Cui：论文撰写——审阅与编辑、数据整理、概念构思。Qinggai Mi：指导工作、概念构思。Ruoxin Mi：论文撰写——审阅与编辑、数据整理。Zining Wang：数据整理、概念构思。Rui Wang：论文撰写——审阅与编辑、指导工作、概念构思。Tengfei Wu：指导工作、概念构思。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知利益冲突或个人关系。

致谢

本研究得到了中国国家自然科学基金（NSFC）（项目编号：62475246）以及中国航空科学基金会（项目编号：202300560Y1001）的支持。