通过高效数据采集和深度特征融合实现协同编码的无透镜成像

《Optics & Laser Technology》：Synergistic coded illumination lensless imaging via efficient acquisition and deep feature fusion

多模式互补照明与深度特征融合的无透镜成像框架有效缓解了信息混叠和重建病态问题，在低光条件下仍保持高结构细节和纹理还原精度。

　　

曾天娇|周振霄|詹旭|刘宇伟|张晓玲

中国电子科技大学航空航天学院，成都，中国

摘要

无透镜成像为视觉感知提供了一种紧凑的解决方案，但其重建仍然是一个本质上不适定的逆问题。虽然编码照明已被证明可以减轻混叠并缓解不适定性，但现有的方法仅限于像素域的线性重建，未能深入探索多次测量之间的潜在结构相关性，也未能充分利用它们的互补信息。本研究提出了一个框架，将多模式互补编码照明与深度特征域探索相结合。在编码场景的频域相关性的指导下，我们设计了一个特征解耦和融合网络，以分离不同的特征进行并行提取和融合，确保高保真度的恢复。实验表明，我们的框架在减少测量开销的同时，实现了更好的结构和纹理保留，为无透镜成像提供了一种高效且稳健的解决方案。

引言

无透镜成像以其紧凑、成本低廉和易于集成的设计而受到关注，成为传统基于透镜的成像的一种有前景的替代方案[1]、[2]、[3]、[4]、[5]。通过用薄而轻的掩模代替笨重的透镜来调制光场，并采用计算重建[6]、[7]、[8]，这种方法克服了体积和重量的物理限制。这使得在传统光学系统不实用的情况下实现成像成为可能，例如内窥镜仪器[9]、[10]、[11]、[12]、计算显微镜[13]、[14]以及柔性可穿戴设备[15]、[16]。

在无透镜成像中，图像重建通常被表述为解决一个线性逆问题。然而，掩模的空间复用机制会导致传感器平面上场景信息的严重混叠[17]。结合测量噪声和物理传感器限制，这使得逆问题变得高度不适定[18]、[19]、[20]、[21]、[22]。传统的单次均匀照明缺乏主动光场调制，难以有效减轻信息混叠，严重限制了重建质量。

为了解决这个问题，多模式编码照明作为一种有前景的解决方案应运而生[23]、[24]、[25]。通过主动施加多种调制[26]，这种策略有效地减轻了采集过程中的信息混叠，从而显著降低了逆问题的不适定性。郑等人[25]初步探讨了这一策略的可行性。然而，他们的研究仅限于探索前端感知和后端重建之间的协同机制，因此忽略了特征域中多次测量的互补性和内在相关性。受此限制，他们的重建方案仍然局限于依赖预定义物理模型的浅层处理范式。这种限制需要大量的测量冗余（通常需要至少16种编码模式来处理单个场景），以弥补重建缺陷，从而显著增加了系统复杂性和时间开销。

在这项工作中，我们提出了一个具有多模式互补照明和深度特征融合的协同无透镜成像框架。该框架利用多模式测量的内在特征域互补性，实现了低系统复杂度的高保真度重建。

在前端，我们设计了一种互补网格预调制策略。通过依次仅投影一组空间互补的模式，该方案实现了有效的主动光场调制。这种方法在物理上减轻了信息混叠，并在减少测量开销的同时缓解了逆问题的不适定性，避免了复杂的硬件实现。

在后端，我们提出了编码照明多特征融合网络（CIM-Fusion），遵循“初始化 → 解耦 → 融合”的范式：(1) 可学习逆变换：通过可学习逆变换模块将测量数据映射到初步图像；(2) T形特征解耦：建立一个T形编码器架构，首先通过通用特征编码器（GeFE）提取浅层特征，然后使用全局特征编码器（GlFE）和局部特征编码器（LFE）将它们解耦为模式不变的全局特征和模式特定的局部特征；(3) 并行互补融合：同时融合模式不变的全局特征以构建一致的场景结构，并结合模式特定的局部特征以恢复细粒度纹理，从而在结构和细节上实现双重保真度。

为了验证该框架，我们建立了一个全面的评估协议，重点关注重建质量，并在具有挑战性的条件下进行额外的鲁棒性验证，以验证编码照明无透镜成像在更不适定场景中的潜力。在Cat vs. Dog数据集[27]上的数值模拟和真实世界实验表明，所提出的框架在客观指标和感知质量方面均优于现有的基线方法。在MNIST[28]上的低光实验验证了该框架的鲁棒性：即使在光子限制和噪声干扰严重的情况下，也能保持结构细节的恢复，证明了其在具有挑战性的实际场景中的潜力。

除了展示出卓越的成像质量外，这项工作还为具有挑战性的真实世界场景中的无透镜系统提供了一种有前景的成像范式。得益于网络的高保真度重建能力，我们的高效测量策略减少了数据带宽需求，同时分离了场景光场以减轻不适定性。这适用于传输能力受限的空间受限场景，以及信噪比较低（SNR）的光子匮乏环境，例如在狭小空间内的工业检测。通过协同的前端和后端设计，该框架展示了在资源受限的成像应用中实现高保真度重建的潜力。

我们的贡献可以总结如下：

•

通过将互补的多模式采集统一在深度特征解耦和融合的协同视角下，推进了编码照明无透镜成像的发展，解锁了高保真度感知重建的潜力。

•

提出了一种专门的重建网络，通过同时提取模式不变的结构特征和模式特定的细节，利用了测量的互补性和相关性。

•

即使在不适定的低光条件下，也展示了在真实世界场景中增强的感知质量和鲁棒性，同时实现了更高效的解决方案，减少了测量模式的数量。

章节片段

先前的成像模型

在无透镜成像系统中，编码掩模对入射光场的调制可以通过测量矩阵来表征。在场景深度固定的假设下，测量向量