在低光照条件下，通过基于物理的分解方法实现结构引导的无透镜重建

《Optics & Laser Technology》：Structure-guided lensless reconstruction via physics-aware decomposition in low-light conditions

提出低光无透镜成像的结构导向模型，通过显式结构-残差分解重构场景，结合多级多尺度特征提取和双向训练条件扩散优化，实现高保真图像重建。实验表明该方法在PSNR和SSIM指标上显著优于现有方案。

　　

刘子阳|曾天娇|詹旭|张晓玲|王云琦|林爱德蒙德·Y.

电子科技大学信息与通信工程学院，中国四川省成都市，611731

摘要

由于无透镜成像具有紧凑、轻便和低成本的设计，因此在微型应用中具有很大的潜力。然而，在低光照条件下，重建质量会显著下降，因为结构信息与测量残差（例如噪声和亮度变化）之间的普遍干扰对现有方法来说是一个关键挑战，这些方法难以恢复清晰、高保真的细节。为了解决这个问题，我们的工作从根本上重新审视了无透镜测量范式，引入了一种新的基于结构的低光照无透镜成像模型，该模型在前向处理过程中嵌入了明确的结构-残差分解。这种表述打破了整体场景处理的传统，将场景重新定义为内在结构和残差组件的组合，从而实现了精确和有针对性的组件级处理，以提高保真度和降低噪声。基于这一模型，我们开发了一种两阶段、考虑物理特性的重建方法：（1）多级、多尺度提取模块与前向模型结合使用，首先从测量数据中提取组件，通过跨多个尺度和层次的特征提取来减少噪声对结构的影响；（2）条件扩散模块经过双向训练以提高稳定性，生成性地细化结构并优化残差，从而在融合之前提升细节恢复能力。我们在自定义无透镜相机（22,000张带有相位/幅度掩模的图像）的低光照数据集上的实验表明，我们的方法在客观评估和视觉检查方面均优于现有方法，验证了其在去噪、结构保真度和整体图像质量方面的优势。

引言

光学成像系统广泛应用于摄影和显微镜领域，但传统的基于透镜的系统受到衍射等物理限制，使得小型化、减重和成本优化变得困难[1]。无透镜成像通过使用轻质掩模或编码光圈来调制光线，然后利用计算算法重建图像，从而克服了这些限制[2],[3],[4]。这种方法摆脱了点对点映射的约束，使得设计更加紧凑。它在生物传感、3D成像、计算摄影和视觉诊断等领域显示出巨大潜力[5],[6],[7],[8],[9]。

随着无透镜成像技术的发展，高质量图像重建已成为该领域的核心挑战之一[10],[11],[12]。这主要是因为其逆问题本质上是不适定的：不同的场景可能对应相似的观测信号（解的非唯一性），而小的噪声或测量误差可能会被放大（解的不稳定性），导致重建过程缺乏稳定性和鲁棒性。早期的方法主要依赖于经典优化框架，如Tikhonov正则化、迭代收缩阈值算法（ISTA）和交替方向乘子法（ADMM），通过引入手动设计的先验来规范解决过程[13],[14],[15]。虽然这些基于模型的方法具有物理可解释性，但其成像质量严重依赖于参数调整，并且在低光照等具有挑战性的场景中重建效果会显著下降。深度学习在各种重建任务中推进了数据驱动的方法[16],[17],[18],[19]，通过端到端的测量到图像映射提高了质量。然而，这些方法需要大量的训练数据集，并且在未见过的分布上表现较差。混合策略，如展开网络（例如Le-ADMM-U、FlatNet [20],[21],[22],[23]），结合了这两种方法，但仍面临模型不匹配等问题。补偿机制，包括多阶段损失恢复、可学习的原始-对偶框架、多尺度反卷积和生成集成[24],[25],[26],[27],[28]，解决了一些限制。尽管这些方法在充足的照明条件下表现良好，但在低光照条件下的性能会下降。

在低光照条件下，信噪比（SNR）急剧下降，严重降低了图像质量。对于依赖光学编码和计算重建的无透镜成像系统来说，这一挑战尤为严重。由于没有光学聚焦，这些系统更容易受到SNR波动的影响。此外，编码光场的稀疏能量分布，加上有限的传感器灵敏度和背景噪声，导致场景的固有内容（例如纹理、边缘、颜色）与容易受到外部环境（例如亮度、噪声）影响的外部因素之间产生纠缠。我们将前者定义为结构信息，后者定义为残差信息。

这种纠缠对现有的无透镜重建方法提出了重大挑战。首先，这些方法在建模前向成像过程中没有结合结构-残差分解。因此，它们缺乏有针对性的组件级处理能力，通常在噪声抑制过程中会丢失结构细节。其次，残差优化（例如亮度恢复）也不够充分，限制了整体质量。不幸的是，从严重受噪声污染的无透镜测量数据中提取高保真结构的研究非常有限。我们之前基于Wiener滤波和扩散的方法[29],[30]虽然在一定程度上实现了噪声抑制和亮度增强，但由于其整体恢复策略，未能完全提取和利用内在结构。

在这项研究中，我们通过探索适用于低光照无透镜成像的高保真结构重建技术来解决这些问题，包括测量建模和解决方案策略。为了有效提取核心结构信息，我们开发了一种新的无透镜测量模型，将场景分解为两个关键组件：结构组件（固有纹理、边缘、颜色）和残差组件（环境亮度、噪声）。这建立了原始测量数据与场景固有内容之间的 clearer 链接，有效地将重建任务重新定义为以结构为中心的分解问题。

为了解决这个问题，我们提出了一种考虑物理特性的两阶段重建方法，旨在同时实现高保真结构提取、噪声抑制和优化的亮度恢复。在这种方法中，提取的结构和残差组件被独立处理，然后再组合成最终的高质量图像。第一阶段采用多级、多尺度提取模块，将测量数据分解为不同的结构组件和残差组件。通过多尺度特征分析，并将前向物理模型融合到各种特征学习层次中，该模块引入了有效分离所需的约束。第二阶段采用生成式条件扩散模型来细化这两个组件。它特别丰富了结构细节，同时抑制噪声并增强残差中的亮度。最后，分别增强的结构组件和残差组件被融合以产生最终的重建结果。为了确保扩散生成和物理约束之间的一致性，我们采用了双向训练策略，整合了前向和反向过程以提高稳定性。

总之，本工作的贡献如下：

1.

我们提出了一个关于低光照无透镜重建的新概念视角，从传统的整体场景恢复转向了“结构引导 + 残差优化”的专用处理范式。这种重新表述为解决低光照测量中由噪声和亮度变化引起的结构退化提供了新的途径。

2.

为了实现这一视角，我们提出了一种基于结构的无透镜测量模型，它在前向过程中明确地将场景分解为内在结构组件和外部残差组件，从而实现了更精确的提取，并与物理成像约束更加对齐。

3.

我们基于这一模型开发了一个考虑物理特性的两阶段重建框架，在低光照条件下实现了高保真结构恢复以及残差组件的噪声抑制和亮度增强，从而提高了整体图像质量。

4.

我们构建了一个无透镜成像原型系统，并收集了两个真实世界的低光照数据集（相位和幅度掩模，每个数据集包含11,000个测量值和真实值）。定性和定量评估均表明，我们的方法达到了最先进的性能，PSNR提高了0.83 dB，SSIM提高了4.4个百分点，在所有其他指标上也表现出色。

部分片段

结构引导的测量模型

无透镜成像过程可以建模为一个线性平移不变系统，其中前向测量由场景强度分布与系统的点扩散函数（PSF）之间的二维离散卷积表示：$y=H?x+n$其中 $y$ 表示无透镜成像系统获取的测量值，$?$ 表示2D离散卷积运算符，$H$ 是系统的前向模型（即PSF），x 是场景强度分布，$n$ 表示

实施细节

为了验证成像算法的有效性，我们构建了一个用于在低光照条件下收集无透镜数据集的无透镜成像系统，如图5所示。该系统使用配备Sony IMX183传感器的HIKROBOT彩色相机，像素大小为 。系统使用了两种类型的掩模：一种Luminit 0.5°扩散相位掩模，具有伪随机梯度的透明相位，以及一种由不透明幅度组成的随机二进制幅度掩模

结论

在这项工作中，我们通过引入一种新的分解视角，解决了低光照无透镜成像中的高保真结构重建挑战。这种方法将场景分为结构组件（如纹理、边缘和颜色等内在特征）和残差组件（如亮度变化和噪声等外部因素）。我们进一步开发了一种基于结构的测量模型，在前向过程中分离了这些元素，建立了直接

CRediT作者贡献声明

刘子阳：撰写——原始草稿、可视化、软件、方法论、研究。曾天娇：撰写——审稿与编辑、监督、项目管理、资金获取。詹旭：撰写——审稿与编辑、软件、方法论、概念化。张晓玲：撰写——审稿与编辑。王云琦：撰写——审稿与编辑。林爱德蒙德·Y.撰写——审稿与编辑、概念化。

资助

本工作得到了国家自然科学基金（编号62305049）、中国自适应光学国家实验室（FNLAO-24-MS-S06）、四川省自然科学基金（编号2024NSFSC1439）和中国航空科学基金（编号2024Z071080005）的支持。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：

曾天娇报告称获得了国家自然科学基金的财务支持。曾天娇报告称获得了中国自适应光学国家实验室的财务支持。曾天娇报告称获得了四川省自然科学基金的财务支持。