扩散生成的先验实现高保真连续变焦显微成像

《Optics & Laser Technology》：Diffusion-generated priors enable high-fidelity continuous-zoom microscopy

　　

摘要

传统变焦显微系统依赖于物镜切换或透镜组的机械平移，导致放大倍率变化不连续且响应速度受限。液态透镜通过电学方式调节光学功率，为紧凑型连续变焦显微成像提供了有效的解决方案。然而，在由多个液态透镜组成的连续变焦系统中，光线需要穿过多个可调界面和孔径约束，这可能导致边缘视场中的光衰减和渐晕现象。与此同时，透镜曲率的连续变化和离轴传播引入了边缘像差、局部模糊和色彩失真。渐晕和边缘像差叠加所引起的空间非均匀耦合退化严重限制了连续变焦液态透镜显微成像的质量。为解决这一问题，我们提出了一种扩散先验感知的Transformer，称为DPFormer，用于连续变焦液态透镜显微成像中耦合退化的恢复。该方法结合了从图像中提取的亮度图先验和扩散模型生成的光照感知结构及纹理先验，并将其注入基于Transformer的恢复网络中，从而改善低亮度、严重模糊和细节缺失边缘区域的重建效果。与直接将扩散模型作为图像生成器的方法不同，DPFormer将扩散模型作为先验生成模块，使恢复网络在保持与退化输入数据一致性的同时，利用扩散生成的先验引导缺失结构和纹理的恢复。实验结果表明，DPFormer能有效校正渐晕、抑制边缘像差，并在不同变焦倍率下恢复组织纹理和细胞结构。与现有恢复方法相比，DPFormer在PSNR和LPIPS方面均取得了更优的性能。消融实验进一步证实，扩散生成的先验能改善复杂退化区域的重建质量。本工作为连续变焦液态透镜显微成像中的退化校正和计算重建提供了一种有效的先验驱动恢复方法。

引言

传统变焦显微系统通常依赖机械平移、物镜切换或光路重构来获取不同放大倍率，使得变焦过程不连续且受机械限制[1]、[2]、[3]、[4]。这限制了在宽视场样品筛查和高倍率检测之间实现快速平滑的切换。液态透镜通过电学方式调节其界面曲率或等效光学功率，提供了一种紧凑的替代方案，无需移动透镜组或样品即可实现快速对焦和放大调节[5]、[6]、[7]、[8]。通过协调多个液态透镜，连续变焦显微系统可以在低倍率宽视场观察和高倍率感兴趣区域成像之间动态切换，为自适应显微成像、快速样品筛查和局部细节检测提供了灵活的光学平台[9]。

然而，基于多个液态透镜的连续变焦系统也引入了更复杂的图像退化。由于光线穿过多个可调液态透镜界面、孔径约束和非理想传输路径，不同变焦状态下的光通量发生显著变化。特别是，边缘视场中的光衰减更为明显，导致渐晕和空间非均匀的亮度降低。因此，渐晕引起的亮度降低可以显式地表示为空间变化的光照衰减。同时，在变焦过程中，液态透镜曲率、有效孔径、入射角和视场位置的连续变化，使边缘区域更容易受到离轴像差、色散伪影、非对称模糊和局部结构失真的影响[10]、[11]、[12]。实际上，采集到的图像退化并非单纯的亮度不均匀或模糊，而是渐晕和边缘像差叠加形成的耦合退化。这种退化同时降低了亮度、对比度、边缘锐度和细胞纹理的可见度，限制了连续变焦液态透镜显微成像的实际成像质量[13]、[14]。

现有的增强和恢复方法对于这种耦合退化仍然不足。平场校正和光照补偿方法通常针对相对规则的亮度不均匀性设计，难以适应随放大倍率、视场位置和液态透镜状态变化的空间非均匀退化。传统去模糊方法通常假设空间不变的退化核，而连续变焦液态透镜系统中的边缘像差强烈依赖于视场和放大倍率。深度卷积和基于Transformer的恢复网络最近在图像恢复任务中展现了强大的性能[15]、[16]、[17]、[18]；然而，在严重渐晕、低信噪比和边缘结构严重受损的情况下，从退化图像到干净图像的纯监督映射可能导致纹理恢复不足、边界不稳定或不真实的显微细节。因此，为恢复网络提供可靠的光照、结构和纹理先验对于改善连续变焦显微成像质量至关重要[19]、[20]、[21]。

扩散模型为解决这一挑战提供了有前景的方案。作为强大的生成模型，扩散模型能够从大规模图像数据中学习丰富的结构、纹理和边缘分布，并通过去噪生成过程形成富有表现力的图像先验[22]、[23]、[24]、[25]。这种先验对于显微成像恢复尤为宝贵，因为显微图像通常包含重复的细胞形态、组织纹理和局部边界结构[26]。当局部细节因渐晕和边缘像差而受损时，扩散生成的先验可以提供超越退化观测本身的结构约束，帮助恢复网络重建更清晰、更自然且符合显微特征的图像细节[27]、[28]、[29]。此外，从自然场景和显微场景图像中学习先验，使模型能够捕获通用的纹理表征以及显微特有的形态特征，从而提升在不同样品、放大倍率和退化条件下的泛化能力[30]、[31]、[32]、[33]。

在本工作中，我们提出了一种扩散先验感知的Transformer，称为DPFormer，用于连续变焦液态透镜显微成像中渐晕和边缘像差的联合恢复。所提方法的总体框架如图1所示。DPFormer不是将扩散模型作为完整的迭代图像恢复模块，而是利用其生成结构感知的先验表征，并将这些先验注入基于Transformer的恢复网络。具体来说，扩散先验生成模块从自然场景和显微场景中学习光照感知的结构和纹理先验，而图像提取的亮度图先验则为渐晕引起的光照衰减提供显式的低频引导。然后，Transformer骨干网络在多级编码器-解码器框架中将退化输入与生成的先验进行融合。这种设计实现了低亮度区域的自适应增强、边缘像差的抑制以及细胞和组织细节的恢复。本文的主要贡献如下：

1 一种用于连续变焦液态透镜显微成像的耦合退化恢复框架。多液态透镜系统中由光衰减引起的渐晕和边缘像差造成的退化被建模为空间非均匀的耦合退化。在该模型中，渐晕引起的亮度衰减被表示为光照衰减，而边缘像差被视为视场相关的结构退化。这为跨不同放大倍率恢复连续变焦显微图像提供了统一的基础。

2 基于预训练的光照和细节先验学习。利用自然场景和显微场景图像进行先验学习。预训练过程使模型能够从自然图像中捕获通用的亮度、纹理和结构统计信息，以及从显微图像中提取显微特有的细胞形态和组织细节。这些学习的先验为恢复低亮度、模糊和细节缺失区域提供了有用的指导。

3 扩散先验引导的多级Transformer恢复。将扩散模型作为紧凑的先验生成器来产生结构和纹理先验，而非作为完整的图像空间恢复模块。生成的先验被注入到多个特征层级的Transformer恢复网络中。结合图像提取的亮度图先验，这种设计实现了针对渐晕、边缘模糊和局部纹理丢失的光照感知和结构感知恢复。

4 在模拟数据和实际连续变焦显微部署上的验证。所提框架在模拟退化数据集和实际连续变焦液态透镜显微系统采集的图像上进行了评估。结果表明，该方法在放大倍率相关的耦合退化下实现了有前景的恢复性能，验证了其在实际连续变焦显微成像中的适用性。

总体而言，所提框架改善了连续变焦液态透镜显微成像中在耦合渐晕和边缘像差退化下的恢复质量。通过将扩散生成的先验与基于Transformer的恢复网络相结合，DPFormer在增强低亮度和边缘退化区域的同时保持了与退化观测的一致性。该方法有效地扩展了连续变焦成像中可用的视场范围，并为显微成像应用提供了一种实用的重建策略。

**液态透镜连续变焦显微系统**

所提框架针对连续变焦液态透镜显微系统设计，该系统中多个电控润湿液态透镜协同控制以调制系统放大倍率和视场。对于单个电控润湿液态透镜，界面曲率通过杨-立普曼效应由驱动电压控制。电压相关的接触角可表示为：

cosθ_i(V_i) = cosθ_{i,0} + ε_0/(2γ_i d_i ε_{r,i}) V_i^2

其中V_i表示施加在第i个液态透镜上的电压，θ_i(...)（原文截断）

**训练细节**

在第一训练阶段，使用配对的退化图像和真值图像。退化图像Y(m)通过合成来模拟连续变焦液态透镜显微系统中观察到的退化，对应的高质量图像X作为恢复目标。目标先验编码器接收配对的退化图像、真值图像和真值亮度图先验作为输入，并产生Z_0(m)。该先验被注入DPFormer中以引导重建过程。（原文截断）

**讨论**

所提DPFormer解决了连续变焦液态透镜显微成像中的耦合退化恢复问题，重点关注多液态透镜系统中由光衰减和边缘像差叠加引起的图像质量退化。与传统的离散变焦显微相比，液态透镜可实现对焦和放大倍率的连续电学调节。然而，光路、有效孔径和离轴传播条件在不同变焦状态下会发生变化，（原文截断）

**结论**

总之，我们提出了一种扩散先验感知的Transformer，称为DPFormer，用于连续变焦液态透镜显微成像，以解决多液态透镜系统中由光衰减引起的渐晕和边缘像差叠加造成的耦合退化问题。基于连续变焦液态透镜显微成像的成像特性，不同放大倍率下的退化被建模为空间非均匀的耦合退化。一种从图像中提取的亮度图先验（原文截断）

**CRediT作者贡献声明**

董旭宇：撰写——初稿、可视化、验证、软件、方法学、调查、概念化。
郑毅：撰写——初稿、可视化、验证、调查、正式分析。
刘超：撰写——审阅与编辑、监督、经费获取。

**利益冲突声明**

作者声明不存在任何已知的财务利益或个人关系可能影响本文所报告的工作。

**致谢**

本工作得到国家自然科学基金（批准号U23A20368和62575012）、中国国家计划项目（批准号31512020206）、中国博士后科学基金会博士后创新人才支持计划（批准号GZC20260454）以及中央高校基本科研业务费基金的资助。

董旭宇 | 郑毅 | 刘超