扫描器扰动技术为稀疏采样光声显微镜的超分辨率成像提供了伪真实数据学习方法

《Optics & Laser Technology》：Scanner perturbations enabling pseudo-ground-truth learning for super-resolution of sparse-sampling photoacoustic microscopy

高速光声显微术中稀疏采样引发的图像细节丢失问题，通过引入扫描设备机械扰动导致的时空关联信息，提出基于多帧重建的超分辨率框架。利用伪地面真实数据生成技术解决真实高分辨率数据稀缺问题，在6×和8×稀疏采样率下显著提升PSNR、SSIM等定量指标及视觉质量，为高速生物医学成像提供新方法。

　　

Jiangbo Chen|Kexin Chen|Bin Li|Jiyan Dai|Zhen Yuan|Xiaobin Hong

华南理工大学机械与汽车工程学院，中国广东省广州市

摘要

基于稀疏采样的高速光声显微镜（PAM）是生理和病理研究的重要工具，特别有助于理解微血管功能障碍与疾病发生之间的联系。虽然稀疏采样可以提高成像速度并减少辐射损伤，但不可避免地会导致像素细节的丢失和空间分辨率的下降。由于系统固有的机械扰动通常被视为系统缺陷，传统的重建方法往往忽略了它们引起的帧间像素位移以及相关的时域相关互补信息。在这项工作中，我们提出了一个多帧重建框架，该框架利用这种时空相关性在稀疏采样下实现超分辨率恢复。为了解决完全采样真实数据的稀缺问题，通过将系统变形场嵌入到重复的静态图像中来生成伪真实样本。通过有效地建模时空维度并扩展其感知场以高效挖掘和利用时空相关信息，该网络在PSNR、SSIM、LPIPS和综合评估指标方面表现出优于现有方法的性能。此外，随着稀疏采样率的增加，重建性能的下降最小。这种方法在研究快速的生理和病理变化方面具有巨大潜力，并可以应用于其他高速生物医学成像模式。

引言

追踪快速的微血管病理生理活动对于理解微血管功能障碍与疾病发生和进展之间的机制至关重要[1]。快速扫描光学分辨率光声显微镜（FS-OR-PAM）为此目的提供了强大的医学成像工具，能够实现体内微结构和功能信息的无标记、高速、高空间分辨率观察[2]、[3]、[4]。Zhu等人表征了扩散退极化波[5]，Taboada等人揭示了玻璃蛙的微血管流动调节[6]，展示了FS-OR-PAM在神经血管成像、代谢分析等方面的独特技术优势。FS-OR-PAM通过集成高速扫描器（例如，音圈平移台[7]、MEMS扫描镜[8]、振镜扫描器[9]和多边形扫描器[10]、[11]）实现实时扫描。为了满足奈奎斯特采样准则，FS-OR-PAM的点对点扫描需要步长小于横向分辨率的一半，以实现高质量成像。因此，FS-OR-PAM的成像速度从根本上受到像素采样率的限制，而像素采样率取决于激光脉冲重复率（PRR）。虽然提高PRR可以加快采集速度，但也有可能超过光辐射的安全阈值。为了解决这些挑战，通常使用稀疏采样策略来适应有限的PRR。然而，稀疏采样会导致图像信息的显著丢失和图像质量的下降，因此需要先进的算法来重建丢失的细节。

在更广泛的光学显微镜领域，稀疏采样超分辨率（SR）在压缩感知理论和深度学习的推动下取得了显著进展[12]、[13]、[14]。最近的研究超越了固定的采样网格，引入了自适应稀疏采样机制，动态选择信息丰富的空间点以捕获区域异质性并抑制背景干扰[15]。此外，时空深度学习框架已成功应用于长期成像，从稀疏数据中实现高保真重建[16]。这些光学领域的开创性工作不仅验证了数据驱动的稀疏重建的可行性，还为PAM提供了重要的方法论灵感。相比之下，一些基于压缩感知的算法已被开发用于重建下采样的光声显微镜图像。然而，它们对刚性数学模型的依赖和受限的处理速度严重限制了它们的适用性[17]、[18]。深度学习的快速发展为光声成像的进步带来了创新机会[19]、[20]、[21]、[22]、[23]。值得注意的是，在重建下采样的光声图像方面，深度学习方法也显示出比传统算法明显的优势。DiSpirito等人提出了一个全密集的U-net用于重建欠采样的PAM图像[24]。这种方法声称解决了空间分辨率和成像速度之间的固有权衡。为了进一步提高重建精度并优化主观视觉感知质量（与人眼感知一致），将卷积神经网络与注意力模块、残差块和感知损失结合应用于稀疏PAM图像重建[25]。除了单任务SR恢复之外，还提出了具有多维功能的高性能重建算法，以满足多样化的PAM成像需求。Seong等人专注于3D空间欠采样场景，并设计了一种基于优化SRResNet框架的重建方法[26]。Liu等人引入了UPAMNet，这是一个多功能网络，能够同时实现PAM图像的SR和去噪[27]。Xiao等人提出了一种基于隐式神经表示的方法来求解未知点扩散函数（PSF），同时恢复欠采样的PAM图像[28]。Zhang等人进一步验证了深度学习不仅可以恢复下采样的血管结构，还可以恢复功能性的PAM成像信息[29]。基于深度学习的重建的一个主要挑战是需要大规模的数据集进行训练。为了解决可用数据集的稀缺问题，Ma等人提出了一种利用手绘涂鸦来训练PAA SR模型的方法[30]。所有这些先前的方法都仅使用2D空间信息重建稀疏采样图像，属于单图像超分辨率（SISR）方法[31]、[32]的范畴。因此，它们无法有效利用时空互补信息（STCI），而时空互补信息在自然图像的视频超分辨率中已被成功利用[33]、[34]、[35]、[36]，导致在极端稀疏采样（例如6×和8×稀疏采样率）下的重建性能较差。

为了有效利用STCI，我们提出了一种基于扫描器扰动的多帧超分辨率（MFSR）框架。该方法利用时间依赖帧之间的像素补偿信息，利用了一个常被忽视的物理现象：快速扫描器中的固有机械扰动会在连续帧之间引起变形。这些变形产生了帧间错位，这些错位在时间维度上编码了互补的空间信息，有效地将扫描器的缺陷转化为像素恢复的宝贵信息来源。通过聚合来自3D图像帧的这种时空信息，可以提取比传统2D图像基方法更多的细节。然而，由于高采样率，从高分辨率FS-OR-PAM获取大规模完全采样的真实（GT）数据仍然成本高昂且存储需求大，因为这会导致大量的3D数据体积。因此，使用大量此类GT数据训练模型在实践中非常困难且效率低下。为了解决这一挑战，我们通过将系统变形场嵌入到易于获取的重复静态2D图像序列中，生成了一个多帧伪真实（PGT）数据集，用于模型训练。据我们所知，这项工作首次利用了稀疏采样图像重建的时域依赖性，建立了一个通用框架，不仅在PAM中提高了性能，也在其他高速生物医学成像系统中提高了性能。

章节片段

稀疏采样FS-OR-PAM的超分辨率学习

所提出方法的原理和工作流程如图1(a)所示。FS-OR-PAM探头与自设计的水浸式共振镜集成在一起，由线性平台（PLS-85，Physik Instrument GmbH & Co. KG）进行平移[38]。生成的光声信号由高频超声换能器（V214-BC-RM，Olympus-NDT）捕获。经过基于硬件的放大和滤波处理后，由数据采集卡（ATS9360，Alazar Technologies）进行数字化

与现有方法的比较

为了全面评估所提出方法的有效性，我们对三类代表性基线方法进行了定量和定性比较，即传统插值方法（双三次和双线性）、SISR网络（FD U-net [24]和SRRDN [32]）以及当前主流的MFSR网络（VSRResFeatGAN [33]和FSTRN [35]）。图3展示了不同方法在6×稀疏采样比率下的重建结果。

结论

本研究提出了一种基于学习的方法，通过利用扫描器扰动来实现稀疏采样FS-OR-PAM的重建。主要技术创新如下：

• •
  该方法将STCI纳入PAM成像的稀疏采样重建中，为改进高速生物医学成像模式提供了新的视角。
• •
  嵌入的变形场PGT有效解决了训练数据获取和存储的挑战。此外，该方法

CRediT作者贡献声明

Jiangbo Chen：撰写——审阅与编辑、监督、方法论、资金获取、概念化。Kexin Chen：撰写——审阅与编辑、撰写——原始草稿、方法论、调查、数据管理。Bin Li：验证、调查。Jiyan Dai：验证、调查。Zhen Yuan：可视化、验证。Xiaobin Hong：资源、项目管理、资金获取。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争财务利益或个人关系。

致谢

本工作得到了中国自然科学基金（NSFC）（62573199、62405093）、广东省重点领域研究与发展计划（2026B0303010001）、广东省基础与应用基础研究基金（2023A1515110065、2026A1515010755）以及2024年中央政府指导地方科技发展专项基金项目（STKJ2024047-20240101）的支持。