《Photoacoustics》：High-fidelity dual-domain photoacoustic data synthesis with latent diffusion models
编辑推荐：
光声断层成像（photoacoustic tomography, PAT）因其高光学对比度和深层声学穿透能力而被广泛应用于生物医学成像。然而，高质量数据集的稀缺阻碍了深度学习在该领域中的应用。为解决这一问题，研究人员提出一种基于潜在扩散模型（latent di
光声断层成像（photoacoustic tomography, PAT）因其高光学对比度和深层声学穿透能力而被广泛应用于生物医学成像。然而，高质量数据集的稀缺阻碍了深度学习在该领域中的应用。为解决这一问题，研究人员提出一种基于潜在扩散模型（latent diffusion model, LDM）的双域数据生成框架，该框架由两个独立训练的合成通路组成，可在图像域和投影域中同时合成光声数据。该方法将原始数据映射到一个降采样的潜在空间，在显著降低建模维度的同时保留必要的结构和语义信息。两个通路被分别训练，以对相应的数据分布进行建模。为验证该框架，研究人员使用生成数据训练面向稀疏视角、有限视角和带宽受限任务的重建网络。实验结果表明，在结构保真度、伪影抑制和整体图像质量方面，使用合成数据训练的模型达到了与使用参考数据训练相当的性能。通过峰值信噪比（peak signal-to-noise ratio, PSNR）和结构相似性（structural similarity, SSIM）指标的定量评估进一步证实了生成数据的高度可用性。该研究是对PAT中双域生成的首次系统性探索，为医学数据约束下的深度学习研究提供了一种稳健的策略。
光声断层成像（photoacoustic tomography, PAT）结合高光学对比度与深层声学穿透能力，在组织与细胞成像、肿瘤检测、心血管诊断及图像引导手术等临床应用中具有重要价值。深度学习凭借层次化非线性抽象能力，可自动提取特征并建模复杂模式，在PAT领域展现出良好性能。然而，可用数据集在规模和质量上均难以满足深度学习模型的训练需求：真实成像系统受高硬件成本和系统复杂性制约，可获取数据有限；仿真平台受计算资源与简化建模限制，难以生成高保真数据；严格的医疗数据隐私法规进一步增加了真实数据采集与共享的障碍。为缓解数据稀缺，生成对抗网络（generative adversarial network, GAN）曾被用于医学图像生成，但其本身存在模式崩溃、非收敛和训练不稳定等核心挑战。去噪扩散概率模型通过前向加噪与反向去噪机制，在生成质量、稳定性和可控性上表现出显著优势，但已有研究多集中于图像域生成，忽视了投影域中作为原始测量信号的正弦图（sinogram）所蕴含的声衰减、几何构型与视角相关特性等物理先验，而这些信息在图像重建过程中往往退化或丢失。因此，在图像域与投影域并行建模对保证物理一致性具有重要意义。
针对上述问题，研究人员提出基于潜在扩散模型（latent diffusion model, LDM）的双域数据生成框架，包含两个独立训练的合成通路，分别生成图像域与投影域光声数据。该方法先通过编码器将原始数据映射到降采样潜在空间，在降低建模维度的同时保留结构和语义信息，再在潜在空间中执行扩散建模，通过逐步去噪实现数据合成。为验证框架有效性，研究人员使用生成数据训练统一的增强型基于分数的生成模型重建网络，并用于稀疏视角重建、有限视角重建和带宽增强三项代表性下游任务。结果表明，在结构保真度、伪影抑制和整体图像质量方面，合成数据训练的模型达到与参考数据训练相当的性能；峰值信噪比（PSNR）和结构相似性（SSIM）进一步证实生成数据的高可用性。该研究首次系统探索了PAT双域生成，为医学数据约束下的深度学习研究提供了稳健策略。
在技术方法上，研究人员采用公开的小鼠在体数据集（274个未标注样本），并遵循分割优先原则：先划分训练子集，再仅通过旋转、亮度调整和对比度调整进行增强，形成5000张图像域训练数据；投影域正弦图通过k-Wave仿真构建的虚拟PAT系统生成，该系统采用40 mm×40 mm仿真域、506×506计算网格、512个超声换能器（中心频率4.89 MHz，带宽100%，采样率20 MHz）。生成框架采用LDM，每个通路独立训练第一级自编码器（Autoencoder KL），图像域压缩因子f=8，投影域f=16，均得到32×32潜在表示；随后在潜在空间训练噪声预测网络，并使用DDIM采样生成数据。生成质量通过Fréchet Inception Distance（FID）、Inception Score（IS）和Kernel Inception Distance（KID）评估；下游任务使用基于随机微分方程（stochastic differential equation, SDE）的增强的基于分数的生成模型（score-based generative model）重建网络。
研究结果如下。
**3.1 LDM与VE-SDE在生成PAT数据中的性能比较**。研究人员将LDM与方差爆炸随机微分方程（variance exploding stochastic differential equation, VE-SDE）生成模型进行比较。在图像域，LDM生成的样本在组织细节边界上更清晰；在投影域，LDM生成的正弦图具有更丰富的模式和更强的对比度，且经通用反投影（universal back projection, UBP）重建后的图像与参考数据更一致。定量指标上，图像域中LDM在IS和KID上优于VE-SDE，FID相当；投影域中LDM在FID、IS、KID三项上均优于VE-SDE，表明LDM具有更高的生成质量与物理一致性。
**3.2 下游任务适应实验**。研究人员使用等量参考数据和LDM生成数据分别训练下游重建网络，并在统一固定参考数据上进行测试。
**A. 稀疏重建**。在64和128视角的稀疏采样条件下，分别在图像域和投影域进行重建。与延迟求和（delay-and-sum, DAS）重建相比，使用真实/参考数据训练的模型和使用合成数据训练的模型均能显著去除伪影、恢复细节；在64视角图像域任务中，合成数据训练的模型相对DAS提升了13.5 dB PSNR和0.3 SSIM，在投影域任务中提升15.4 dB和0.4，与参考数据训练的性能相当。
**B. 有限视角重建**。在90°和120°有限视角条件下进行图像域和投影域实验。合成数据训练模型与真实/参考数据训练模型均能有效恢复组织结构、减少伪影，并在傅里叶频谱上补全缺失的频率分量；图像域90°任务中两种模型SSIM均达0.79，比DAS高0.2；投影域中合成数据训练的模型在120°条件下PSNR提升4.5 dB、SSIM提升0.06，与参考数据训练接近。
**C. 带宽增强**。在50%带宽条件下进行图像域和投影域实验。合成数据训练模型与真实/参考数据训练模型均能提高分辨率和对比度，将主频率范围从DAS的0–5.7 MHz扩展至0–8 MHz，图像域带宽提升约40.4%，投影域提升60%；半高全宽（full width at half maximum, FWHM）数值更接近地面真值（ground truth, GT），伪影得到有效抑制。综合来看，合成数据训练的模型在三个任务上均取得了与参考数据训练相当的性能。
讨论部分指出，双域生成框架综合了图像域和投影域的优势：图像域与临床常用数据格式一致，有利于呈现解剖结构和边界细节；投影域能最大程度保留声衰减、几何构型等物理先验。未来工作将引入更复杂的网络结构以实现双域信息互补，探索更细粒度的条件控制以生成更符合具体成像约束的数据，并扩展至配对数据合成及CT、MRI、超声等其他医学成像模态。同时，该研究仍存在一定局限性，包括投影域评估仅限于k-Wave导出的参考正弦图和固定虚拟PAT配置，全部实验依赖单一且规模较小的274个未标注小鼠数据集，以及无条件生成流程无法利用标注信息实现标签驱动的可控生成。
研究结论可翻译为：本研究提出了一种能够在图像域和投影域同时生成光声数据的潜在扩散生成框架，以缓解数据稀缺对深度学习应用于PAT的限制。实验结果表明，在稀疏重建、有限视角重建和带宽增强任务中，使用合成数据训练的模型达到了与参考数据训练模型相当的性能，说明合成数据不仅可作为有效的数据补充，还具有在数据受限条件下独立支持深度学习模型训练的潜力。
