利用配对标签到物理图像的转换技术，基于语义标签进行腹部超声伪影模拟

《Annals of Biomedical Engineering》：Abdominal Ultrasound Simulation from Semantic Labels Using Paired Label-to-Physics-Based Image Translation

　　

摘要

目的

目前的腹部超声（US）仿真方法通常需要基于CT的解剖学参考数据进行光线投射，这限制了变形和病理变化的多样性。我们提出了一种基于学习的流程，该流程能够根据语义标签预测从CT扫描中生成的物理图像，从而在推理时无需使用特定患者的CT数据。

方法

我们引入了一个两阶段流程，该流程通过简化的超声图像将解剖学分割结果映射到真实的超声图像上。第一阶段使用基于CT光线投射输出训练的模型从语义标签合成这些图像；第二阶段通过解剖学引导的非配对平移技术将这些图像细化为真实的超声扫描图像。变形和病理变化是通过编辑解剖学映射来生成的。

结果

我们在第一阶段评估了Pix2Pix和语义扩散模型（SDM），然后在第二阶段使用分割引导的CycleGAN（SG-CycleGAN）进行了细化。在形态学指标上，SDM的表现显著优于Pix2Pix，包括MAE（19.85对比21.65）、SSIM（0.28对比0.24）和mIoU（0.43对比0.29）；而在感知质量方面，Pix2Pix的表现更好：LPIPS（0.17对比0.19）、FID（0.32对比0.37）和KID（0.25对比0.48）。

结论

通过基于物理的监督训练成对生成模型，可以直接从语义标签在推理时逼近基于CT的光线投射输出。尽管在推理时不需要特定患者的CT数据，但CT生成的分割结果和光线投射仿真对于训练第一阶段仍然是必要的。一旦训练完成，该框架就能够通过修改语义映射来实现可控制的健康和病理状态仿真。