通过扩散模型进行SSEM图像修复，并结合多输出联合策略进行噪声估计

《IEEE Transactions on Medical Imaging》：ssEM Image Restoration via Diffusion Models With Multi-Output Joint Strategy for Noise Estimation

ssEM图像中缺失切片的扩散模型恢复方法及多输出策略研究，提出结合非对称与对称3D卷积的改进网络架构，通过自适应重构模块和联合多输出噪声估计策略有效提升图像质量，实验证明在3D重建和下游任务中优于传统方法。

　　

摘要：

序列切片电子显微镜（ssEM）是研究神经元连接和大脑微结构的关键技术。然而，不完美的样本制备和图像采集常常会导致图像质量下降，给后续分析带来挑战。尽管之前的深度学习方法（如使用空间自适应卷积的插值模型）已被证明优于传统方法，但它们在恢复高频细节方面存在不足，导致感知质量和分割性能不佳。本研究提出了一种新的方法，利用扩散模型来修复ssEM图像中缺失的切片。为了适应ssEM图像的各向异性特征，我们在主干网络中加入了非对称和对称的3D卷积层。此外，我们设计了自适应可学习重建（ALR）模块，并加入了首尾切片注意力块（FLAB）以有效提取特征。我们还采用了多输出联合策略（MJS）进行噪声估计，减少了训练和测试之间的差异，并实现了扩散校正。同时，我们重新设计了推理过程，以优化部分损坏切片的修复效果，无需额外的伪影模拟或重新训练。实验结果表明，我们的方法在生成更真实的切片方面非常有效，并且在下游任务中的性能优于以往的方法。

引言

电子显微镜（EM）具有高分辨率成像能力，这对于捕捉复杂的细胞和突触细节至关重要，使其成为神经元3D重建的宝贵工具。在各种可用的技术中[1]、[2]、[3]、[4]、[5]，ssEM分为透射型ssEM（ssT-EM）和扫描型ssEM（ssS-EM），这两种方法通过将样本切成连续的薄片并分别进行高分辨率成像来获得完整的3D结构。这项技术使研究人员能够在微观尺度上重建神经元的3D结构，揭示突触连接和细胞形态，从而为理解神经网络的组织和功能提供关键见解[6]、[7]、[8]。因此，ssEM是神经科学中的强大工具，有助于更深入地理解大脑的结构和功能[9]。然而，由于样本制备不完善和成像过程复杂，经常会出现各种伪影（见图1）。其中一种伪影是缺失切片（MS），即在手动切片过程中整个切片丢失，导致图像为空白。这些质量下降的图像严重影响了后续的分析和可视化。例如，连续的图像损坏可能会中断许多神经元结构，从而导致错误的3D体积重建。传统方法是通过用相邻切片直接替换损坏的切片[10]并使用简单的插值方法来处理。然而，相邻切片无法反映神经元结构的变化，插值方法会产生许多边界伪影。图1.

受不同伪影影响的ssEM图像。