UniMo：基于深度神经网络的多类型医学影像统一运动校正框架

《IEEE Access》：A Unified Deep Learning Framework for Motion Correction in Medical Imaging

　　摘要：深度学习在医学图像配准的运动校正中展现了重要价值，然而现有技术要么受限于所能处理的运动类型和范围，要么针对新的影像数据需要迭代推理和/或重新训练。为解决这些局限性，我们提出了UniMo——一种统一运动校正框架，利用深度神经网络对医学影像中的多种类型运动进行校正。UniMo采用交替优化方案对统一损失函数进行优化，以训练一个集成模型，包含1）用于全局刚体运动校正的等变性神经网络，以及2）用于校正局部形变的编码器-解码器网络。为此，它引入了一个几何形变增强模块，该模块1）通过处理任何局部形变（无论是由非刚体运动还是几何畸变引起）来增强全局运动校正的鲁棒性，以及2）生成增强数据以改善训练过程。UniMo是一个混合模型，同时利用图像强度和形状来实现鲁棒的性能表现，使其能够应对图像外观变化，因此无需重新训练即可良好地泛化到各种医学影像模态。我们在胎儿磁共振成像中训练并测试了UniMo的运动跟踪能力，这是一个极具挑战性的应用场景，原因在于1）同时存在大幅刚体运动和非刚体运动，以及2）图像外观存在巨大差异。随后，我们在三个公开数据集（包括MedMNIST、肺部CT和BraTS）的多种影像模态上测试了训练好的模型（无需重新训练）。结果显示，UniMo在准确性方面超越了现有的运动校正方法，值得注意的是，它仅需在单一模态上进行一次训练，同时在跨多个未见过的影像数据集推理时仍保持高稳定性和适应性。通过提供运动校正的统一解决方案，UniMo在具有混合……的挑战性应用中标志着显著优势。显示更多