用于图像配准中的多尺度递归网络动态解耦增强型变压器

《Knowledge-Based Systems》：Multi-scale Recursive Network for Dynamic Decoupling Enhanced Transformer in Image Registration

提出基于动态解耦增强Transformer的多尺度层次网络，用于医学图像配准，通过编码器端的多尺度双时间融合模块和解码器端的重叠注意力机制提升特征表征与变形场估计精度，在3D脑MRI和MR-CT数据集上验证有效性。

　　

张庆雷|栾超坤|段建国|周颖

上海海事大学物流工程学院，中国上海 200135

摘要

医学图像分析中的一个主要挑战是复杂的图像配准问题。基于深度学习的技术所得到的结果与传统技术相当，但精确且高效的可变形配准仍然存在挑战。为了解决这个问题，我们提出了一个多尺度分层网络，该网络结合了一个动态解耦增强变换器，这可以在解码器中提供精确的位移场，并改进编码器中的特征表示学习，从而提高准确性。在编码器中，我们提出了一个多尺度双时态融合模块，通过多尺度卷积捕捉不同尺度的特征信息。该模块通过注意力机制动态调整特征的重要性，确保在融合过程中关键特征获得更高的权重。在解码器中，我们提出了一个重叠注意力模块，以整合全局通道空间注意力和变换器的优势。这种新的交叉注意力技术能够捕捉跨尺度和跨区域的对应关系，在深度语义指导下实现特征对应。然后，通过整合我们提出的RegHead模块，生成一个精细的平滑变形场，并将我们的网络与3D脑部MR（LPAB、Mindboggle）和MR-CT（ABCT）领域的最先进方法进行了比较。根据定性和定量分析，我们的性能表现相当不错。

章节摘录

引言

可变形医学图像配准（DIR）是医学图像分析中的一个基本任务，旨在估计移动图像和固定图像之间的密集、非线性空间对应关系，从而将它们对齐到一个共同的坐标系统中[1]。来自单模态或多模态图像的融合信息可以支持各种临床应用，如术前规划[2]、疾病诊断[3]以及术中引导[[4]、[5]、[6]]。传统的配准方法依赖于

基于深度学习的配准方法

基于深度学习的图像配准方法已经得到了广泛研究，包括基于ConvNet的方法和基于变换器的方法。近年来，基于ConvNet的方法在保持与传统技术相当准确性的同时，显著减少了计算时间。例如，Balakrishnan [21]引入了VoxelMorph，这是一个用于可变形医学图像配准的无监督学习框架，在配准准确性方面取得了显著改进

方法

图1展示了所提出的可变形对齐网络。我们使用了一个金字塔对齐网络拓扑结构，这减少了每个解码层所需的注意力计算范围，从而降低了模型的计算消耗。首先，分别为静止图像和移动图像生成两组特征图F₁、F₂、F₃、F_{4和F5，以及M1、M2、M3、M4和M5，如图2所示。随后，使用TransModeT作为变形场估计器}

数据集

我们在包括脑部（LPBA¹、Mindboggle²）和腹部（ABCT³）在内的数据集上评估了我们的方法。(1) LPBA数据集[58]包含40个脑部MRI体积。所有体积都经过了严格的预对齐。训练使用30个体积（30×29对），而测试使用10个体积（10×9）。(2) Mindboggle数据集[59]已经进行了精确的预对齐。

结论

总之，我们提出了一种动态解耦增强的Transformer，用于多尺度递归顺序网络。在保留局部特征的同时，它减少了全局依赖的长距离信息冗余。我们在编码器中提出了一个中等尺度的双时态融合模块，以改进编码器的表示学习能力，并在解码器中提出了一个交叉注意力机制，通过动态建模来提高解码器捕获关键语义信息的能力

CRediT作者贡献声明

张庆雷：可视化、验证。栾超坤：写作 – 审稿与编辑、撰写原始草稿、可视化、验证。段建国：可视化、验证。周颖：可视化、验证、资金获取。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了中国国家重点研发计划（编号：2023YFB4705803）的支持。