《Neural Networks》:ProMA-Net: MR–TRUS Prostate Registration via a Dual-Stream Swin Transformer-Based Network with Mixed Attention
编辑推荐:
磁共振(MR)与经直肠超声(TRUS)前列腺图像之间的多模态配准对于靶向活检和治疗至关重要,然而由于复杂的跨模态解剖对应关系、模态特定特征与模态共同特征之间的融合冲突,以及在计算效率与配准精度之间难以取得平衡,该任务仍极具挑战性。研究人员针对术前MR与术中TR
磁共振(MR)与经直肠超声(TRUS)前列腺图像之间的多模态配准对于靶向活检和治疗至关重要,然而由于复杂的跨模态解剖对应关系、模态特定特征与模态共同特征之间的融合冲突,以及在计算效率与配准精度之间难以取得平衡,该任务仍极具挑战性。研究人员针对术前MR与术中TRUS前列腺图像之间的可变形配准这一难题,提出了一种新颖的基于双流Swin Transformer的网络。该模型采用独立的基于Swin Transformer的编码流处理MR和TRUS体数据,并利用窗口自交叉混合注意力(WSCMA)机制及交替窗口移位,在不产生显式注意力计算开销的情况下实现高效的多模态特征融合。此外,研究人员引入了轻量级的门控交叉特征融合(GCFF)模块以自适应地重新加权跨模态特征,以及多尺度斑块邻域模态无关邻域描述符(MIND)对比损失,以加强全局和局部的解剖对齐。研究人员在公共μProReg前列腺数据集上评估了该方案。该方法实现了优越的配准精度——在近期先进方法中取得了最高的前列腺Dice重叠率和最低的目标配准误差(TRE),并显示出通过更精确地融合MR和超声数据来改善图像引导前列腺干预的潜力。代码已公开于https://github.com/Hongzunhei/ProMA-NET。
研究人员针对磁共振成像(MRI)与经直肠超声(TRUS)在前列腺癌诊断中各自存在的局限性,开展了基于深度学习的多模态图像配准研究。该研究旨在解决MR与TRUS图像间因模态差异巨大而导致的复杂解剖对应关系难以建立、模态特定特征与共同特征的融合冲突以及计算效率与精度难以平衡等问题,最终提出了一种名为ProMA-Net的新型双流配准网络,相关成果发表在《Neural Networks》期刊上。
为实现上述目标,研究人员构建了端到端的深度学习框架,关键技术方法包括:首先,设计了窗口自交叉混合注意力(WSCMA)模块,该模块源自连续的Swin Transformer块,分为非移位阶段(Dual-WSA)和移位阶段(Dual-WSMA),后者包含移位窗口多头自注意力(SW-MSA)分支和交替移位窗口隐式交叉注意力(ASW-ICA)分支,实现了单QKV空间内的模态内与模态间特征交互。其次,引入了轻量级门控交叉特征融合(GCFF)模块,通过可学习门控平衡并融合模态特定与模态共同编码特征。再者,提出了多尺度斑块邻域MIND(MSPN-MIND)对比损失,结合Dice损失和平滑损失进行监督学习。实验数据来源于公共的μProReg挑战赛数据集,研究人员将可用的73对数据(65对训练集与8对验证集)合并进行模型评估。
研究结果部分通过多个维度的实验进行了全面展示:
在ProMA-Net架构方面,该网络接收移动的3D MR图像VMR∈ RH × W × D和固定的3D TRUS图像VTRUS∈ RH × W × D,通过优化函数Fθ回归非线性形变场φMR → TRUS∈ RH × W × D × 3。该框架通过双流编码器提取特征,经由WSCMA和GCFF模块处理后,注入卷积特征解码流中完成配准。
在数据集实验中,研究人员使用了μProReg挑战赛的公共多模态前列腺数据集。原始数据包含65例训练、8例验证和35例测试MR-TRUS对,每对数据附带最多6个解剖标志点注释。由于测试集未公开,研究实际使用了73例可用数据对。T2加权MR体数据尺寸为120 × 128 × 128,TRUS体数据尺寸为81 × 118 × 88。
在结果与分析部分,研究人员设计了三项实验进行综合评估。结果表明,相较于近期的先进方法,ProMA-Net在前列腺Dice重叠率(衡量解剖结构重叠度)和目标配准误差(TRE,衡量配准精度)两个核心指标上均表现最优,证明了其在平衡配准精度与算法效率方面的优越性。
在结论部分,研究人员总结了该研究的主要贡献:提供了一种鲁棒且内存高效的MR-TRUS多模态配准算法ProMA-Net;提出了基于Swin Transformer的WSCMA模块,通过SW-MSA和ASW-ICA双分支实现了显式模态特定特征提取与隐式模态共同特征交互;应用GCFF模块通过可学习门控融合了自注意力与交叉注意力特征,避免了人工设计的主观偏差;设计了MSPN-MIND对比损失,从局部和全局结构一致性角度关注前列腺内外区域,避免了强度失配干扰。
最后,在声明部分,研究人员指出在文稿准备过程中使用了ChatGPT进行语言润色,并对内容进行了审查和编辑,承担出版内容的全部责任。同时声明不存在已知的竞争性财务利益或个人关系影响研究工作,并致谢了国家自然科学基金及广东省、广州市科技计划项目的资助。