编辑推荐：
为解决现有医学图像超分辨率重建中图像细节模糊、全局信息利用不足问题，研究人员开展基于残差 Transformer 网络和动态卷积神经网络的双分支融合网络（CTGFSR）研究。结果显示该网络性能优于主流算法，有助于提升医学图像质量，辅助医学诊断。
在现代医学领域，医学成像技术的广泛应用使医学图像成为疾病诊断的关键辅助工具。然而，实际获取的医学图像常因各种因素存在分辨率不足的问题，导致图像细节模糊，这极大地影响了医生对早期病变的精准判断。例如，在观察微小肿瘤或细微血管病变时，低分辨率图像可能会遗漏关键信息，延误病情诊断。同时，若通过增加扫描次数或延长扫描时间来获取高分辨率图像，不仅会增加患者的经济负担，还会让患者承受更多的辐射风险。因此，如何通过超分辨率重建技术，从低分辨率医学图像中获取清晰、富含细节的高分辨率图像，成为医学领域亟待解决的重要问题。
在此背景下，广州新华大学人工智能与数据科学系的研究人员开展了一项极具意义的研究。他们提出了一种基于残差 Transformer 网络和动态卷积神经网络的双分支融合网络（CTGFSR），旨在突破现有医学图像超分辨率重建技术的局限。该研究成果发表在《Scientific Reports》上，为医学图像超分辨率重建领域带来了新的突破和希望。
研究人员在开展此项研究时，运用了多种关键技术方法。在数据方面，采用了来自医学图像注册任务的肺 CT 数据集（L2R2022）和医学图像分割任务的心脏磁共振（CMR）MR 数据集（miccai 2017） 。网络构建上，CTGFSRNet 主要包含浅特征提取、深特征提取、门控特征融合和上采样重建四个部分。利用 3×3 卷积层提取浅特征，通过动态卷积网络和残差 Transformer 网络并行进行深特征提取，借助门控注意力特征融合模块融合局部和全局特征，最后使用子像素卷积层实现图像重建 。同时，通过最小化 L1 像素损失来优化网络参数。
下面来具体看看研究结果：
- 消融实验：研究人员使用 MR 数据集在放大倍数为 4 的情况下进行消融实验。在确定动态卷积和残差 Transformer 单元数量的实验中发现，随着单元数量增加，PSNR 和 SSIM 逐渐上升，但性能增益逐渐饱和，当数量为 6 时达到峰值，综合考虑后续实验将其设置为 4。探究双分支结构影响时，对比仅含残差 Transformer 单元、仅含动态卷积单元以及 CTGFSR 网络这三种模型，结果表明双分支网络结构能从局部和全局层面助力模型实现更优的超分辨率重建。分析残差 Transformer 多头注意力层头数的影响可知，头数增加性能提升，考虑性能与计算量，后续实验将头数设为 6。在研究不同特征融合方法影响时，发现使用门控注意力融合的方法优于传统融合方法。
- 与现有算法比较：研究人员将 CTGFSR 与基于 CNN 的 CFIPC、PDCNCF、ESPCN、FSRCNN、VDSR，基于 Transformer 的 ESRT、SwinIR 以及双线性插值算法进行对比。在 CT 和 MR 两种医学图像数据集上的实验结果显示，CTGFSR 在 PSNR 和 SSIM 指标上表现显著更优。这表明融合了 CNN 和 Transformer 的 CTGFSR 网络，能够超越纯 CNN 或 Transformer 网络，在医学图像数据集上保持良好的重建效果。
- 计算效率分析：在评估 CTGFSR 的实际适用性时，研究人员对其计算成本进行分析。结果显示，CTGFSR 在性能和效率之间达到了较好的平衡。例如在 MR×4 的实验中，它以 0.85M 的参数和 46.9G 的 FLOPs 达到了 89.96 的 SSIM，而 SwinIR 达到 86.68 的 SSIM 则需要 0.89M 的参数和 49.6G 的 FLOPs。其在 RTX 3060 GPU 上的推理时间为每 192×192 图像 43ms，适用于实时临床应用。
综上所述，该研究提出的 CTGFSR 网络，利用 Swin Transformer 关注全局信息，结合动态卷积组成的局部多尺度信息提取模块进行特征融合。这一设计在关注局部结构特征的同时，保持了与全局信息的一致性，一定程度上提高了重建效果的保真度，可应用于不同类型的结构化医学图像数据集。研究人员还通过门控注意力机制减少了网络对冗余特征的关注，并通过大量消融实验验证了 CTGFSR 的有效性。不过，该研究也存在一些局限性，如在极低分辨率输入时，SSIM 会因高频线索不足而下降；对于不规则解剖结构，PSNR 会降低；临床部署时，当前模型对 GPU 内存要求较高。尽管如此，这项研究依然为医学图像超分辨率重建领域提供了新的思路和方法，有望在未来进一步优化，推动医学影像诊断技术的发展，为临床医疗提供更有力的支持。
