面向扩散加权图像无监督超分辨率的深度扩散先验

《Engineering Applications of Artificial Intelligence》：Deep diffusion prior for unsupervised super-resolution of diffusion-weighted images

　　

摘要
扩散加权成像（DWI）存在空间分辨率低的问题，这不利影响后续的定量分析。近期基于深度学习的超分辨率方法在提升扩散加权图像分辨率方面展现出良好的性能。然而，现有大多数方法依赖监督学习，需要成对的高分辨率与低分辨率图像。在实际应用中，此类图像的获取往往十分困难，严重限制了这些方法的适用性。为克服该局限，我们提出了一种创新的无监督扩散加权图像超分辨率方法，称为深度扩散先验（DDP），该方法利用图像内在的低级特征，仅使用低分辨率图像即可增强扩散加权图像的分辨率。我们的方法整合了两种关键引导先验以提升超分辨率性能：（1）结构先验，来源于结构磁共振图像和纤维束密度图像，用于提供详细的解剖学引导；（2）角度先验，通过在扩散波矢量空间中的角度邻域约束建模，提供有效的角度引导。在包括人脑连接组计划、发育中人脑连接组计划以及阿尔茨海默病神经影像计划在内的多种数据集上进行的广泛实验表明，我们的方法在定性和定量评估中均持续优于现有方法。这些结果突显了我们的方法在推进高质量分辨率增强扩散加权图像定量分析方面的潜力。

引言
扩散加权成像（DWI）是一种非侵入性技术，用于表征脑白质中水分子的运动，为研究脑神经系统提供丰富信息（Essayed等，2017）。然而，由于采集时间和信噪比（SNR）的限制，DWI存在空间分辨率低的问题。低分辨率问题会导致严重的部分容积效应，从而不利地影响后续的定量分析，尤其是对胎儿和婴儿受试者（Chen等，2019b）。

已有大量研究致力于在采集后阶段提升DWI图像的分辨率。早期DWI分辨率增强方法依赖于图像插值（Peled和Yeshurun，2001，Kornprobst等，2002，Gulati和Sinha，2014），通常会导致模糊伪影。超分辨率方法试图在保留细节的同时提高分辨率。例如，Manjón等人（2010）提出的非局部超分辨率算法、Chen等人（2018，2019b）提出的空角超分辨率方法、Shi等人（2016）提出的4D低秩与全变分方法，以及Yap等人（2014）提出的基于纤维束的方法。近年来，深度学习被应用于DWI超分辨率。Elsaid和Wu（2019）采用经典二维超分辨率网络SRCNN提升DW图像的分辨率。Tian等人（2021）提出了SRDTI，一种改进的DWI超分辨率网络，在SRCNN中融入了残差学习和多对比度成像。Tanno等人（2017）将原始二维高效子像素卷积神经网络（ESPCN）扩展为三维DWI超分辨率，并在训练过程中引入不确定性。Blumberg等人（2018）利用RevNet模块和内存高效反向传播技术改进了三维ESPCN。Chatterjee等人（2021）提出了Shuffle-UNet，通过像素反交错和像素交错操作提升DWI的分辨率。Albay等人（2018）提出了一种数据驱动的生成对抗网络（GAN）以改善DW图像的空间分辨率。Luo等人（2022）将DW图像作为四维数据输入GAN以实现空角超分辨率。尽管这些方法有效，但它们需要依赖成对的高分辨率（HR）和低分辨率（LR）图像进行监督学习训练。因此，当无法获取HR图像时，其应用受到限制。在实际临床环境中，获取此类HR图像异常困难且成本高昂。与此同时，无监督图像超分辨率成为一个有前景的方向，尤其是在缺乏成对HR-LR数据时。Deep Image Prior（DIP）（Ulyanov等，2018）、Cycle-in-Cycle GAN（CinCGAN）（Yuan等，2018）和KernelGAN（Bell-Kligler等，2019）等现有工作已经展示了从内部图像统计或无配对数据中学习的能力。然而，这些方法主要面向自然图像，无法直接推广到定义在涵盖空间域和扩散波矢量域的联合六维空间中的复杂DWI数据。

为克服这些局限，我们提出了一种名为深度扩散先验（DDP）的无监督深度学习方法，用于在没有成对HR-LR图像的情况下提升DWI分辨率。DDP的动机在于，根据DIP（Ulyanov等，2018）所述，用于超分辨率的大量低级DWI统计信息可以在任何学习之前由深度神经网络先验捕获。这从根本上使我们的方法能够避免对训练所需成对LR-HR图像的需求。具体而言，我们采用三维U-Net作为网络骨干，以充分捕获空间信息。网络仅使用LR图像进行训练，并在过拟合之前停止，以允许其编码深度扩散先验信息用于超分辨率。为进一步提升性能，我们引入两种有效先验。第一种先验来自结构磁共振图像（MRI）或纤维束密度图像（TDI）（Calamante等，2010），提供丰富的高分辨率解剖信息以增强DWI的超分辨率。第二种先验通过借用其角度邻居的信息来增强每张DWI图像的超分辨率。得益于这两种有效先验，我们的DDP能够结合空角信息提升DW图像的分辨率。总体而言，我们的贡献如下：

- 我们提出了DDP，这是首个用于DWI超分辨率的三维无监督深度学习方法。DDP仅使用LR图像训练即可有效提升DW图像的分辨率。
- 我们利用结构先验提升超分辨率性能，该先验为DWI超分辨率提供关键的结构引导。
- 我们进一步提出角度先验，通过考虑不同DW图像之间的角度相关性来提升超分辨率。
- 基于多个知名神经科学项目数据的实验，包括人脑连接组计划（HCP）（Van Essen等，2013）、发育中人脑连接组计划（dHCP）（Makropoulos等，2018）和阿尔茨海默病神经影像计划（ADNI）（Jack等，2008），表明DDP在定量和定性上均优于现有超分辨率方法。

本文是我们之前在Chen等（2024）中发表的会议论文的扩展版本。在该扩展期刊版本中，我们通过在方法中加入基于TDI的新型结构先验来提升初始方法，该先验提供丰富的纤维束信息以进一步提升超分辨率性能。此外，我们扩展了验证，包括在dHCP数据集上的实验，展示了模型在婴儿脑数据上的有效性及其在不同年龄组中的广泛适用性。相关结果、分析和讨论均为新增内容，并非会议论文的一部分。

本文余下部分组织如下。在第2节中，我们首先回顾现有的DWI超分辨率方法。在第3节中，我们介绍所提出的无监督深度模型DDP，详述其理论基础、网络架构和训练过程。第4节描述了实验设置（即数据集和评价指标）以及实验结果，用于评估DDP模型与其他现有方法的性能对比。第5节讨论了所提出方法的实验发现、鲁棒性和计算效率。最后，在第6节中，我们提出几个未来研究方向并总结本工作。

分节摘要

DWI超分辨率
DW图像超分辨率旨在采集后阶段将DW图像的分辨率提升至更高层次。由于低分辨率是限制DW图像定量分析的主要问题，其在DW图像预处理中扮演重要角色。由于其重要的应用价值，已有大量工作致力于采用各种技术进行DW图像超分辨率。

总体而言，DW图像超分辨率算法可分为正则化方法（Coupé等，

概述
经验证表明，深度神经网络更倾向于捕获图像内容而非噪声（Ulyanov等，2018，Lin和Huang，2020，Cui等，2019，Baguer等，2020）。基于这一观察，我们提出了一种名为深度扩散先验（DDP）的方法，用于提升DWI分辨率。给定低分辨率DW图像??∈???×??×??，通过上采样因子??得到的对应高分辨率DW图像???∈??????×?????×?????为：???=argmin???‖??????(???(??∣??))‖，???=???(???∣??)，其中‖?‖为?2范数。

数据集
为实现全面评估，我们在HCP、dHCP和ADNI数据集上进行了实验，以评估模型的有效性。

讨论
在本工作中，实验在三个不同数据集上进行，包括健康成人的HCP数据集、新生儿受试者的dHCP数据集以及包含神经系统疾病受试者的ADNI数据集。这些数据集在脑解剖结构、成像协议和图像质量上表现出显著差异，从而为DWI超分辨率提供了多样化的评估条件。在所有数据集中，所提出的DDP方法始终取得优异效果。

结论
在本工作中，我们提出了一种新型无监督深度学习方法DDP，用于DWI分辨率增强，且无需成对的HR-LR图像。该实现基于三维U-Net骨干网络，能够充分利用DWI超分辨率中的三维空间信息。DDP进一步通过结构与角度先验来提升性能。在HCP、dHCP和ADNI数据集上的实验结果表明，所提出的DDP在定量和定性评估中均持续优于现有方法。

CRediT作者贡献声明
Geng Chen：资金获取、项目管理、概念构思、方法、调查、资源、验证、正式分析、数据整理、写作-审阅与编辑、写作-初稿。Yi Liu：写作-审阅与编辑、可视化、验证、软件、资源、方法、调查、正式分析、数据整理。Runlin Zhang：方法、软件、验证、数据整理、写作-审阅与编辑。Hao Yang：方法、软件、验证、数据

利益冲突声明
作者声明不存在可能影响本文所报告工作的已知竞争性财务利益或个人关系。

致谢
本工作部分得到国家自然科学基金委资助（批准号62571451）及陕西省创新能力支持计划资助（批准号2025ZC-KJXX-47）。

Geng Chen | Yi Liu | Runlin Zhang | Hao Yang | Lianwei Wu | Yong Xia | Pew-Thian Yap