基于生成对抗网络的图像到图像转换技术,可以从标准的磁共振(MR)图像中预测垂体腺瘤的肿瘤一致性

《PLOS Digital Health》:Generative adversarial networks-based Image-to-Image translation allows tumor consistency prediction from standard MR images in pituitary adenomas

【字体: 大 中 小 】 时间:2026年05月14日 来源:PLOS Digital Health 7.7

编辑推荐:

  摘要 生成对抗网络(GANs)在跨模态图像转换方面具有潜力,但其在垂体腺瘤中的应用仍不确定。本研究旨在评估基于GAN的深度学习算法生成合成扩散加权成像(DWI)相关图像的可行性及其在预测肿瘤一致性方面的临床效用。这项多中心研究包括来自三级医院的152名患有大型至巨型垂体腺瘤的

  摘要
生成对抗网络(GANs)在跨模态图像转换方面具有潜力,但其在垂体腺瘤中的应用仍不确定。本研究旨在评估基于GAN的深度学习算法生成合成扩散加权成像(DWI)相关图像的可行性及其在预测肿瘤一致性方面的临床效用。这项多中心研究包括来自三级医院的152名患有大型至巨型垂体腺瘤的参与者作为训练组。合成DWI相关图像是根据T2加权图像(T2WI)生成的,并与真实图像进行了对比评估。外部验证在另外三个中心的69名参与者上进行,以评估合成图像在预测肿瘤一致性及其与手术结果相关性方面的效用。在独立测试集中,合成图像与真实图像非常相似,均方误差(MSE)低于70,峰值信噪比(PSNR)超过30 dB。神经放射科医生几乎无法区分真实图像和合成图像(P = 0.571),并且在整体图像质量(P = 0.051)和诊断信心(P = 0.168)评分方面给出了相似的评分。合成图像在独立测试集(AUC = 0.84)和外部队列(AUC = 0.79)中在预测肿瘤一致性方面的表现与真实图像相当。当结合所有三个合成图像的特征时,预测肿瘤一致性的性能优于传统的T2WI(测试集中P = 0.036,外部队列中P = 0.040)。对于预测为纤维状的肿瘤,外科医生更倾向于采用经颅或联合方法,这些肿瘤与软肿瘤相比,切除率较低且严重并发症发生率较高。基于GAN的图像合成方法能够准确预测肿瘤一致性,并显示出指导垂体腺瘤患者手术决策的潜力。

作者总结
在这项研究中,我们探讨了某种类型的人工智能(AI)是否能够创建逼真的医学扫描,以帮助外科医生更好地规划垂体肿瘤的手术。具体来说,我们使用这种AI从更常见的MRI类型生成通常难以获得的特殊MRI扫描。我们在多家医院的垂体腺瘤患者身上测试了这种方法。我们的结果显示,AI生成的图像与真实图像非常相似,在预测肿瘤是软的还是硬的方面同样有效——这是手术规划中的一个关键因素。重要的是,当外科医生有了这种预测后,他们选择了更合适的外科策略。这项工作表明,AI合成的图像可以成为有价值且可靠的工具,可能有助于神经外科医生做出更好的决策并改善患者的治疗结果。

引言
垂体腺瘤(PAs)是鞍区最常见的病变之一,占所有颅内肿瘤的10%到25% [1]。除了通常通过药物治疗的催乳素瘤外,手术干预仍然是PAs的主要治疗方式。肿瘤的一致性是影响手术复杂性的重要因素 [2,3]。具有坚韧一致性的肿瘤在手术过程中带来重大挑战,需要使用剪刀等专业工具来辅助切除。这种增加的难度可能导致并发症风险增加和肿瘤切除不完全,最终影响患者的治疗结果 [4]。通过术前成像技术准确预测垂体腺瘤手术的难度对于制定全面的手术计划至关重要。这样的预测可以为调整手术方法提供信息,最大限度地切除肿瘤同时优先考虑患者安全。因此,迫切需要可靠的术前肿瘤一致性评估。磁共振(MR)成像是诊断垂体腺瘤的重要工具,其中扩散加权成像(DWI)模式被认为是评估肿瘤一致性的成熟技术 [5–9]。尽管具有临床价值,但该技术面临一些限制,包括需要专门的成像协议、较长的采集时间以及应用复杂性。图像到图像的转换,即将一种视觉风格转换为另一种或在不同图像类型之间创建映射,通过将标准MR扫描转换为更高级的成像表示提供了潜在的解决方案。生成对抗网络(GANs)是一种基于深度学习的框架,可以从训练数据中学习映射并生成与原始数据集特征高度相似的合成数据。GAN及其变体已广泛应用于脑图像合成,在跨模态图像转换方面显示出巨大潜力 [10–12]。这种创新方法不仅提高了术前评估的质量,还有潜力改善肿瘤管理的临床决策。我们的研究旨在评估基于GAN的深度学习算法从标准MR扫描生成DWI模式图像的可行性。此外,我们还试图评估这些合成图像在预测肿瘤一致性、手术难度和预后方面的临床效用。为了确保在不同临床环境中的稳健性和泛化能力,评估使用了多中心外部队列。

材料与方法
研究样本
在这项观察性研究中,2022年12月至2024年5月期间,连续筛选出患有大型至巨型垂体腺瘤的患者纳入研究(图1)。排除标准包括(a)标准或高级MR检查的质量受损以及(b)年龄小于18岁。外部队列是回顾性收集的,包括在三个外部中心治疗的69名患者。所有实验均符合赫尔辛基宣言。该研究获得了我们机构审查委员会的批准(KY2022–709),并获得了所有参与者的知情同意。该研究已在Clinicaltrials.gov上注册(NCT06664190)。研究框架如图2所示。

下载:PNG(更大图像)TIFF(原始图像)
图1. 流程图显示了研究参与者在训练组和外部队列中的纳入情况。
https://doi.org/10.1371/journal.pdig.0001407.g001
下载:PNG(更大图像)TIFF(原始图像)
图2. 使用端到端CycleGAN模型处理真实的T2加权图像(T2WI),生成合成扩散加权成像(DWI),b值分别为0和1000,以及表观扩散系数(ADC)图像。然后使用这些合成图像来预测肿瘤一致性并分析其与手术方法、结果和并发症的相关性。
https://doi.org/10.1371/journal.pdig.0001407.g002

MR图像采集
MR图像使用3.0特斯拉扫描仪(Discovery MR 750W;GE Medical Systems)采集,配备24通道头部矩阵线圈。每位患者在手术前都接受了多参数MR扫描,包括常规序列(轴向T1加权成像[T1WI]、轴向T2加权成像[T2WI]和增强型轴向T1WI)以及高级序列(DWI)。MR序列的参数如下:
T1WI:重复时间/回波时间400/12 ms,视野22 cm,矩阵大小256*224,带宽62.5 kHz,回波序列长度30,切片厚度2 mm;
T2WI:重复时间/回波时间2500/60 ms,视野22 cm,矩阵大小320*320,带宽62.5 kHz,回波序列长度60,切片厚度2 mm;
增强型轴向T1WI在通过背部手部或肘部静脉给予标准剂量(0.1 mmol/kg)的钆喷酸葡胺(Beilu)后立即进行,速度约为3–4 mL/s。DWI的b值为0: 1000 sec/mm2,重复时间/回波时间5438/85 ms,视野21 cm,带宽83.3 kHz,回波序列长度16,NEX 1.5,切片厚度3 mm;原始数据使用Functool软件(GE Medical Systems)传输到工作站(Advantage workstation 4.6)以计算并生成b值为1000和表观扩散系数(ADC)的图像。

图像到图像的转换模型
GAN通常由两个组件组成:生成器和鉴别器,两者都是参与竞争学习过程的神经网络。生成器接收源数据并训练生成类似于真实目标数据的合成(伪造)目标数据。同时,鉴别器被训练区分真实目标数据和合成伪造数据。通过这种对抗过程,生成器提高了生成越来越逼真合成数据的能力,而鉴别器则变得更擅长区分真实数据和生成数据。端到端CycleGAN模型[13]被引入作为通过促进两种成像模式之间的相互转换来合成虚拟MR图像的基本框架。CycleGAN通过两个转换周期实现这一点。在第一个周期中,原始模式转换为目标模式再转换回原始模式,分别由两个生成器网络SynS→T和SynT→S处理。在第二个周期中,目标模式转换回原始模式然后再转换回目标模式,使用相同的生成器网络SynT→S和SynS→T。重要的是,两个周期使用相同的生成器,保持转换过程的一致性。此外,还训练了两个鉴别器网络DisT和DisS来区分合成模式和真实模式。在训练阶段,生成器和鉴别器网络之间的对抗训练增强了合成图像的质量,使其更加准确和逼真。我们使用Intel(R) Xeon(R) Gold 6128 CPU @ 3.40 GHz和NVIDIA A10 GPU(24 GB VRAM)来训练模型。在本研究中,原始模式是T2WI,目标模式包括DWI(b值分别为0和1000)和ADC图像。为了提高合成图像的质量并使其更接近真实图像,模型采用了带有注意力残差块的增强型U-Net架构作为生成器的核心组件。

S1方法提供了关于生成器和鉴别器的网络结构、使用的总损失函数、模型训练参数以及用于模型实现的软件和硬件环境的详细信息(S1图和S2图)。

合成图像的评估
对于定量评估,我们使用均方误差(MSE)和峰值信噪比(PSNR)指标来评估合成图像的质量。MSE衡量合成图像和原始MRI图像之间的像素级相似性,较低的值表示更高的保真度(理想的重建MSE < 80)。PSNR补充了这一指标,值大于30 dB表明重建质量高。对于定性评估,从每个模式(在测试集中)随机选择50张图像(25张真实图像和25张合成图像),分配给两位神经放射科医生(W.R.和Z.Y.,分别具有10年和12年的MR经验)。两位放射科医生对图像的性质不知情,并独立判断每张图像是真实的还是合成的。此外,两位神经放射科医生使用以下评分标准对真实图像和合成图像进行评分。整体图像质量评分从1到4,1表示质量差,2表示质量中等,3表示质量好,4表示质量优秀。诊断信心使用四点评分标准进行评估:得分为1表示任何病理学评估不足;得分为2表示可能检测到病变但怀疑度中等;得分为3表示检测到病变且怀疑度较高;得分为4表示检测到病变且怀疑度非常高 [14]。

合成图像在临床实践中的价值
我们评估了合成图像在预测肿瘤一致性方面的效用。在每个参与中心,首席外科医生在手术过程中评估并记录了肿瘤的质地,并在手术笔记中使用了文献中建立的分类方法 [15]。肿瘤被分为软性(主要适合吸除)或纤维性(抵抗吸除,需要用剪刀或其他机械技术进行锐利切割)。然后,两位研究人员(S.Y.和W.R.)使用itk-snap工具根据增强型T1WI对肿瘤进行标记。这些分割的评分者间可靠性非常好,如高Dice相似系数所示(T2加权图像:0.951;ADC图:0.881)。随后,从每种MR模式(T2WI、DWI b=0、DWI b=1000和ADC)的肿瘤区域提取了总共526个特征,分为四类:13个形状特征、18个强度特征、39个纹理特征和456个小波特征。这种特征提取是使用基于MATLAB的放射组学特征提取包[16]进行的。为了防止特征选择过程中的潜在信息泄露,数据集首先以2:1的比例分为训练集和独立测试集(101作为训练集,51作为独立测试集)。所有特征选择程序仅在训练数据上进行,直到最终模型评估阶段才访问独立测试集。采用了一种基于训练集的两阶段特征选择策略。首先,应用了一种基于稀疏表示的特征排名方法[17],根据特征的区分重要性对特征进行排序。随后,使用顺序向前选择程序来确定最优特征子集。在这个向前选择过程中,嵌入了一个内部稀疏表示分类器,使用训练集上的10折交叉验证来评估候选特征子集。交叉验证的分类性能被用作选择最终特征子集的标准。在特征排名或选择的任何阶段,都没有使用来自独立测试集的信息。在确定最优特征子集后(见S3图),使用仅选定的特征在训练集上训练了一个多层感知器分类器,然后在独立测试集上对其进行评估。模型的性能使用了几种指标进行评估,包括准确性、敏感性、特异性、接收者操作特征(ROC)曲线和ROC曲线下面积(AUC)。这些指标被用来评估模型在独立测试集以及外部中心病例中的性能。预测的肿瘤一致性进一步与手术方法、结果和并发症进行了关联。完全切除(GTR)被定义为术后增强T1加权成像中无残留肿瘤。严重的术后并发症包括颅内出血、主要血管损伤、缺血性中风、颅神经麻痹、颅内感染、术后脑积水、脑脊液泄漏、计划外重新手术、意识评分下降或死亡。使用Wilcoxon符号秩检验比较了真实图像和合成图像之间的质量。计算并比较了每种MRI模式的AUC(例如,合成DWI与原始T2WI)以确定统计显著性。此外,我们还进行了无类别净重分类指数(NRI)和综合判别改进(IDI)分析,以进一步验证我们的发现。使用DeLong的检验评估了AUC之间的差异。双侧P值<.05被认为具有统计显著性。统计分析由具有统计学位和六年经验的N.Q.使用R软件(版本3.2.0,www.r-project.org)进行。结果:研究样本共有152名患者(88名男性),分为训练集(n=101)和独立测试集(n=51)。几乎一半被诊断为巨大垂体腺瘤,为模型训练提供了足够的成像区域。在参与者中,64人被分类为纤维瘤,而88人有软肿瘤。此外,还有69名来自三个外部中心的患者被纳入外部验证队列。研究流程图如图1所示,详细的人口统计和临床信息总结在表1中。下载:PNG更大图像TIFF原始图像表1. 研究队列的临床特征。https://doi.org/10.1371/journal.pdig.0001407.t001 合成MRI的定量评估 该模型生成的合成图像在外观上与真实图像非常相似。图3A和3B展示了纤维瘤和软肿瘤的例子,其中纤维瘤显示出更高的纤维组织密度,这一点通过Masson三色染色得到了证实。下载:PNG更大图像TIFF原始图像图3. 垂体腺瘤患者的T2WI、病理图像、真实情况和合成图像。(A) 软肿瘤的例子:Masson三色染色显示肿瘤组织丰富,纤维组织很少(蓝色)。(B) 纤维肿瘤的例子:Masson三色染色显示纤维组织丰富(蓝色)。放大倍数:×100。DWI=扩散加权成像;ADC=表观扩散系数;T2WI=T2加权图像。磁共振图像在灰度值根据窗口宽度和窗口级别设置统一规范化到0-255的范围后显示。https://doi.org/10.1371/journal.pdig.0001407.g003表2总结了独立测试集中合成图像的定量结果。将T2WI图像转换为DWI时,b=0和ADC或DWI b=1000的MSE始终低于70,表明跨模态的转换是准确的。此外,DWI b=0和ADC图像的PSNR值均超过30 dB,进一步反映了模型在生成高保真合成图像方面的强大性能。下载:PNG更大图像TIFF原始图像表2. 合成图像的相似性结果。https://doi.org/10.1371/journal.pdig.0001407.t002 合成MRI的定性评估 在盲测中,我们从每种模式(在独立测试集中)随机选择了50张图像(25张真实图像和25张合成图像),以评估两位经验丰富的神经放射科医生区分它们的能力。结果表明,放射科医生倾向于将图像标记为真实的。确定合成图像的读者间一致性(类内相关系数,ICC)为0.85(95% CI:0.73–0.92)。在真实图像中,16.7%(IQR:14.0%–19.0%)被错误地识别为合成图像。同样,在合成图像中,只有19.3%(IQR:16.3%–20.0%)被正确地识别为合成图像(P=0.571,表3)。两位神经放射科医生在分类合成图像方面的表现如下:神经放射科医生1的准确率为0.487,敏感性为0.173,特异性为0.800;神经放射科医生2的准确率为0.520,敏感性为0.200,特异性为0.840。下载:PNG更大图像TIFF原始图像表3. 两位放射科医生对“真实或伪造”测试的混淆矩阵。https://doi.org/0001407.t003使用评分量表,两位放射科医生对几乎所有合成图像的整体图像质量都给出了3或4分。合成图像的整体图像质量不逊于真实图像(图4;平均评分,2.96±0.71 vs. 3.12±0.44;P=0.051)。同样,合成图像的诊断信心评分也与真实图像相当(平均评分,3.19±0.43 vs. 3.26±0.67;P=0.168),表明合成图像提供了相当的诊断效用。下载:PNG更大图像TIFF原始图像图4. 两位神经放射科医生对整体图像质量和诊断信心的评分分布。https://doi.org/10.1371/journal.pdig.0001407.g004下载:PNG更大图像TIFF原始图像图5. 每种成像模式的接收者操作特征(ROC)曲线及其对应的曲线下面积(AUC)值,包括真实图像和合成图像,在预测肿瘤一致性方面的表现。https://doi.org/10.1371/journal.pdig.0001407.g005每个案例的端到端处理时间平均为0.25秒,显著快于真实扫描所需的平均时间(超过一分钟)。下载:PNG更大图像TIFF原始图像图6. 肿瘤一致性与手术方法、结果和风险的相关性。TC=经颅;TS=经蝶窦。https://doi.org/10.1371/journal.pdig.0001407.g006 在独立测试集中,使用T2WI预测肿瘤一致性的AUC为0.61(95% CI:0.45–0.79)。使用合成DWI b=0、ADC和DWI b=1000预测肿瘤一致性的AUC分别为0.77、0.79和0.70。当我们结合所有三种合成图像的特征时,预测性能提高到0.84。这些值与使用真实DWI关联图像获得的值相当。值得注意的是,与传统的T2WI相比,使用合成图像显著提高了预测准确性(P=0.039;表4)。使用所有合成图像的组合特征进行预测的NRI为0.61(95% CI:0.29–0.92,P<0.01),相应的IDI为0.33(95% CI:0.17–0.48,P<0.01)。选定的特征及其重要性排名在S3图中展示。下载:PNG更大图像TIFF原始图像表4. 合成图像在预测肿瘤一致性方面的临床效用。https://doi.org/10.1371/journal.pdig.0001407.t004在外部队列中,使用合成DWI b=0、ADC和DWI b=1000预测肿瘤一致性的准确率分别为0.75、0.73和0.73。结合所有三种合成图像的特征获得的AUC为0.81。这个结果显著高于仅使用真实T2WI获得的准确率(0.59,95% CI:0.43–0.75,P=0.040;表4)。使用所有合成图像的组合特征的NRI为0.33(95% CI:-0.06 - 0.72,P=0.101),与真实T2WI相比,相应的IDI为0.21(95% CI:0.07 - 0.35,P=0.01)。校准曲线(S4图和S5图)和决策曲线(S6图和S7图)在补充材料中展示。关于手术结果的预测,训练队列的分析显示,对于预测为纤维瘤的患者,外科医生更倾向于采用经颅或联合方法,而不是传统的经蝶窦方法(P=0.010)。预测为纤维瘤的患者肿瘤切除率较低(43.5%),而软肿瘤患者为64.2%(P=0.028)。此外,纤维瘤患者出现严重并发症的比例更高(28.3%,P=0.019)。在外部队列中也观察到了类似的结果差异,进一步验证了这些发现(图6)。多变量分析,调整了手术史、肿瘤大小、海绵窦侵犯和鞍上侵犯等因素,表明肿瘤一致性是这些结果的独立风险因素(表5)。下载:PNG更大图像TIFF原始图像表5. 多变量分析。https://doi.org/10.1371/journal.pdig.0001407.t005 在这项研究中,我们引入了一种基于GAN的图像合成方法,使用传统的MR图像作为模型训练的参考,生成合成DWI关联图像。合成图像不仅在外观上与真实图像非常相似,而且还显示出潜在的临床价值。具体来说,合成图像在预测肿瘤一致性方面有效,并且与手术方法、结果和并发症显示出相关性。这些发现表明,图像到图像的转换技术可能提供超出传统成像的额外诊断和预后效用。先前的研究已经调查了成像特征与垂体腺瘤的生物学特征之间的关系。虽然增强T1加权成像(T1WI)显示较硬的腺瘤通常表现出更异质的增强模式,但其诊断准确性仍然较低[18]。DWI通过测量组织中水分子的布朗运动并使用ADC对其进行量化,在术前评估中显示出显著潜力。从ADC图像中获得的纹理特征在区分软肿瘤和硬肿瘤方面特别有效,报告的准确率在80–90%之间[6–9]。此外,Spearman分析揭示了ADC比率与肿瘤胶原含量之间的显著相关性,表明DWI在评估肿瘤一致性和胶原组成方面的效用[7,8]。此外,其他成像模式,如增强FIESTA[19]和MR弹性成像[20,21],可能提供比传统MR序列更详细的垂体腺瘤组织信息,从而可能改善预后预测并辅助手术计划。然而,尽管这些先进的MR技术具有明显的临床益处,但它们在初始患者评估中的常规应用仍然有限,这可能会影响术前决策。现代技术使用合成成像已经在其他疾病中得到探索,显示出其在增强临床决策方面的潜力。例如,基于GAN的图像到图像转换技术已被用于从标准MR扫描生成准确的合成脑体积图,显著帮助了脑肿瘤的临床评估[11]。基于AI的模型也被证明可以生成与真实PET图像高度相关的合成甲硫氨酸PET图像,有效支持胶质瘤分级和预后预测[12]。同样,基于深度学习的MR重建缩短了检查时间并提高了图像质量,与标准MR图像相比保持了诊断信心[13]。这些合成图像不仅与真实图像非常相似,还提供了有价值的临床见解。术前预测肿瘤一致性不仅帮助患者选择专业的治疗中心,还使外科医生能够相应地定制手术方法。在软肿瘤组中,GTR率显著高于纤维瘤组。我们在使用合成MR图像的外部队列中的发现与这些观察结果一致,加强了其潜在的临床效用。总体而言,这些结果表明,从标准MR图像合成图像可以提供一种实用且高效的诊断决策工具。在未来的研究中,合成MR图像可能有助于评估肿瘤代谢甚至肿瘤微环境。这项研究有几个局限性。首先,没有从外部中心获取真实的DWI数据,这限制了比较合成图像与这些机构真实图像之间的相似性的能力。然而,这一限制突显了我们合成图像的潜在效用,因为它们可以在缺乏先进成像技术的中心作为诊断补充。此外,合成图像在预测这些外部中心的肿瘤一致性方面表现出价值。其次,肿瘤一致性被视为通过平均肿瘤内的值来处理的均匀特征,而实际上,肿瘤一致性在单个肿瘤内部可能会有所不同。这一假设可能影响了合成图在预测手术结果方面的准确性。第三,虽然我们观察到成像特征与肿瘤一致性之间存在强相关性,但潜在的生物学机制尚未得到彻底研究。有假设认为,传统的T2加权成像和DWI扫描都反映了基质内容(正如我们在Masson染色中所展示的),这可能解释了为什么我们的AI模型能够生成与标准MR扫描中的真实图像非常相似的合成图像。最终,尽管存在领域偏移(表现为不同中心间纤维性肿瘤一致性的差异),该模型在预测肿瘤一致性方面仍表现出稳健的性能。然而,我们承认潜在的供应商或协议特定偏差可能会限制其更广泛的普适性。总之,我们的研究证明了基于GAN的图像合成方法的诊断准确性和临床价值。该技术能够精确预测肿瘤一致性,并有潜力指导外科决策。有必要进一步研究以探索该技术在转化其他对垂体腺瘤患者具有临床价值的成像模式方面的更广泛应用。支持信息 参考文献
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号