基于深度学习的定量光谱光声成像技术,用于图像分割和血氧饱和度估计

《Ultrasonics》:Deep learning-driven quantitative spectroscopic photoacoustic imaging for segmentation and oxygen saturation estimation

【字体: 大 中 小 】 时间:2026年04月29日 来源:Ultrasonics 4.1

编辑推荐:

  上瑞波|西达达塔·詹迪亚拉|吴玉佳|凯文·霍弗-霍尔利克|奥斯汀·范·纳门|马修·奥唐奈|杰弗里·P·卢克 达特茅斯学院泰瑟工程学院,汉诺威,新罕布什尔州03755,美国 摘要 光谱光声(sPA)成像技术有潜力实现体内无创地估计血液氧饱和度(sO2)。然而,要获得定

  上瑞波|西达达塔·詹迪亚拉|吴玉佳|凯文·霍弗-霍尔利克|奥斯汀·范·纳门|马修·奥唐奈|杰弗里·P·卢克
达特茅斯学院泰瑟工程学院,汉诺威,新罕布什尔州03755,美国

摘要
光谱光声(sPA)成像技术有潜力实现体内无创地估计血液氧饱和度(sO2)。然而,要获得定量准确的结果,需要精确的光学能量密度估计。在异质组织中,不同波长的光会经历显著的吸收和散射,因此进行稳健的建模非常困难。在这项工作中,我们开发了一个深度神经网络(Hybrid-Net)用于sPA成像,以同时估计血管中的sO2并将其与周围背景组织分离。仅在Hybrid-Net分离出的血管中,sO2的误差被最小化,从而实现了更准确的预测。Hybrid-Net首先在模拟的sPA数据(700 nm和850 nm波长)上进行了训练,这些数据代表了基于三维蒙特卡洛模拟的光传输在乳腺组织中的初始压力分布。随后,为了实验验证,该网络在从模拟具有嵌入式血液池的简单组织模型中获得的实验sPA数据(700 nm和850 nm波长)上重新进行了训练。定量测量结果显示,在不同噪声水平(0 dB-35 dB)下,Hybrid-Net的平均分割准确率≥0.978,在实验中为0.999;平均sO2均方误差在不同噪声水平下分别为≤0.048(模拟)和0.002(实验)。总体而言,这些结果表明Hybrid-Net可以在不估计光学能量密度的情况下提供准确的血液氧饱和度测量,这项研究可能有助于改进体内sO2的估计方法。

1. 引言
光声(PA)成像使用短激光脉冲照射生物组织,局部吸收体捕获的光会产生声波[1],[2]。然后通过超声(US)换能器阵列检测到传播的声波,并从收集的通道数据重建PA图像[3],[4]。在PA图像重建过程中,利用声波到达源的时间(称为声学逆问题)从通道数据中映射出初始压力;同时,从重建的初始压力图像和估计的光学能量密度分布重建光学吸收系数图像(称为光学逆问题)[3],[4],[5]。由此产生的图像基于光学吸收提供对比度,但其空间分辨率由声学接收器决定,这使得该方法特别适合可视化组织深处几厘米的血管。
光谱PA(sPA)成像使用可调激光在不同光波长下获取PA图像[6]。大多数内源性色素(如血红蛋白)和外源性造影剂的光学吸收在可见光到近红外光谱范围内有显著变化。因此,在进行能量密度补偿后,可以通过求解一组方程来估计吸收体浓度,这些方程将吸收体浓度、吸收光谱与能量密度补偿后的sPA数据相关联[7],[8]。这种方法称为线性解混(LU)[9],[10],[11],并已应用于成像氧合血红蛋白(HbO2)和脱氧血红蛋白(Hb)。然后可以利用Hb和HbO2的相对浓度来估计整个组织中的血液氧饱和度(sO2)[11],[12],[13],[14]。此外,通过将光谱PA成像与手持式探头中的实时超声成像结合,可以为临床超声添加真正的分子敏感性(即实时PAUS成像)[15]。
对于定量sPA成像,必须知道每个波长的光学能量密度分布才能计算吸收体浓度[6]。然而,局部光学能量密度估计需要传播特性(即光学散射、吸收和散射各向异性),而这些特性通常是未知的[6],[16]。特别是,深层区域的光强度取决于较浅区域的不同组织组成。这种衰减还随光波长而变化,这种现象称为“光谱着色”[6]。因此,血液氧饱和度的测量结果可能会因组织组成和成像深度而产生偏差,从而使得定量变得困难。
深度学习(DL)相比传统算法可以显著提升图像重建的技术水平[17],[18],[19],[20],[21],[22],[23],[24],[25]。特别是,在大型图像数据集上训练的深度卷积神经网络可以通过梯度下降优化每个卷积层的权重来学习重建图像[18]。最近在利用sPA成像定量sO2方面的努力集中在DL上,以抵消光谱着色的影响[26],[27],[28],[29],[30],[31],[32],[33],[34]。例如,提出了两种独立的卷积神经网络,用于从多波长sPA图像中生成血管sO2和血管位置的3D图[32]。还提出了一种用于乳腺3D PA成像的学习图像重建方法,该方法结合了回归和分割损失,并使用加权均方误差作为回归损失,对动脉、静脉、肿瘤和背景区域赋予不同的权重[35],[36]。提出了使用长短期记忆网络进行PA血氧测量,以实现网络输入的波长灵活性,并使用Jensen-Shannon散度来选择最合适的训练数据集[33]。在应用sO2预测时,结合分割非常重要,因为分割图提供了血管位置,而这些位置在体内成像时通常是不可用的;血管位置有助于估计平均血管sO2值(即血管内所有体素的预测sO2值的平均值)[32]。因此,同时提供分割和sO2预测的神经网络能够在不需要预先知道血管位置的情况下计算平均sO2值。原则上,可以为这两项任务(即分割和sO2预测)分别训练两个独立的网络。然而,在这项工作中,我们发现将分割和sO2预测结合在一个神经网络中,使用包含分割和sO2(在分割内)损失的混合损失函数,可以提供更准确的sO2预测。这将在后续章节中详细讨论。
在这里,我们提出了一种基于深度卷积神经网络(Hybrid-Net)的新DL方法,从sPA数据中获取定量sO2。Hybrid-Net从双波长sPA数据中同时估计血管sO2并分离血管。我们并不专注于设计更好的网络架构或预测更多的sO2信息(例如3D sO2图重建),而是展示了如何使用单一的普通U-Net架构进一步提高sO2预测的准确性。我们提出了一种结合分割和sO2的混合损失函数。分割有助于网络专注于最小化血管内sO2预测的损失值,从而提高sO2预测的准确性,同时清晰地可视化血管结构。Hybrid-Net首先在基于三维蒙特卡洛模拟的光传输数据的模拟sPA数据上进行了训练,然后在一个定制的PA成像系统获得的实验sPA数据上也进行了训练和预测,以证明这一想法可以应用于实际系统。结果表明,Hybrid-Net可以在模拟和实验中准确预测血管中的sO2并分离血管与背景。需要注意的是,本工作中提出的混合损失函数与Cam等人的工作类似[35],[36]。然而,我们的工作也提供了独特的贡献,包括不同的测量几何结构、替代损失函数设计的比较分析以及实验验证。

2. 材料与方法
2.1. 血液吸收和组织散射模型
血液被建模为一个具有随机氧饱和度的整体血液吸收体。吸收系数μa是氧合血红蛋白、脱氧血红蛋白和水的线性组合。氧合血红蛋白(μHbo2λ)、脱氧血红蛋白(μHbλ)和水的吸收光谱分别从MCXYZ程序中获得[37]。血液的吸收计算公式为:
μaλ = B?S?μHbo2λ + B?(1-S)?μHbλ + W?μwaterλ,(1)
其中B是血液体积分数(设为1.00,即血管体素中100%的血液含量),S是氧饱和度(模拟中的随机值,介于0和1之间),W是水分数(设为0.95,即95%的水含量)。
reduced scattering系数μ′s使用标准幂律近似模型来表示,该模型结合了米氏散射(来自大颗粒如红细胞)和瑞利散射(小颗粒)[38]。在这项工作中,假设散射主要由米氏散射主导,μ′s的计算公式为:
μ′sλ = μ′s,500 × λ^(-500/nm) - bMie,(2)
其中μ′s,500是500 nm处的 reduced scattering(设为10 cm^-1),bMie是散射幂(设为1.0,表示散射随波长减小而减小)。
各向异性g固定为0.90,散射系数μs从 reduced scattering系数μ′s计算得出,公式为:
μs = μ′s / (1 - g)。

2.2. 模拟数据生成
使用MCXYZ程序[37]生成了模拟sPA数据,如图1(a)所示。构建了一个38 × 38 × 38 mm的体积,包含厚度分别为0.3 mm、4.7 mm和33 mm的表皮、真皮和乳腺组织层。为每种组织类型选择了代表性的光学属性[38],如表1所示。在体积中随机插入了1到3个半径介于0.5到4 mm之间的圆柱体,这些圆柱体以随机方向分布。圆柱体贯穿整个体积。圆柱体内填充了从0%到100%均匀分布中随机选择的sO2的血液。激光束的直径为4 cm。使用两种不同的光波长(700 nm和850 nm)对皮肤表面进行照射。

下载:下载高分辨率图像(487KB)
下载:下载全尺寸图像
图1. 模拟和实验中的数据采集。(a) 来自蒙特卡洛模拟的数据采集。(b) sPA数据采集的实验设置。
表1. 模拟组织的光学属性。
| 组织类型 | 吸收 μa (cm^-1) (700 nm / 850 nm) | 散射 μs (cm^-1) (700 nm / 850 nm) | 散射各向异性 g (700 nm / 850 nm) |
| --- | --- | --- | --- |
| 表皮 | 0.554 | 0.293 | 3.42 | 2.59 | 0.9 / 0.9 |
| 真皮 | 0.016 | 0.036 | 9.45 | 2.31 | 0.9 / 0.9 |
| 乳腺 | 0.043 | 0.057 | 11.96 | 9.02 | 0.9 |
总共进行了4000次模拟(每种波长2000次),每次模拟持续一个半小时,每个模拟体积包含128 × 128 × 128个体素(体素大小为0.3 mm)。最后,从吸收能量体积的中心取一个二维截面作为重建的sPA图像,假设初始压力分布被完美重建以专注于光学问题(一些计算方法在重建初始压力分布方面表现出良好的准确性[39],[40])。sPA图像的顶部50行(图1(a)中的黑色虚线以上)被屏蔽,以去除来自表皮的强信号(模拟的血管都位于第50行以下)。向sPA图像中添加了白色高斯噪声,信噪比(SNR)计算为整个模拟数据集中所有血管的PA信号的平均功率除以添加的噪声的方差。每个血管的PA信号功率计算为血管内的PA信号的平均功率。80%、10%和10%的数据分别随机分配到训练、验证和测试数据集中。

2.3. 实验数据采集和预处理
实验使用如图1(b)所示的定制USPA成像系统进行。该系统包括一个ND: YAG二次谐波泵浦的光参量振荡器(OPO)激光系统(Phocus Mobile HE,Opotek Inc.),其脉冲输出为纳秒级,重复率为10 Hz,以及一个Verasonics Vantage 256 US成像系统,配备线性阵列US换能器(L22-14 V,Verasonics)。该阵列有128个元素,元素间距为0.1 mm,中心频率为15.625 MHz。脉冲激光通过光纤传递到样品,如图1(b)所示。
使用一种定制的透明弹道凝胶模型(Humimic Medical)作为成像样本,其中包含一个模拟血管的血流通道。牛血(Lampire Biological Laboratories)按1:1:0.1的比例与磷酸盐缓冲液(Corning)和内脂(Sigma-Aldrich)混合。通过向血液中通入CO2气体来调节血液的氧含量,并通过通入O2气体来重新氧合血液,如图1(b)所示。血流通道相对于传感器的相对位置被改变,以模拟不同的血管位置。对于每个sO2值和血管位置,使用PA(700纳米和850纳米)和US模式对模型进行成像,并使用Verasonics软件中集成的传统PA和US延迟求和重建方法[41][42][43]进行重建。获取的PA图像作为sPA数据输入到网络中。使用光学反射率探头氧饱和度计进行真实sO2测量,通过手动分割获取的US图像得到真实分割结果。然后,将测量得到的真实sO2值分配给真实分割图像中的像素,以创建真实sO2图像。总共获得了410对具有不同sO2值和血管位置的sPA图像对(每对图像包括两个在700纳米和850纳米下延迟求和重建的PA图像)。其中328对(80%)被用作原始训练数据集,41对(10%)被用作验证数据集,41对(10%)被用作测试数据集。通过对原始的328个训练sPA信号应用数据增强,包括随机旋转、空间平移和翻转,得到了1,640个增强后的训练sPA数据。

2.4. Hybrid-Net架构
Hybrid-Net基于广泛使用的U-Net架构[44],该架构具有编码器-解码器结构,并在收缩路径和扩展路径之间有跳跃连接,已被证明在生物医学图像分割或其他输出类似于输入的任务中有效[45]。Hybrid-Net的架构如图2(c)所示。

下载:下载高分辨率图像(375KB)
下载:下载全尺寸图像

图2. Hybrid-Net架构。
(a, b) 700纳米和850纳米的sPA图像作为网络输入。
(c) 基于U-Net的Hybrid-Net架构。
(d) 预测的分割图像,其中1表示动脉像素,0表示背景像素。
(e) 预测的sO2图像(中间结果),1表示完全氧合。
(f) 最终的sO2图像((d)和(e)的乘积)。
(g, h) 真实分割和sO2图像。

通常使用指数线性单元(ELU)激活函数,除了最后一层,该层应用了Sigmoid函数来预测分割和sO2图像。尽管Sigmoid激活函数通常用于分类问题,但在这里是合适的,因为输出的分割和sO2的值都在0到1之间:对于分割图像,1表示血管中的像素,0表示背景中的像素;对于sO2值,1表示完全氧合。在每个卷积层之前(第一个卷积层除外)添加了丢弃率为0.1的丢弃层,以避免训练过程中的过拟合[46]。在每个卷积层之后(激活层之前)添加了BatchNorm层,以稳定网络并提高网络收敛性[47]。网络输入包括如图2(a)和(b)所示的128×128像素的700纳米和850纳米sPA图像对。网络架构的详细设计以表格形式显示在补充表1中。

如2.2节所述,我们假设初始压力分布被完美重建,以专注于光学问题。其他计算方法在重建初始压力分布方面也展示了良好的准确性,并且可以很容易地与Hybrid-Net结合使用[39][40]。输出是一对128×128的图像,如图2(d)和(e)所示。第一张图像(图2(d))是血管的预测分割图像。注意,直接从Hybrid-Net得到的预测分割图像应用了0.5的阈值。也就是说,在最终的预测分割图像中,任何大于0.5的像素值被设置为1,其他所有值被设置为0。第二张图像(图2(e))是整个组织中预测的中间sO2图。与其他联合估计网络[48]类似,为此应用了一个混合损失度量,如公式(3)所示:
hybridloss = 0.5 * DiceSegpred + 0.5 * (MSEseg + Seggt * sO2pred * Seggt),
其中Segpred是预测的分割图像,Seggt是真实分割图像,sO2pred是预测的sO2图像,sO2gt是真实的sO2图像,Dice表示基于S?rensen-Dice相似系数来衡量两个分割图像之间重叠的Dice损失函数[49],MSEseg表示真实分割图像内的均方误差。Dice分割还与MSE、Focal[50]和Binary Crossentropy[51]分割函数进行了比较,结果显示在3.1节中。

在公式(3)中,sO2的均方误差仅在血管内最小化(由真实分割图像分割)。因此,分割为神经网络提供了一种关注机制,使其仅在分割区域内进行预测sO2和真实值之间的局部最小化。虽然这种方法必然会导致背景组织氧合估计的较大误差,但这些误差被伴随的血管分割图像所忽略。相比之下,对于没有分割预测的神经网络,会在整个视野范围内对预测的sO2和真实值进行全局最小化。原则上,分割区域内的局部最小化比全局最小化更准确和高效。选择Dice损失函数进行分割,因为它是针对不平衡问题的最有效的损失函数之一;选择MSE损失函数用于sO2,因为它是量化网络输出和真实值之间差异的最常见损失函数之一。在这项工作中,两种损失(sO2和分割)被平等加权。可以根据不同的数据集和任务应用自适应加权。因此,最终显示在图2(f)中的sO2图像是分割图像(图2(d))和中间sO2图像(图2(e))的乘积。

训练中的超参数是根据之前的出版物[48]选择的。使用了Adam优化器,学习率为0.0005。卷积层的核初始化器为‘he_normal’[52]。网络以32的批量大小进行训练(在训练速度、过拟合和抗波动之间取得平衡),最大训练周期数为1,000,以确保完全训练。应用了提前停止标准,当验证损失值在连续50个周期内不再下降时,训练将结束,并会回顾性地获取具有最低验证损失的最优权重。所有训练都在配备11GB内存的NVIDIA GeForce GTX 1080 Ti GPU上完成。训练时间大约需要一个小时。这些训练超参数显示在补充表2中。Hybrid-Net和MSE-Net的网络训练参数数量和FLOPs也显示在补充表2中,两者是相似的。

为了评估仅最小化分割血管内sO2误差的混合损失函数的性能,还训练了另一个神经网络MSE-Net,并将其与Hybrid-Net进行了比较。在MSE-Net中,一切(包括训练参数)都与Hybrid-Net相同,除了它只有一个用于sO2预测的输出通道(即没有分割通道)。MSE-Net的损失函数如公式(4)所示,用于优化整个视野内的sO2:
loss = MSE(sO2pred, sO2gt)。

2.5. 传统线性解混方法
Hybrid-Net的预测结果也与传统线性解混的结果进行了比较,其中sO2图可以通过线性解混方法从sPA图像中获得。假设所有组织只包含两种光学吸收剂——HbO2和Hb——其吸收光谱是已知的[38]。原则上,血液的光学吸收系数可以表示为HbO2和Hb的浓度和纯光谱的线性组合。然后,假设每个像素中的PA信号与这两个组分的加权和成正比:
PAλ = μHbO2λ * CHbO2 + μHbλ * CHb,
其中λ是光学波长,μ是HbO2或Hb的光学吸收系数,C是HbO2或Hb的浓度。在使用不同波长(本文中为700纳米和850纳米)获取两张PA图像后,公式(5)变成一个有两个方程和两个未知数(CHbO2和CHb)的系统,如公式(6)所示:
PA700(i) + PA850(i) = μHbO2700 * CHbO2(i) + μHb700 * CHb850 * μHb850 * CHbO2(i),
其中i是图像的像素编号,其他参数与公式(5)相同。

我们使用非负线性最小二乘法解决了公式(6)。然后,计算每个像素i中的sO2为:
SO2i = CHbO2(i) / (CHbO2(i) + CHbi)。
请注意,线性解混方法没有考虑深度和波长依赖的光学通量变化,而这些变化是由Hybrid-Net隐式学习的。因此,这种比较展示了深度学习方法如何适应组织中的未知通量分布。

3. 结果
3.1. 仿真结果
图3显示了模拟测试数据集中两个代表性图像的Hybrid-Net预测结果。700纳米和850纳米的sPA图像分别显示在图3(a)和(e)中作为网络输入。在sPA图像中添加了白高斯噪声,以获得30 dB的信噪比(SNR)。真实分割和sO2图像显示在图3(b)和(f)中。Hybrid-Net的预测sO2图像及其对应的误差显示在图3(c)和(g)中,预测的分割图像及其对应的误差显示在图3(d)和(h)中。分割误差是真实分割和预测分割之间的绝对差异。请注意,图3(c)和(g)中的Hybrid-Net sO2图像是预测的(中间)sO2图像和预测的分割图像的乘积,如图2所示。为了比较,MSE-Net和LU的重建sO2图像及其对应的误差也显示在图3(c)和(g)中。请注意,LU的结果仅在分割区域内显示,以便直接与Hybrid-Net和MSE-Net的结果进行比较;sO2误差图像仅在所有三种方法的真实分割区域内显示,以便公平比较误差。

下载:下载高分辨率图像(544KB)
下载:下载全尺寸图像

图3. 测试数据集中两个样本的仿真结果。
(a) 700纳米和850纳米下具有30 dB SNR的模拟sPA图像作为网络输入。
(b) 真实sO2和分割图像。
(c) Hybrid-Net、MSE-Net和LU的sO2重建结果及其对应的误差。
(d) Hybrid-Net的预测分割结果及其对应的误差。
(e-h) 与(a-d)相同,只是样本不同。

从图3(c)和(g)中的sO2误差图可以看出,Hybrid-Net在sO2图像重建和分割预测方面优于MSE-Net和LU,Hybrid-Net的分割预测几乎完美,分割误差图中的非零像素很少。Hybrid-Net优于MSE-Net的性能验证了仅在分割血管内最小化sO2的混合损失可以导致更准确的sO2预测。此外,即使考虑了光谱着色的总体趋势(例如,通过估计光学通量[7]),额外的噪声(PA成像通常在深层组织中受到低SNR的影响)也会使LU的估计变得非常不可预测。在补充图1中展示了测试数据集中另外两个代表性图像的预测结果,进一步证明了Hybrid-Net优于MSE-Net和LU。

为了测试Hybrid-Net在噪声网络输入下的sO2预测性能,分析了具有不同SNR值(35、30、25、20、15、10、5和0 dB)的sPA图像。如2.2节所述,SNR定义为整个模拟数据集中所有血管的PA信号的平均功率除以添加的噪声的方差。因此,给定SNR水平(例如,35、30、25、20、15、10、5或0 dB),可以计算添加的噪声的方差,并将随机噪声添加到模拟数据集的每个图像样本中,噪声水平为计算出的方差。在这种情况下,模拟数据集每个图像样本中的噪声水平是相同的。然而,由于每个图像样本中血管的PA信号功率不同,每个单独图像样本的SNR仍然不同。为了测试每个噪声水平的影响,每个模型仅使用具有特定信噪比(SNR)值的数据进行训练。测试数据集中一个代表性图像的结果显示在图4中,其中局部回归(LU)的结果仅在分割区域内显示,以便直接与混合网络(Hybrid-Net)和均方误差网络(MSE-Net)的结果进行比较;对于所有三种方法,sO2误差图像也仅在真实分割区域内显示,以便公平地比较误差。下载:下载高分辨率图像(783KB)下载:下载全尺寸图像

图4. 测试数据集中一个样本在不同噪声(SNR)水平下的仿真结果。(a) 真实sO2图像。(b) 在700纳米和850纳米波长下,作为网络输入的模拟sPA图像,具有不同的噪声(SNR)水平。(c) 混合网络(Hybrid-Net)、均方误差网络(MSE-Net)和局部回归(LU)的sO2重建结果及相应的误差。

图4(a)中显示了真实的sO2图像。图4(b)展示了在700纳米和850纳米波长下,具有35、25、15和5分贝SNR的sPA图像。随着噪声的增加(SNR的降低),来自血管的PA信号与背景的对比度降低。图4(c)显示了混合网络(Hybrid-Net)、均方误差网络(MSE-Net)和局部回归(LU)的重建sO2图像及其相应的误差。随着噪声水平的增加(SNR的降低),混合网络(Hybrid-Net)和均方误差网络(MSE-Net)的性能下降,但它们对sO2值的预测仍然相对准确。如图4(c)所示,在所有四种噪声水平下,混合网络(Hybrid-Net)的性能都优于均方误差网络(MSE-Net),sO2误差更小。此外,混合网络(Hybrid-Net)和均方误差网络(MSE-Net)的表现都远优于局部回归(LU)。局部回归(LU)在所有噪声水平下的性能变化不大。这可能是由于光谱着色导致的高基线误差所致。因此,从定性上讲,混合网络(Hybrid-Net)在不同噪声水平下比均方误差网络(MSE-Net)和局部回归(LU)更抗噪声。

图5展示了混合网络(Hybrid-Net)和均方误差网络(MSE-Net)的性能的定量分析。由于局部回归(LU)在图4中显示的sO2重建不够准确,因此在这里没有对其进行分析。图5(a)显示了在整个测试数据集中,混合网络(Hybrid-Net)在不同噪声水平下的平均假阳性率、假阴性率、准确率、Dice值和第95百分位Hausdorff距离(HD95)[53]。HD95是一种与Hausdorff距离相关的距离度量,用于衡量预测分割与真实分割之间的最小距离的最大值,该值位于第95百分位[53]。总体而言,结果显示混合网络(Hybrid-Net)的分割预测对不同噪声水平具有抵抗力,假阳性和假阴性率较低,HD95较低,准确率和Dice值较高。也可以看出,随着噪声水平的增加,混合网络(Hybrid-Net)的分割性能会下降。这是合理的,因为随着噪声水平的增加,血管与背景的区分度降低,导致假阳性和假阴性率增加。值得注意的是,假阴性率高于假阳性率,因为大多数像素属于背景。图5(b)和(c)分别展示了混合网络(Hybrid-Net)和均方误差网络(MSE-Net)在真实分割出的血管区域内的sO2性能,其中混合网络(Hybrid-Net)在每个SNR水平下的sO2 MSE和MAE都较低。图5(d)显示了在每个SNR水平下,混合网络(Hybrid-Net)和均方误差网络(MSE-Net)之间的sO2 MSE和MAE的统计测试结果(包括h值、p值、95%置信区间和效应大小)。此外,还进行了sO2拟合。每个血管的平均预测sO2值是通过计算该血管的预测sO2值得出的,然后使用整个测试数据集中的预测sO2值和相应的真实sO2值进行线性拟合y = αx,其中x表示真实sO2值,y表示预测sO2值,α表示斜率。最后,计算了混合网络(Hybrid-Net)和均方误差网络(MSE-Net)在每个SNR水平下的sO2拟合斜率和R2(决定系数),并显示在图5(d)中。当sO2拟合斜率和R2接近1时,预测结果更好。显然,根据定量和统计结果,混合网络(Hybrid-Net)和均方误差网络(MSE-Net)的sO2预测对不同噪声水平都具有抵抗力,且混合网络(Hybrid-Net)在每个噪声水平上的表现都优于均方误差网络(MSE-Net)。

下载:下载高分辨率图像(389KB)下载:下载全尺寸图像

图5. 对模拟测试数据集中混合网络(Hybrid-Net)和均方误差网络(MSE-Net)性能的定量分析。(a) 在整个模拟测试数据集中,混合网络(Hybrid-Net)预测分割的平均假阳性率、假阴性率、准确率、Dice值和HD95。(b) 在整个模拟测试数据集中,混合网络(Hybrid-Net)和均方误差网络(MSE-Net)预测sO2的平均MSE。(c) 在整个模拟测试数据集中,混合网络(Hybrid-Net)和均方误差网络(MSE-Net)预测sO2的平均MAE。(d) 在整个模拟测试数据集中,混合网络(Hybrid-Net)和均方误差网络(MSE-Net)的sO2拟合斜率和R2。误差条表示结果的标准偏差。

如第2.4节所述,还比较了Dice分割损失函数与MSE、Focal和Binary Crossentropy分割损失函数在10分贝和35分贝SNR情况下的表现,结果显示在补充图2中。在补充图2(a-c)中(分割准确率、Dice值和HD95),这4种分割损失函数的表现几乎相同,只是在10分贝SNR情况下Dice损失函数的表现略好,分割Dice值更高。在补充图2(d-f)中,MSE损失函数在sO2 MSE和MAE方面的表现略好,但差异可以忽略不计;而在10分贝SNR情况下,Dice损失函数在sO2拟合R2方面的表现略好。此外,不同分割损失函数(即Dice与MSE、Dice与Focal以及Dice与Binary Crossentropy)在10分贝和35分贝SNR情况下的统计测试结果(包括h值、p值、95%置信区间和效应大小)显示在补充表4中。需要注意的是,在35分贝SNR情况下,分割HD95的h值和p值为NaN,这是因为两个测试组(即Dice与MSE、Dice与Focal或Dice与Binary Crossentropy)是相同的。补充图2和补充表4中的结果都表明,分割损失函数的选择对预测结果的影响很小。

3.2 实验结果

图6展示了混合网络(Hybrid-Net)、均方误差网络(MSE-Net)和局部回归(LU)在实验测试数据集中两个样本的结果。图6(a)和(e)显示了作为网络输入的700纳米和850纳米波长的sPA图像(‘血管’的sPA信号由黑色虚线椭圆标记)。图6(e)中sPA图像中的水平线由白色虚线箭头标出,这些是超声波传输反射产生的伪影。图6(b)和(f)显示了两个样本的真实sO2和分割图像。图6(c)和(g)显示了混合网络(Hybrid-Net)、均方误差网络(MSE-Net)和局部回归(LU)的预测(重建)sO2图像及其相应的误差。同样,如上面的模拟所示,局部回归(LU)的结果仅在分割区域内显示,以便与混合网络(Hybrid-Net)和均方误差网络(MSE-Net)的结果进行比较;对于所有三种方法,sO2误差图像也仅在真实分割区域内显示,以便公平地比较误差。图6(d)和(h)显示了混合网络(Hybrid-Net)对这两个样本的预测分割结果。

从定性上讲,混合网络(Hybrid-Net)在sO2图像重建方面优于均方误差网络(MSE-Net)和局部回归(LU),混合网络(Hybrid-Net)的分割预测几乎完美,分割误差图中只有少数非零像素。这一实验验证了混合损失函数(仅在分割出的血管内最小化sO2)能够得到更准确的sO2预测。与模拟结果类似,深度学习方法(混合网络(Hybrid-Net)和均方误差网络(MSE-Net)也优于传统的局部回归(LU)方法。

还从分割准确率、Dice值和HD95,以及sO2 MSE、MAE和拟合斜率及R2等方面对混合网络(Hybrid-Net)、均方误差网络(MSE-Net)和局部回归(LU)的性能进行了定量评估,结果显示在补充表5中。sO2拟合使用与模拟中相同的方法进行。此外,混合网络(Hybrid-Net)和均方误差网络(MSE-Net)之间sO2 MSE和MAE的统计测试结果(包括h值、p值、95%置信区间和效应大小)显示在补充表6中。与模拟中的发现类似,混合网络(Hybrid-Net)和均方误差网络(MSE-Net)能够进行相对准确的sO2预测,平均MSE和MAE较小,sO2拟合斜率和R2接近完美;而局部回归(LU)重建的sO2不准确,平均MSE和MAE较大,sO2拟合斜率和R2也不理想。最后,从补充表5和表6中可以看出,混合网络(Hybrid-Net)在平均MSE和MAE方面优于均方误差网络(MSE-Net)和局部回归(LU),sO2拟合斜率和R2也更好。混合网络(Hybrid-Net)的分割预测准确率高,Dice值高,分割HD95也小。

Dice分割损失函数也与MSE、Focal和Binary Crossentropy分割损失函数进行了比较,结果显示在补充图3中。此外,不同分割损失函数(即Dice与MSE、Dice与Focal以及Dice与Binary Crossentropy)之间的分割准确率、Dice值和HD95,以及sO2 MSE和MAE的统计测试结果(包括h值、p值、95%置信区间和效应大小)显示在补充表7中。与模拟中的结论类似,分割损失函数的选择对预测结果的影响很小。

4. 讨论

我们开发了混合网络(Hybrid-Net)来联合预测血管分割和sO2,用于定量PA成像。通过简单的幻影模型进行了模拟和概念验证实验。模拟显示,它可以在广泛的图像SNR范围内准确预测sO2和血管分割。然而,正如预期的那样,随着SNR的降低,定量sO2估计的准确性也会下降。有几种直接的方法可以提高SNR,从而提高sO2的准确性。首先,获取并在每个波长下平均多个PA图像可以提高SNR,但代价是增加采集时间。同样,可以使用更多波长的图像作为额外的网络输入,但这同样会增加采集时间。此外,可以优化用于sPA成像的精确波长,以最大化Hb和HbO2的区分度[8]、[54]。最后,尽管这项工作仅关注光学逆问题,但可以将声学逆问题、血管分割和sO2预测结合到一个网络中,利用本工作中的方法以及[1]、[55]、[56]、[57]、[58]、[59]中关于PA成像中声学反演的深度学习方法的结果。当将声学逆问题与本工作结合时,为了更好地反映实验条件,更合适的做法是在测量域中添加噪声。

混合网络(Hybrid-Net)的一个关键优势是其计算速度快。一旦训练完成,可以在台式计算机上在20毫秒内完成血管分割和sO2估计。因此,该方法可以用于临床应用中的实时血管氧合可视化。在这里,我们使用一个非常简单的概念验证幻影(包含单个血管(管子)和在不同波长下具有相似光学特性的弹道凝胶)初步展示了这项技术。显然,需要使用包含更复杂血管几何形状和异质组织条件的训练和测试数据集进行更具挑战性的实验研究,包括体内研究,以证明该方法的通用性和临床适用性。我们目前正在一个定制的临床sPA系统上实施这一技术,用于检测乳腺癌患者淋巴结中的血管sO2水平,这些患者疑似患有转移性疾病[12],以获取具有更广泛分布、更多对象结构变化、实验条件和采集设置的数据集。我们将在未来的工作中展示结果,以进一步证明该技术的通用性和临床适用性。将深度学习(DL)应用于血管中sO2的估计面临的主要挑战是生成大型数据集。蒙特卡洛模拟是准确估计异质组织中光传播的最常用方法,但这种方法计算量非常大,需要随机模拟数百万个光子包,因此构建大型数据集非常困难。因此,作为我们未来工作的额外组成部分,我们将探讨如何使用较小的数据集有效地训练Hybrid-Net,这些数据集从成像阵列的各个元素开始,同时预测sPA图像、血管分割以及分割血管内的sO2水平。在本文中,仅使用Hybrid-Net解决了光学逆问题;假设可以重建初始压力分布。这在临床应用中并不现实。如果能够开发出可以用来训练深度学习模型的完整系统模拟,那么在缺乏真实数据的实验数据上可以直接使用这些模型。类似的模型已经被开发用于PA图像重建(声学反演)[48]、[60],根据本文中呈现的结果,开发一个结合PA图像重建(声学反演)、血管分割和sO2估计的集成模型是完全合理的。在未来的工作中,我们将探索如何量化Hybrid-Net在模拟实际应用中的预测误差,其中真实的sO2值是未知的(例如,使用贝叶斯卷积神经网络[48]、[61]、[62]、[63]、[64]、[65])。

5. 结论
我们开发了Hybrid-Net,可以从700纳米和850纳米的sPA图像对中联合估计血液sO2并分割血管作为网络输入。在方程(3)中提出了一个混合损失函数,以最小化分割的Dice值和分割血管区域内sO2的MSE值。Hybrid-Net在模拟和实验中都进行了测试,并与使用损失函数(方程(4)的MSE-Net进行了比较,后者旨在最小化整个视野范围内sO2的MSE值。模拟和实验均表明Hybrid-Net的性能优于MSE-Net,这验证了Hybrid-Net仅在分割血管内最小化sO2的损失函数能够产生更准确的sO2预测结果,并且对噪声具有更好的鲁棒性。传统的LU方法也被应用于相同的模拟和实验中,结果表明基于DL的方法(Hybrid-Net和MSE-Net)优于LU方法。总体而言,Hybrid-Net能够在定量PA成像中准确预测血管分割和sO2值。

CRediT作者贡献声明:
尚瑞波:撰写——审阅与编辑、撰写——初稿、可视化、验证、软件、方法论、研究、形式分析、数据管理、概念化。
西达尔塔·詹迪亚拉:撰写——审阅与编辑、撰写——初稿、方法论、研究、形式分析、数据管理。
吴玉佳:撰写——审阅与编辑、撰写——初稿、方法论、研究、数据管理。
凯文·霍弗-霍利克:方法论、研究。
奥斯汀·范纳门:方法论、研究。
马修·奥唐奈:撰写——审阅与编辑、资源管理、方法论、概念化。
杰弗里·P·卢克:撰写——审阅与编辑、监督、资源管理、项目管理、方法论、资金获取、概念化。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号