编辑推荐：
超声应变弹性成像（USE）中位移跟踪是关键，但传统方法存在侧向位移估计不足和临床应用受限的问题。本研究提出基于自监督学习的SMURF-RAFT方法，利用B模式数据训练并实现实时应变估计，结果显示其侧向位移精度与优化方法相当，处理速度提升78%，为临床实时应用提供新思路。
张志伟|麦克斯韦尔·J·基尔南|卡罗尔·C·米切尔|斯蒂芬妮·M·威尔布兰德|罗伯特·J·邓普西|托米·瓦尔格塞
美国威斯康星大学麦迪逊分校电气与计算机工程系
摘要
位移追踪是超声应变弹性成像（USE）的重要组成部分，在过去三十年中提出了多种方法。然而，这些算法在估计横向位移场方面存在局限性，尤其是在体内成像时。此外，大多数临床系统仅输出B模式图像循环，因此需要开发基于B模式信号的位移追踪方法，以扩大USE的临床应用范围。由于无监督深度学习网络（DLN）需要大量的未标记数据集，使用B模式数据可以填补这一空白。在这项研究中，我们探索了自教学多帧无监督递归全对场变换（SMURF）在USE中的应用，该方法利用光流技术，在无监督环境下估计轴向和横向的应变张量。我们使用模拟数据集和B模式实验数据集对RAFT网络进行基础监督训练，并使用B模式实验数据和体内数据集进行SMURF无监督训练。结果表明，经过无监督SMURF训练的RAFT模型在位移和应变估计的准确性和精确度方面与传统基于窗口的方法相当，尤其是在轴向方向上。与其他基于DLN的方法相比，SMURF方法的处理时间也更快，比基于GPU的拉格朗日颈动脉应变成像（LCSI）方法快78%。我们的结果展示了在B模式数据集上使用自监督技术的潜力，为临床研究中的实时拉格朗日USE应用打开了大门。
引言
超声应变弹性成像（USE）于20世纪90年代初引入，现已发展成为大多数临床超声（US）系统中的常用成像模式[1]、[2]、[3]。USE通过追踪局部组织在施加机械力下的位移来实现实时分析，并估计组织硬度——这是检测肿瘤或纤维化等异常的关键指标[4]。然而，临床系统中的实时USE主要限于剪切波成像和变形前后信号之间的欧拉应变估计。拉格朗日应变成像则通过在整个变形周期内相对于初始位置估计组织变形，在心脏和血管成像中具有临床应用价值，但尚未在临床超声系统中实现。
目前的拉格朗日方法计算量较大，限制了其实时应用[5]。传统的USE方法包括基于窗口的方法[3]、[6]和基于优化的方法[7]、[8]。基于窗口的方法使用相似性指标（如归一化互相关（NCC）通过窗口或核在变形前后图像上进行一维（1D）或二维（2D）位移追踪[3]、[6]。基于优化的方法使用正则化代价函数求解位移场，通常与动态规划结合使用[7]、[8]。然而，基于窗口的方法常受去相关性和振幅调制伪影的影响[3]，而基于优化的方法则存在对齐不准确和使用L2范数过度平滑的缺点[9]。
近年来，为USE设计和开发深度学习网络（DLN）取得了显著进展。但这些DLN方法都集中在欧拉应变估计上，例如使用PWC-Net[10]。与粗到细的基于窗口的方法类似[5]、[11]、[12]、[13]，PWC-Net利用粗到细的图像金字塔从不同尺度或层次提取特征。它还使用特征变形将第二幅图像的特征映射到第一幅图像，并使用每个像素与第一幅图像的相关性构建代价体积。最后，通过多层CNN输入代价体积、特征和上采样的初始流来估计光流，然后细化为最终的光流图。
在PWC-Net成功的基础上，通过引入微调[14]和自监督[15]对网络进行了优化。迭代残差细化（IRR）[16]进一步发展了PWC-Net的思想，在重构光流时在细化网络之间共享权重。半监督训练方法[17]首先使用监督方法训练网络，然后使用无监督方法在US数据上进行微调。通过使用一阶、二阶导数和双向应变作为网络的正则化项，可以在不需要大量训练数据集的情况下保持应变成像的质量。
光流传统上用于计算机视觉中，以获取图像中亮度模式运动的表观速度分布[18]。这一概念被用作图像对之间密集位移场的优化问题[19]。Zachary等人[19]引入了递归全对场变换（RAFT）网络，这是一种先进的光流架构。RAFT包括特征编码器、上下文编码器和相关层，用于构建所有特征向量的4D相关体积，以及一个递归更新的操作符。它在卡尔斯鲁厄理工学院（KITTI）数据集[20]和Sintel数据集[21]上达到了先进的准确率。RAFT还具有很强的通用性和高效性，因为网络结构轻量级，且更新操作符具有递归性质。最近，RAFT-USENet[22]改进了轴向和横向位移估计，表明RAFT架构的潜力。对于使用B模式数据的USE，先前的工作包括使用demons（图像配准）算法估计B模式图像的位移[23]和TSGUPWC-Net[24]，这是一种基于MPWC-Net的无监督网络，采用师生引导的知识蒸馏机制。
由于缺乏用于监督方法的体内USE的真实数据，因此开发了无监督光流算法。UFlow[25]是目前最先进的无监督光流方法之一。SMURF[26]（自教学多帧无监督RAFT）基于UFlow架构，结合了RAFT网络以应用自监督和边缘感知的平滑处理。
尽管这些创新很有前景，但它们在血管成像中的拉格朗日应变估计潜力尚未得到充分探索。我们之前的研究已经证明了颈动脉斑块应变指数（从RF数据中获取的轴向、横向和剪切应变张量）与认知表现[27]、[28]、[29]、[30]、[31]、[32]、[33]以及MRI成像中的白质高信号（WMH）之间的关联。WMH是由于累积的亚临床微血管损伤或脑萎缩在T2加权脑MRI中出现的明亮区域[34]。较高的颈动脉斑块应变指数与较差的认知表现和MRI成像中的WMH增加相关。因此，我们认为颈动脉斑块应变指数提供了关于斑块稳定性的信息。我们的先前研究表明，较高的颈动脉斑块应变值与斑块破裂的风险相关。斑块破裂可能导致微栓子的释放，从而引起脑损伤并导致认知能力下降，也可能与MRI成像中的WMH增加相关。开发实时、灵敏且成本效益高的工具来筛查和识别高风险无症状个体至关重要，因为动脉粥样硬化是缺血性和栓塞性中风的主要来源。目前，我们基于GPU的拉格朗日颈动脉应变成像（LCSI）[35]分析每个受试者大约需要20分钟（针对6个独立的数据循环），这需要在手动分割感兴趣的斑块区域（ROI）之后完成。像SMURF这样的DLN训练RAFT有潜力显著减少处理时间，使实时反馈成为可能。在不牺牲诊断准确性的情况下加速数据分析对于促进更广泛的临床应用、早期干预和改善高风险无症状个体的预后至关重要。
本研究的主要贡献如下：
据我们所知，我们是第一个使用SMURF对RAFT网络进行微调以用于USE的团队。RAFT网络包括一个4D代价体积编码器和一个门控循环单元（GRU）解码器，用于预测US B模式图像序列中的光流。选择B模式图像是因为它们在临床成像中易于获取，相比射频（RF）数据。
将SMURF应用于RAFT的训练可以在没有标签的数据集上进行自监督。这种方法受益于大量可用的未标记B模式数据集。
我们在实验幻影和体内数据集以及对拉格朗日应变估计的RAFT特征网络变体上进行了实验。我们的结果证明了使用RAFT和SMURF进行拉格朗日USE的潜力。
部分摘录
RAFT架构
RAFT[19]网络在PyTorch中实现，与其他网络相比具有几个关键优势。首先，RAFT可以处理自然图像中的大位移和小位移，并由于在特征提取阶段引入了递归全对场变换以及在解码阶段使用了卷积门控循环单元，因此能够获得更好的基准测试结果。其次，RAFT的参数较少，更易于训练[22]。
数据集
由于监督学习方法和无监督学习方法之间存在显著差异，并且基于监督方法对真实数据的需求，我们在训练过程中使用了多种不同的数据集，包括模拟数据集、仿生组织幻影数据集和体内数据集。表1总结了所使用的数据集。
RAFT网络在模拟包含体幻影数据集[39]和实验数据集上进行了重新训练和微调
实验幻影结果
实验数据集#1中的应变图像显示在图5中，相应的定量信噪比（SNR）和对比度噪声比（CNR）值显示在表2中，位移的端点误差（EPE）显示在表3中。这里所有图像尺寸输入都统一为实验幻影数据的大小，然后使用SMURF方法进行训练。从图5中的轴向应变图像可以看出，SMURF和LCSI提供了最佳的包含体可视化效果，MPWC-Net++、RAFT讨论
在本文中，我们应用SMURF训练RAFT网络，在使用RF数据派生的B模式图像循环积累位移场后进行US拉格朗日颈动脉应变估计（LCSI）。我们认为，使用B模式图像（来自RF数据）将有助于开发一个可以使用临床B模式图像的工具。B模式图像因其广泛应用于所有临床US系统而受到青睐，使其适合无监督使用
结论
在本文中，我们使用SMURF训练RAFT网络进行无监督拉格朗日USE，并取得了与传统的基于GPU的LCSI和之前的基于监督的方法（如MPWC-Net++）相当的结果。我们还展示了SMURF在体内估计整个心动周期的累积位移方面的能力，其趋势与LCSI方法相似。应变估计质量通过模拟和实验数据进行了评估
伦理声明
人类受试者研究获得了威斯康星大学麦迪逊分校机构审查委员会的批准。患者只有在提供经威斯康星大学麦迪逊分校机构审查委员会批准的知情同意书后才能参与研究。
CRediT作者贡献声明
张志伟：写作——审阅与编辑、撰写初稿、可视化、验证、监督、软件、方法论、调查、正式分析、数据管理、概念化。麦克斯韦尔·J·基尔南：写作——审阅与编辑、监督、软件、数据管理。卡罗尔·C·米切尔：写作——审阅与编辑、数据管理。斯蒂芬妮·M·威尔布兰德：写作——审阅与编辑、数据管理。罗伯特·J·邓普西：写作——审阅与编辑、监督、数据管理。托米·瓦尔格塞：
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：T. Varghese；与Siemens Medical Solutions USA, Inc.签订了研究协议，以获取本文中使用的射频数据。Max Kiernan得到了美国国立卫生研究院国家心肺血液研究所资助的T32心血管科学培训计划的支持（奖项编号T32HL007936）。Mitchell：
致谢
这项研究得到了美国国立卫生研究院的资助（Grant #1R01HL147866）。威斯康星大学麦迪逊分校的研究生教育办公室和威斯康星校友研究基金会也为这项研究提供了支持。患者的超声RF数据由美国国立卫生研究院的资助（Grant #R01-NS064034）获得。
