UltraSeP：一种基于序列信息的预训练方法，用于指导超声心动图探头运动

《Patient Education and Counseling》：UltraSeP: Sequence-aware Pre-training for Echocardiography Probe Movement Guidance

提出UltraSeP模型，通过序列-aware自监督预训练方法学习个性化三维心脏结构，结合探针刺入动作预测和图像特征 masked 预测，解决传统方法依赖群体平均结构导致的性能瓶颈，在167万临床样本验证中显著优于基线方法，提升探头引导精度并适用于医学机器人系统。

　　心脏超声检查是一种重要的医学技术，用于诊断心血管疾病。然而，由于其操作过程复杂，目前熟练掌握该技术的专业人员数量有限，导致临床应用中存在一定的资源短缺问题。为了解决这一问题，我们提出了一种名为UltraSeP的新型探头运动引导算法，该算法旨在通过引导机器人系统或初学者调整探头姿态，以实现高质量标准平面图像的采集。心脏超声面临两大主要挑战：一是心脏本身结构的复杂性，二是个体之间的显著差异。以往的研究主要集中在学习心脏的平均结构，而忽视了个性化的心脏结构信息，从而限制了模型的性能。在临床实践中，超声技师会根据先前的扫描序列动态调整对患者心脏解剖结构的解读，进而优化扫描策略。受此启发，我们提出了一种新颖的序列感知自监督预训练方法。具体而言，我们的方法通过预测扫描序列中被遮挡的图像特征和探头运动动作，来学习个性化的心脏三维结构特征。我们假设，如果模型能够预测缺失的内容，那么它就对个性化的心脏结构有了较好的理解。在包含167万样本的专家扫描数据集上进行的广泛实验表明，我们提出的序列感知范式能够有效减少探头引导的误差，相较于其他先进的基线方法表现更优。

心血管疾病是威胁人类健康的主要因素之一。目前，评估心脏健康最常用的方法是经胸超声心动图（transthoracic echocardiography），该方法由美国超声心动图学会推荐。在这一过程中，超声技师手动操作探头，寻找关键的二维平面，并实时观察这些平面上的心肌、瓣膜和血流情况。然而，由于心脏结构的复杂性，即使探头在六个自由度（6-DOF）上的微小变化，也可能影响所观察结构的成像效果。此外，个体间的心脏大小、形状和结构存在显著差异，这使得扫描策略需要根据每位患者的具体情况进行调整。这种高要求的扫描技能使得超声技师的培训周期较长，从而导致专业人员数量不足。

为了解决上述问题，已有研究人员提出了辅助扫描系统，这些系统能够根据当前的超声图像，为探头提供6-DOF姿态调整的建议，以达到目标平面。这些系统有望提高经验不足的超声技师定位标准平面的效率和质量，从而增加全球超声心动图的供应。然而，这些方法通常基于大规模数据建模心脏的平均结构，并仅依赖单个平面的图像来做出动作决策。这种范式忽略了个体间心脏结构的差异，导致模型性能受限。在临床实践中，如图1所示，超声技师会根据采集到的平面图像及其空间姿态信息，学习个性化的心脏结构信息，进一步帮助后续的扫描工作。从这一观察中，我们可以得出两个关键的启示：一是超声技师的决策是基于先前的序列数据（平面图像和对应的探头姿态），而非单一图像；二是序列数据中包含了关于心脏结构的个性化信息。一些研究人员也尝试将序列作为网络输入，但我们在实验中发现，仅仅增加序列长度并不能持续提升模型性能（见第4节）。因此，模型并不具备从序列中提取有益的个性化心脏结构信息的内在能力。为了解决这一问题，我们提出了一种新颖的序列感知自监督预训练方法，即UltraSeP，通过一个掩码预测任务来学习个性化的心脏结构。具体而言，我们从同一名患者处采样一个包含平面图像和探头运动动作的扫描轨迹，这些动作是根据探头姿态得出的。平面图像和动作分别通过模态特定的编码器进行处理，以获得相应的特征。其中一些特征会被随机掩码，作为预测的目标。对于被掩码的图像，我们在特征空间中施加监督，如文献[13]所示，这种方法是一种更为高效的学习方式。而动作则被重新预测为原始值以进行监督。这一范式要求模型能够根据给定的探头运动动作和可见的患者心脏结构上下文信息，预测动作后的平面视觉特征，或者预测两个平面之间的探头运动动作。因此，这种方法使模型具备了基于已知患者信息构建隐式三维心脏结构的能力。

探头运动引导任务的目标是为超声技师提供探头调整的建议，以准确定位目标平面，如图2所示。这一任务对心脏结构建模能力要求较高，因此成为评估预训练模型是否成功学习了可推广的心脏结构理解的有效手段。在这一下游任务中，我们还引入了一种序列建模方法，该方法基于历史扫描数据中的超声图像和动作，预测下一个探头运动动作。此外，将我们在包含284条常规扫描轨迹（103万样本）的数据集上预训练的序列感知模型应用于该任务，显著提升了探头引导的性能。在包含72条常规扫描轨迹（28万样本）的验证集上的实验结果表明，我们的方法在多个实验设置中均优于基线方法。此外，详细的消融研究验证了关键设计组件的有效性，并分析了不同超参数对模型性能的影响。综上所述，本文的主要贡献包括以下三点：

首先，我们提出了一种心脏探头运动引导模型UltraSeP，旨在帮助获取高质量的标准平面图像。据我们所知，这是首个被技术披露并能够覆盖多达十个关键标准平面的引导模型。

其次，我们创新性地提出了一种序列感知的自监督预训练方法，该方法增强了模型从历史扫描序列中捕捉个性化心脏结构信息的能力。

最后，我们在一个包含167万临床专家扫描样本的大规模数据集上进行了广泛的实验，结果表明我们的方法在各种实验设置中均优于基线方法，提供了更为准确的引导信号。

在相关工作方面，随着人工智能技术的进步，AI辅助的应用在超声心动图领域展现出巨大的潜力，例如射血分数估计和解剖结构分割等。在AI辅助超声扫描的研究中，一种方法采用强化学习技术，而另一种则专注于监督学习范式。强化学习方法通常通过奖励机制来优化探头的运动策略，而监督学习方法则依赖于标注数据来训练模型。然而，这些方法在处理个性化心脏结构信息方面存在局限，尤其是在应对个体差异时表现不佳。相比之下，我们提出的序列感知自监督预训练方法能够有效捕捉个性化信息，从而提升模型在实际应用中的适应性和准确性。

在数据集和方法部分，我们首先描述了收集的超声心动图扫描数据集，为本研究任务提供了背景信息。随后，我们介绍了所提出的序列感知预训练框架，该框架旨在从历史扫描序列中学习建模个性化心脏结构的能力。最后，我们将预训练模型微调以执行下游的探头运动引导任务。通过这一流程，模型能够更好地适应不同患者的心脏结构，提高扫描的准确性和效率。

在实验部分，我们提供了全面的验证，以证明所提出方法的有效性，并包括了实现细节以确保实验的可重复性。实验结果表明，我们的方法在多个指标上优于基线方法，尤其是在处理个体差异和复杂心脏结构方面表现突出。此外，我们还进行了详细的消融研究，以分析关键设计组件对模型性能的影响，并探讨了不同超参数对模型效果的调控作用。这些实验不仅验证了UltraSeP模型的有效性，还为进一步优化和改进提供了理论依据。

在讨论和结论部分，我们总结了本文的主要成果。提出的心脏探头运动引导模型具有驱动自主机器人超声心动图或帮助初学者扫描十个重要标准平面的潜力。具体而言，我们引入了一种新颖的序列感知预训练方法，以增强模型从历史扫描序列中捕捉个性化心脏结构信息的能力，从而应对个体间的结构差异。在大规模专家扫描数据集上的广泛实验表明，我们的方法在多个实验设置中均优于基线方法，提供了更为准确的引导信号。此外，我们的研究还揭示了序列数据在心脏结构建模中的重要性，以及如何通过自监督学习方法有效提取个性化信息。这些发现不仅对超声心动图技术的发展具有重要意义，也为未来的医疗AI研究提供了新的思路和方法。

在研究过程中，我们还注意到一些未引用的文献，例如文献[10]，这表明在实际应用中仍存在一些尚未被充分研究的领域。我们建议未来的研究可以进一步探索这些未被引用的内容，以完善当前的方法并拓展其应用范围。同时，我们也在研究中考虑到了伦理和利益冲突问题，声明作者们没有已知的财务利益或个人关系可能影响本研究的成果。我们对所有参与本研究的人员和机构表示感谢，并特别感谢那些在数据收集和处理过程中提供支持的专家和团队。这些支持对于本研究的顺利进行至关重要，使得我们能够基于真实临床数据进行有效的模型训练和评估。

综上所述，本文提出了一种创新的序列感知自监督预训练方法UltraSeP，该方法能够有效学习个性化的心脏结构信息，并在探头运动引导任务中表现出优异的性能。通过结合序列数据和自监督学习，我们的方法不仅提升了模型的适应能力，还为未来的心脏超声技术发展提供了新的方向。我们相信，随着更多数据的积累和算法的优化，UltraSeP方法将在临床实践中发挥更大的作用，帮助更多患者获得高质量的超声心动图检查。