《Visual Informatics》：Advances in AI-powered photorealistic ultrasound visualization techniques: A survey
编辑推荐：
这篇综述系统性回顾了人工智能在提升超声数据可视化质量方面的前沿技术。文章围绕超声可视化流程的三个核心阶段——数据重建、预处理与可视化，深入探讨了传统方法及其局限性，并重点阐释了AI（特别是深度学习DL与隐式神经表示INR）如何通过增强数据重建质量、抑制斑点噪声和优化基于物理的渲染等技术路径，应对超声数据固有的信噪比低、遮挡等挑战，以推动超声影像向高保真、智能化方向演进。
超声成像技术以其低成本、高可用性和无创性，在临床医学诊断中得到了广泛应用。然而，超声数据固有的低信噪比和复杂的遮挡效应，使得生成高度逼真的可视化图像充满挑战。近年来，随着实时三维/四维超声采集与重建技术的成熟，以及人工智能（AI）技术的迅猛发展，AI为增强超声可视化开辟了新的机遇。本综述系统梳理了贯穿超声可视化流程的AI驱动方法，涵盖了从数据重建、预处理到最终的可视化渲染，旨在呈现迈向愈发逼真和智能的超声影像技术的趋势与未来方向。
超声可视化流程
超声数据的可视化过程通常被描述为一个标准流程，主要包括三个阶段：数据重建、数据预处理和数据可视化。自由臂超声采集依赖于手持探头捕捉波的传播和回波强度，生成原始数据。这些数据通常以极坐标表示，无法直接用传统方法可视化。数据重建阶段将原始扫描数据重采样并插值为三维体素网格，每个体素存储其位置的超声密度信息。数据预处理阶段则包括数据去噪、数据增强和传递函数设计等模块，旨在提高信噪比、突出重要特征并去除无关内容。最后的可视化阶段，则利用高级图形学技术，从特定视角生成二维图像，目标是模拟逼真的光照效果。为了支持临床交互，整个流程对实时性能有着很高的计算效率要求。
超声数据重建
超声设备采集的原始数据通常处于极坐标系中。为了后续处理的便利，必须首先将其转换到笛卡尔坐标系，这一过程称为数据重建或扫描转换。在超声数据采集质量和速率相当的情况下，重建算法的速度与精度对可视化质量有显著影响。传统方法依赖于外部跟踪设备提供六自由度空间坐标，限制了其在术中等临床场景的应用。为此，AI方法日益受到关注。
- •
传统方法：主要包括基于体素的方法、基于像素的方法和基于函数的方法。例如，Stradx系统采用体素最近邻（VNN）插值。虽然支持在任意平面重切片且实时性好，但精度有限。基于像素的方法遍历每个扫描平面中的所有像素，并使用不同策略将其值分配给体素。基于函数的方法则从扫描平面的像素值构造一个隐式或显式定义的函数，并用其为体素赋值，此类方法通常对噪声或缺失数据鲁棒，但计算成本高。
- •
AI驱动方法：
- •
基于深度学习（DL）的方法：趋势是用纯软件跟踪或轻量级惯性测量单元（IMU）方案取代笨重的外部跟踪硬件。例如，有研究提出了深度上下文对比网络（DC2-Net）来估计探头轨迹；MoNetV2框架集成了轻量级IMU传感器来解决自由臂三维超声重建中的累积漂移和复杂扫描模式问题。这些现代DL架构专为效率设计，在推理阶段能以高实时性重建体积。
- •
基于隐式神经表示（INR）的方法：与构建显式体素网格不同，INR方法将体积建模为由神经网络参数化的连续隐式函数。这种公式允许联合优化切片姿态和体积表示。例如，有研究提出了用于从跟踪的自由臂二维切片重建三维超声体积的无监督神经隐式表示框架。该方法在每次扫描基础上进行训练，可在数分钟内完成，并通过产生更平滑、更准确的结果超越了传统的距离加权体素重建。
超声数据预处理
此阶段旨在为后续可视化生成高质量的输入，其主要目标是抑制斑点噪声、增强诊断相关特征以及清晰勾勒解剖结构，分别对应数据去噪、数据增强和传递函数设计三项任务。
- •
超声数据去噪：超声数据采集系统通常基于相干成像原理运行，由此产生的回声部分构成有用的超声扫描数据，其余则可能表现为降低扫描数据质量的噪声。去除这些噪声是超声数据可视化中的关键挑战。
- •
传统方法：主要包括局部统计滤波、各向异性扩散和基于变换的滤波。例如，斑点减少各向异性扩散（SRAD）方法，利用梯度幅度和拉普拉斯算子定义的瞬时变异系数作为边缘检测器来调节扩散。基于小波的滤波则将噪声图像分解为频率或方向分量，在信号和噪声更易分离的域中进行处理。
- •
AI驱动方法：基于深度学习的滤波利用神经网络在潜在空间中区分噪声和结构特征以消除斑点噪声。例如，有研究提出了用于临床超声成像的盲去斑点方法，无需微调和显式噪声水平估计，利用预训练的深度残差学习网络（RLN）实现高计算效率。另有研究基于加权核范数最小化（WNNM）算法，引入了针对超声特性优化的tuned-WNNM，并利用深度学习来学习其去噪函数，在实时性下复制其质量。还有方法通过将噪声图像转换为无噪声图像的风格，来减少斑点噪声。
- •
超声数据增强：虽然去噪方法能有效抑制噪声，但它们常常会模糊边缘特征并降低边界锐度。超声增强技术旨在通过强调结构细节同时保持原始特征，来提高超声图像的感知质量和诊断可解释性。传统方法多依赖于手工设计的滤波器或变换技术。而基于学习的技术，如卷积神经网络（CNN）和生成模型，可以学习上下文感知的映射，比传统算法更有效地增强组织对比度和描绘边界。
- •
传递函数设计：表面的明确划分是通过不透明度传递函数（OTF）实现的，OTF定义了从声学密度到体素不透明度的映射，并控制结构的可见性。因此，OTF的设计直接影响后续的可视化阶段。精心设计的OTF可以突出感兴趣区域，同时有效抑制遮挡结构。传统方法通过从数据集中提取结构特征（如表面或边界），并基于这些特征手动调整OTF参数来解决此问题。虽然这类方法能产生令人满意的结果，但在应用于广泛的诊断任务时通常不够灵活。相比之下，AI可以根据特定任务和条件更准确地识别相关特征，从而指导OTF的设计。此外，AI还可以考虑优化超声数据流四维显示中的传递函数。
超声数据可视化
直接体绘制（DVR）是超声可视化中最常用的技术。在DVR中，假设光线沿直线穿过体积，根据定义体素特定吸收、发射和不透明度的光学模型与数据相互作用。全局照明模型必须考虑光在体积内的多次散射。通过考虑体积内光线的多次散射，可以产生更真实的图像并增强空间感知，但计算成本也更高。多次散射在模拟皮肤外观和柔和阴影等效果的超声可视化中尤其重要。
- •
体绘制方程：光线与体积数据之间的相互作用可分为三种类型：发射、吸收和散射。标准的发射-吸收光学模型只考虑发射和吸收。在此模型下，对应的体绘制方程表达了进入体积的光线辐照度、体积内部点的发射辐照度以及由于吸收导致的光线辐照度衰减。全局照明模型则通过推广发射-吸收模型获得，其中散射项递归地考虑了来自入射方向的贡献，模拟了光线在体积内的传播路径，从而能够更准确地估计每个点的辐照度。
- •
着色与照明：照明模型可分为局部和全局模型。研究表明，高级照明模型可以提高用户对空间结构和深度的理解，减少误判的可能性。Blinn-Phong模型是一个经典的局部照明模型，它基于表面法线计算照明并近似局部照明效果。由于体积数据缺乏明确的表面法线，通常使用体素梯度（通常用中心差分方案近似）作为替代。然而，梯度估计对噪声和高频内容敏感，鉴于超声数据的低信噪比，依赖梯度的方法的可视化质量通常受到预处理的限制。全局照明模型，如半角切片、定向遮挡着色（DOS）和阴影体积传播等，能够产生更真实的图像并增强空间感知。许多实时全局照明模型可以很好地适用于超声可视化。
- •
全局照明技术：逼真的超声可视化有两个主要要求。一方面，高保真渲染算法必须对噪声具有鲁棒性。另一方面，虽然光源数量可能有所不同，但光源位置通常应不受限制，并且模型应支持多次散射和颜色渗出效果。这些照明模型通常与特定的渲染范式绑定。例如，半角切片技术通常绑定于基于切片的渲染范式，它提供了低空间开销、小内存占用和高实时性能，适合逼真的超声可视化，尽管它只支持单一光源。图像平面扫描方法则与基于图像的射线投射范式绑定。一些模型，如阴影体积传播，则计算一个可由任何选定方法采样的照明体积。
总结与展望
本综述回顾了AI驱动的超声影像逼真可视化技术的最新进展。在数据重建方面，AI方法正朝着无传感器或轻量级传感器解决方案发展，以提供更高的灵活性和精度。在数据预处理方面，深度学习在去噪和特征增强方面显示出超越传统方法的潜力，同时基于学习的传递函数设计有望实现更自适应的可视化。在可视化方面，能够模拟复杂光-物质相互作用（如次表面散射）的先进全局照明模型，对于生成高度逼真的图像至关重要，尤其是在产科超声等应用中。未来，该领域的研究将朝着更加逼真、智能和实时的超声可视化系统发展，AI与计算机图形学的进一步融合，以及专用硬件（如GPU）的利用，将是实现这一目标的关键。同时，开发能够处理四维（3D+时间）超声数据流的可视化技术，以及创建大规模、高质量的训练数据集，也是重要的研究方向。最终，这些技术的发展将进一步提升超声在临床诊断、手术规划和医患沟通中的价值。
