《Medical Image Analysis》:Data-centric physics-inspired deep learning framework for saturation artifact removal in optical coherence tomography
编辑推荐:
光学相干层析成像(OCT)允许通过干涉测量背散射光实现微米级分辨率的深度分辨成像。研究人员提出了一种以数据为中心的物理启发框架用于饱和伪影去除,该框架引入了一种成像物理信息网络架构,通过光谱依赖性显式解耦伪影和临床信息图像内容。基于物理仿真的训练实现了对真实伪
光学相干层析成像(OCT)允许通过干涉测量背散射光实现微米级分辨率的深度分辨成像。研究人员提出了一种以数据为中心的物理启发框架用于饱和伪影去除,该框架引入了一种成像物理信息网络架构,通过光谱依赖性显式解耦伪影和临床信息图像内容。基于物理仿真的训练实现了对真实伪影的良好泛化。此外,研究人员提出了一种多输入单输出(MISO)网络,该网络利用多级子窗口重建(基于短时傅里叶变换,STFT)作为输入,从而利用了不同频谱部分对饱和的差异化敏感性。研究人员在两大傅里叶域OCT(FD-OCT)数据集——猪眼前段SS-OCT(PASO)数据集和人类角膜在体SD-OCT数据集上,通过数值模拟和真实伪影实验验证了该方法的有效性。结果表明,MISO在所有基线中实现了最佳性能,在受影响的A扫描中恢复了更精细的细节,并更可靠地区分伪影和阴影。
**论文解读:基于数据驱动与物理启发的深度学习框架用于光学相干层析成像饱和伪影去除**
**研究背景与问题**
光学相干层析成像(OCT)是一种基于低相干干涉的无创成像技术,可提供微米级分辨率的深层组织图像,在临床眼科和术中导航中具有重要应用。傅里叶域OCT(FD-OCT),包括频谱域OCT(SD-OCT)和扫频源OCT(SS-OCT),因其高灵敏度和速度成为主流。然而,强镜面反射(如角膜顶点、手术器械)会导致检测系统饱和,产生轴向畸变伪影,严重降低图像质量,遮挡关键结构,并影响后续分割等任务。现有方法包括光学缓解(如降低光源功率、偏振滤波)和硬件改进(如双通道检测),但均存在局限性:光学方法效果有限且可能损害信号;硬件方法复杂且无法事后处理。后处理方面,插值、字典学习、频率滤波等方法效果有限。深度学习(如生成对抗网络、扩散模型)虽展现潜力,但多局限于小尺寸图像,缺乏物理基础,或需预知伪影位置,且面临真实训练数据难以获取的困境。已有仿真方法(如简单裁剪)无法完全模拟真实硬件饱和特性,导致泛化不足。此外,饱和检测(基于数字化仪范围阈值)在平衡检测系统中可能不可靠。因此,亟需一种既能利用物理先验、又能从数据中充分学习,且无需伪影位置先验的鲁棒去伪影方法。
**研究人员开展的研究与结论**
研究人员提出了一种数据驱动的物理启发深度学习框架,用于FD-OCT饱和伪影去除。核心创新包括:1)基于OCT物理原理的精细仿真流程,模拟单探测器与平衡检测系统的反射建模与采集建模(包括软/硬裁剪、失衡、滤波器等),动态生成配对训练数据;2)一种多输入单输出(MISO)卷积神经网络架构,该网络除接收完整B扫描外,还额外接收从不同重叠光谱子窗口(即短时傅里叶变换,STFT)重建的多级子带B扫描,从而利用饱和伪影随光谱变化的依赖性,显式解耦伪影与有用信号。训练中,仿真数据从无伪影原始光谱实时生成,使网络学习物理真实的退化模式。研究在PASO猪眼前段SS-OCT数据集(47个离体猪眼,141个体积扫描,包含手术器械)和人类角膜在体SD-OCT数据集(9名受试者,43个体积)上进行验证,包括数值模拟评估和真实伪影泛化测试。结果表明,MISO在所有评价指标(MAE、SSIM、MS-SSIM、LPIPS)上均优于单输入基线(包括U-Net、ATN-Res2Unet、NAFNet、扩散模型DPS/RePaint),且在受伪影影响的A扫描上尤其显著。在真实伪影上,MISO能更可靠地恢复被遮蔽的结构(如角膜表面、透镜碎片),并正确区分伪影与器械阴影,而单输入网络常误填充阴影区域。此外,MISO能保持轴向分辨率(半高全宽接近参考值9.65像素 vs 9.48像素)。该研究论文发表在《Medical Image Analysis》。
**关键技术方法**
研究人员采用以下关键技术方法:1)基于物理的仿真流程,包括反射建模(在空间图像中放大反射振幅,考虑点扩散函数(PSF)与色散补偿)和采集建模(模拟线相机硬裁剪、平衡检测系统中的光电探测器软裁剪与数字化仪硬裁剪,以及失衡低频频移),动态生成配对数据;2)MISO网络架构,基于U型编码-解码器,顶级输入完整B扫描,第二级和第三级分别输入8个和32个重叠光谱子窗口重建的B扫描堆栈,通过3D卷积块处理子窗口维度,并利用跳跃连接和残差块;3)训练损失函数结合平均绝对误差(MAE)、掩膜MAE(聚焦于伪影区域)和感知相似度(LPIPS)。样本队列来源:PASO数据集(猪眼前段,显微集成SS-OCT原型,中心波长1060 nm,扫描速率600 kHz,数据公开)和人类角膜在体SD-OCT数据集(高分辨率SD-OCT系统,来自维也纳医科大学伦理委员会批准方案)。
**研究结果**
**2.1 数值评估(合成伪影)**
在PASO数据集和人类角膜数据集上,MISO在所有全图像指标和伪影A扫描指标上均优于所有基线。扩散模型DPS/RePaint在受伪影区域表现较差,因其需丢弃饱和A扫描后填补,无法利用剩余信息。单输入网络SISO和ATN-Res2Unet表现次之,而LISO(仅接收子窗口输入)在部分指标上竞争但略逊于MISO。非学习滤波方法(Yang et al., 2024)效果最差。MISO在未受影响A扫描上误差极低,表明其内在伪影检测能力优越。
**2.2 泛化到真实伪影**
定性分析显示,MISO和LISO能可靠去除角膜、巩膜、手术器械引起的真实饱和伪影,恢复被遮挡的细节(如连续半圆形透镜碎片),并正确保留阴影区域(如器械阴影)。单输入网络(除ATN-Res2Unet外)常将阴影误判为伪影并填充,扩散模型则产生感知上合理但结构不准确的填补。在轻微伪影残留(如单A扫描薄弱线条)和极端饱和(如器械反射)情况下,MISO仍表现出最佳细节恢复。
**2.3 轴向分辨率保持**
通过测量角膜表面峰值半高全宽(FWHM),MISO(9.65像素)与参考值(9.48像素)接近,LISO(11.45像素)略有增加,SISO(8.76像素)略低,表明MISO能有效利用全分辨率输入保持轴向分辨率。
**讨论部分总结与结论翻译**
**讨论总结**:
研究工作通过物理仿真生成逼真配对数据,确保泛化至真实伪影,并适用于不同FD-OCT系统。MISO利用光谱依赖性无需伪影先验,优于需掩膜的方法。尽管扩散模型在未受影响区域像素精度略高,但MISO整体失真更低,且避免了填补带来的信息丢失。MISO在低信号区域(如透镜)和阴影与伪影区分上表现更鲁棒,但少数情况下单输入网络对薄弱伪影更有效。未来工作可探索结合扩散模型与多级子窗口输入,平衡感知与失真。此外,该方法可扩展至其他OCT恢复任务(如散斑抑制),并有望通过优化实现实时术中应用。
**结论(翻译)**:
研究人员开发了一种去除FD-OCT饱和伪影的方法,提高了视觉质量并可能简化下游处理。基于对OCT系统物理和技术的知识,从干净光谱通过仿真生成合成训练数据。为了利用光谱中不同水平的饱和,研究人员引入了一种用于OCT图像恢复的网络范式——称为MISO,其不仅输入完整B扫描,还输入从不同光谱窗口重建的扫描。相比传统单输入架构,该网络更好地利用了保留的信息内容。利用所提出的仿真进行训练对生成,研究人员在大型SS-OCT眼前段数据集(Nienhaus et al., 2025a)和人类角膜在体SD-OCT数据集上训练并评估了MISO及多个基线。通过利用带宽不同部分中存在的互补信息,MISO在所有单输入基线中表现更优。这一性能提升不仅在多个伪影去除指标上一致,而且定性上泛化至对真实伪影的增强鲁棒性和细节恢复。