基于图像的识别与定位：术中脑肿瘤切除过程中的变化

《Journal of Imaging Informatics in Medicine》：Image-Based Identification and Localisation of Changes in Intraoperative Brain Tumour Resection

针对MRI图像配准不一致问题，提出基于Siamese网络的双分割模型，利用膨胀卷积学习长程空间特征，结合泛色锐化增强差异检测，在未注册MRI数据中F1值0.64，IoU 0.57，优于基线方法，有效应对现实中的成像变异。

　　

摘要

传统的脑肿瘤进展追踪方法本质上假设基线扫描和随访扫描之间的图像采集条件是一致的。然而，在实际应用中，由于采集协议、扫描仪设置或患者体位的变化，MRI数据经常存在谐波问题。为了解决这个问题，我们提出了一种基于图像的方法，该方法能够在不需要独立配准或复杂预处理的情况下识别和定位基线MRI扫描与随访MRI扫描之间的变化。我们的配准不变方法利用了由两个基于膨胀卷积的分割模型组成的孪生网络的内部特征图，使其能够学习长上下文的空间特征。这些特征用于直接从输入图像中检测和定位变化，然后通过全色锐化处理来增强这些变化图，从而突出显示高级结构和像素级别的差异。在测试之前未见过的、未配准的MRI扫描时，该方法在识别和定位切除的肿瘤组织方面的性能优于基线模型（\(\varvec{F}_{\varvec{1}} \varvec{= 0.64}\) 和 \(\varvec{IoU = 0.57}\)），而基线模型的性能分别为 \(\varvec{F}_{\varvec{1}} \varvec{= 0.11}\) 和 \(\varvec{IoU = 0.07}\)）。即使在增强、噪声和错位的情况下，该方法的表现也依然稳健（\(\varvec{F}_{\varvec{1}} \varvec{= 0.55}\) 和 \(\varvec{IoU = 0.45}\)），这表明其对现实世界成像变化的适应性很强。总体而言，所提出的方法对空间错位具有很强的鲁棒性，并为在无法保证可靠配准的临床环境中追踪肿瘤进展和消退提供了一个有前景的解决方案。