综述：从传统到深度学习的全玻片图像配准方法学回顾

本综述系统回顾了全玻片图像（WSI）配准领域的方法学进展，涵盖从传统配准方法到深度学习技术的重要转变。文章详细分析了WSI配准在肿瘤微环境（TME）分析、三维重建和多模态图像整合中的关键作用，重点探讨了不同染色方法（如HE、IHC、IF）带来的挑战，并全面评述了当前主流数据集（如ANHIR、ACROBAT）、评估指标（如TRE、rTRE）和软件工具。特别强调了深度学习在特征提取、参数估计和图像生成方面的创新应用，为病理图像分析提供了重要方法论参考。

　　

WSI配准的问题表述

全玻片图像（WSI）配准是指对同一组织切片或连续切片的多个WSI进行空间信息对齐的过程。组织切片通常在成像前进行单种或多种生物标志物染色，目的是沿Z轴识别相邻细胞核以创建三维图像或识别肿瘤微环境（TME）中的细胞亚型。与放射学图像配准（如磁共振成像或计算机断层扫描）相比，这项任务更具挑战性，主要因素包括图像的千兆像素大小、不同染色组织间的外观差异、非连续切片间的结构和形态变化，以及伪影、撕裂和变形的存在。

从数学角度，标准配准问题可以定义为寻找一个空间变换，以最佳地将移动图像I_m与参考图像I_r对齐。通过定义成本函数C(I₁, I₂)来量化对齐质量，目标是找到变换T_θ^?以最小化成本函数：θ^? = arg min_θ C(I_r, T_θ(I_m))，其中θ是变换参数集。

WSI配准的重要性

虽然HE染色的WSI提供形态学特征细节，但无法显示不同病理相关生物分子（如蛋白质）的表达，这就需要免疫组化（IHC）标记。尽管有些技术允许在同一组织上同时表征形态学和IHC标记，例如在同一玻片上同时染色PHH3和HE，但通常HE和IHC染色是在连续切片上进行的，这就需要有效可靠的配准。

WSI配准的另一个重要应用是从一系列二维切片生成三维重建，这有助于更全面地理解生物样本内的复杂结构和空间关系。此外，合并来自不同技术染色的切片数据，如多重免疫荧光（mIF）图像、连续切片图像、系列染色图像，以及其他形式的数据与常规HE WSI，都需要精确的多模态图像配准。

WSI配准的挑战

WSI配准的主要挑战包括图像内容的变异性、组织扫描在不同时间点的外观变化、局部结构的显著差异以及数据的大小。组织切片制备和数字化过程也可能引入多个挑战，如组织切片可能以任意方向放置，或组织内容从一个切片到下一个切片发生变化，以及可能存在独特的伪影。

此外，对于使用机器学习算法的WSI配准，拥有大量图像质量可接受的数据非常重要。创建合适的数据集需要大量的专业知识和努力，而且公开可用的WSI配准数据集很少。即使有专家参与，由于不同病理学家在注释上可能存在差异，建立可靠的模型训练基础事实也可能具有挑战性。

WSI配准的数据集

挑战赛对计算病理学的进步产生了积极影响。鉴于其重要性，全球多个挑战赛专注于WSI配准。这些竞赛提供大量带注释的数据集，使研究人员更容易使用高质量数据并提出新方法，从而促进最先进方法的发展，鼓励进一步扩展和应用。

ANHIR（自动非刚性组织学图像配准）挑战赛是2019年IEEE生物医学成像国际研讨会期间举办的，专门针对组织学图像配准，吸引了100支注册团队，其中10支团队积极参与。ACROBAT（乳腺癌组织自动配准）挑战赛在2022年和2023年举办了两届，旨在促进乳腺癌WSI配准算法的发展。其他数据集如HyReCo、Prostate Fused-MRI-Pathology和PLISM等也为WSI配准研究提供了重要资源。

评估指标

图像配准通常被表述为一个优化问题或通过最小化损失函数来实现。这通常包括一个相似性度量（用于比较对齐图像）和一个保证变换平滑度的正则化项。传统的相似性度量，如欧几里得距离或归一化互相关，优先考虑对齐像素强度值或相关性。然而，对于WSI，许多常见相似性度量缺乏几何或物理意义。

一种可靠的方法是在参考图像和移动图像中手动识别一组对应点。这种称为基于标志点的方法使用这些点来评估配准对齐图像的效果。缺点是配准的评估取决于这些标志点的质量。然而，通过标记足够数量的由至少两名病理学家验证的标志点，可以减少“噪声”注释的影响。

目标配准误差（TRE）是最常用的基于标志点的度量，用于量化配准过程的精度。它计算变换后图像和参考图像中对应标志点之间的错位，计算公式为TRE = (∑_i=1^N (p_i - q_i)) / N，其中N是标志点总数，p_i和q_i分别表示配准后图像和参考图像中对应点的坐标。

除了TRE，其他方法也用于计算标志点之间的距离，例如标志点位置的欧几里得距离、从自动方法提取的特征关键点距离、标志点的平均绝对误差（MAE）以及手动选择在两个图像上的注释的t检验。然而，这些方法在组织学配准文献中并不常用。

由于手动选择关键点和注释劳动密集，且并非所有数据集都有标志点，一些研究使用相似性度量进行评估。Dice系数和Hausdorff距离是医学图像分析中常用的两个度量，用于评估两组点或形状之间的相似性或相异性，特别是在图像分割或配准等任务中。

结构相似性指数（SSIM）也可用于评估两个图像之间的相似性；它测量对应像素的亮度相似性、对比度相似性和结构相似性，并通过比较两个图像中像素强度的局部模式来计算。其他相似性度量，包括均方根误差（RMSE）、峰值信噪比（PSNR）、互信息（MI）、归一化MI（NMI）、归一化梯度场（NGF）和归一化互相关（NCC）也在一些工作中用于量化配准精度。

WSI配准的传统方法

基于所需手动干预的程度，配准主要有三种方法：手动、半自动和全自动。手动配准涉及专家用户在参考图像和移动图像中选择对应点（标志点）以计算变换参数。这种方法通常实现高精度，但劳动密集且耗时，需要用户在参考图像和移动图像上放大和缩小并仔细选择对应点。

半自动配准结合了手动和自动过程，用户通过选择一些控制点提供初始指导，算法然后细化对齐。这减少了用户的工作量，但仍然需要用户的输入，并且取决于所选点的质量。全自动配准完全由算法处理，无需手动选择点，但可能缺乏手动方法的准确性。

大多数WSI配准方法遵循多分辨率策略，即在多个分辨率下执行配准。主要原因是图像的巨大尺寸和固有的金字塔结构有利于这种方法。此外，为了增加鲁棒性和解决硬件限制，许多这些方法采用基于块的策略。

自动图像配准技术可以根据几个因素进行分类，包括变换弹性（刚性、仿射、非刚性）、成像数据的维度（1D、2D、3D等）、成像模态（单模态、多模态）、变换域（局部或全局）、配准基础的性质（内在或外在）、交互类型（交互式、半自动或自动）、参数估计（直接或搜索导向）以及主题（主题内、主题间和图谱）。

基于深度学习的WSI配准方法

根据网络输出，基于深度学习的配准方法可分为三个主要类别：（i）特征提取器，其中网络用于特征提取，输出是网络的特征层，这些特征然后用于使用传统图像配准模型对齐图像；（ii）参数估计配准模型，其中网络输出是变换参数，这些模型通常是直接计算各种参数的回归网络；（iii）基于生成的配准，其中输出是一个图像，可以是直接转换的图像或用于配准目的的图像，此类模型主要是生成神经网络。

尽管深度学习在WSI配准中是一个相对较新的发展，但该领域的研究数量正在增长，并且越来越受到关注。许多研究采用深度学习模型来提取特征描述符，这些描述符对多模态图像中的各种变化具有鲁棒性。这些特征描述符然后用于使用经典特征匹配技术进行医学图像配准。

生成深度学习模型增强了将图像从一种模态转换为另一种模态的过程，并在各种医学图像配准中找到了应用，例如将CT数据转换为MR数据。在大多数方法中，生成对抗网络（GAN）用于有效地在模态之间转换图像。这种技术也适用于WSI，通过从一种模态（如HE）转换为另一种模态（如IHC染色）来简化配准过程。

可用软件和框架

计算机工具在组织学图像方面的最新进展导致了用于配准的软件解决方案的出现。ImageJ是生物图像分析中的领先软件，提供各种插件，如StackReg、TurboReg、MultiStackReg、带SIFT的线性堆栈对齐、TrakEM2和BunwarpJ，每个插件使用不同的配准方法。QuPath是另一个开源图像分析工具，提供用于组织学图像配准和对齐的扩展。

TIAToolbox为计算病理学任务提供全面的API，包括数据加载、预处理、推理、后处理和可视化。它通过基于深度特征的非线性配准，然后使用SimpleITK进行非刚性对齐，促进WSI配准。WSIReg是一个Python库，支持使用elastix进行多模态或单模态WSI配准，采用基于图的方法来定义变换路径。

讨论与未来方向

WSI配准是一个具有挑战性的任务， due to the gigapixel scale, differences between the appearances of differently stained tissue, changes in appearance, structure, and morphology between tissue regions in non-consecutive sections and the introduction of artifacts, tears, and deformations during processing of the micrometer-thin tissue sections。虽然现有文献已经解决了其中一些挑战，但几个具体问题仍未解决，需要进一步研究。

未来的研究方向包括开发能够准确对齐WSI的方法， despite the complexities introduced by deformable and non-rigid transformations, as well as missing and incomplete data；开发提供用户控制的管道，用于处理基于块级和WSI级配准；处理同一组织标本的多个连续切片时的多幻灯片配准框架；开发能够有效处理配准过程中伪影的配准方法；以及开发一个 universal metric，能够准确、公平地评估所有模型，同时在不同应用中保持相关性。

此外，预处理在WSI配准中起着至关重要的作用，改进这些预处理步骤可以显著影响配准结果的准确性和质量。同样，预对齐可能是WSI配准中一个非常重要的阶段，大多数模型都包含某种形式的预对齐策略。开发新的预对齐技术可能对未来的工作和改进现有模型有价值。

尽管有许多公开的WSI配准数据集，但大多数研究报道的结果是针对非公开数据集的。使用的数据集大多有大量数据，深度学习模型主要是在图像块上训练的，确保了大的训练数据集。虽然已经证明在一个数据集上训练的网络可以应用于未见过的数据集，其中两个图像域非常相似，但由于大多数WSI配准方法需要与各种标记的IHC图像进行配准，因此 close resemblance 的假设在许多情况下并不成立。

最后，基于本文献回顾的分析，深度学习在WSI配准中的应用显著上升，特别是在2020年后发表的文章数量和挑战赛中。各种神经网络架构已被探索用于此目的，其中CNN被广泛用于各种配准目的。此外，生成网络，包括GAN及其变体，已在许多研究中用于图像转换任务。其他架构如MLP、U-Net、SuperGlue和SuperPoint在配准过程的不同阶段找到应用。