《Advanced Intelligent Discovery》：Cell Segmentation Beyond 2D—A Review of the State-of-the-Art
编辑推荐：
这篇《超越二维的细胞分割——最新技术综述》系统性地梳理了三维显微成像背景下细胞分割的最新进展。文章深入探讨了传统二维方法忽略空间信息的局限性，并创新性地对利用深度信息的策略进行了分类。作者清晰地定义了伪三维（2.5D）与全三维（3D）方法，从原理、计算效率、应用数据集及评估指标等多维度进行全面对比。文章不仅详尽评述了31种前沿深度学习算法，还整理了32个高质量的容积数据集，为领域内研究者提供了宝贵的标准化数据参考和未来研究基准。本文是生物医学图像分析，特别是细胞形态学、迁移和分裂等三维过程量化研究领域一份极具价值的指南。
细胞分割是生物图像分析的基石，它使得细胞追踪、计数和表型分析等下游应用成为可能。近年来，深度学习显著提升了分割的准确性，促使其在研究与临床工作流程中得到广泛应用。然而，当前大多数方法仍基于二维图像操作，忽视了第三维（即深度维度）所蕴含的空间信息。这一忽视是关键性的，因为细胞形态、迁移和分裂本质上都是三维过程。随着现代显微技术能够提供高通量的容积成像，充分利用三维数据的方法迎来了新的机遇。
1 引言
细胞分割是生物学和药学研究中的一项基本任务。在显微图像分析中，分割指的是从背景中勾勒出单个细胞或其组成部分的过程。这一步骤将原始图像数据转化为结构化、可量化的对象，用于统计分析、建模和假设检验。准确的分割不仅为图像解读提供了内在价值，更是细胞追踪、计数和有丝分裂检测等关键下游分析的基础。手动分析显微图像耗时耗力且需要高度专业化的知识。自动化这些过程可显著减少对专家干预的需求，从而加速治疗开发和实现更精准的早期疾病检测。
深度学习的进步推动了全自动细胞分割流程的发展。其中的一个关键里程碑是U-Net架构的引入，它在2015年ISBI细胞追踪挑战赛中取得了巨大成功，尽管其训练仅使用了35张标注图像。U-Net的成功证明了深度学习在生物医学图像分割中的可行性，并催生了一系列强大的二维方法。然而，二维分割方法存在一个根本性局限：它们丢弃了第三维中潜在的有价值空间信息。现代成像技术，如三维共聚焦显微镜，通过沿Z轴获取多个焦平面的图像来捕获容积数据。这允许对细胞形态进行更完整和真实的呈现，使得对增殖、迁移、有丝分裂和细胞死亡等现象的洞察成为可能，而这些现象仅从二维投影中难以推断。
为了利用三维样本表征中的特有知识，新兴的计算机视觉和机器学习方法开始纳入Z维度，旨在实现对细胞结构更准确、更逼真的分割。为了在本综述中保持清晰和一致，这些方法被组织成一个概念框架，根据它们整合深度信息的方式分为两大类：
- •
全三维方法：处理容积输入和输出，通常采用三维深度神经网络或经典的三维图像处理技术。
- •
2.5D方法：通过在不同深度使用多个二维输入来利用Z维度，避免了与全三维方法相关的沉重计算负担。
2 搜索流程与评估标准
相关文献通过系统检索学术数据库（主要以Google Scholar为主）来识别。使用了与2.5D和三维显微细胞分割相关的关键词组合。为确保覆盖范围，检索还辅以检查相关论文中引用的文献以及后续引用它们的工作（前提是这些工作在初步检索中未被捕获）。纳入资格根据以下标准确定：研究聚焦于显微图像分割；采用三维深度学习技术，或采用二维深度学习技术但明确纳入Z轴信息；提出了新的深度学习方法而非仅仅重用现有框架；且经过正式同行评审。
3 领域概述
本节概述超越二维的细胞分割的关键方面，包括惯例、术语和数据。描述了用于分割的数据集中发现的显微成像模式，并总结了属于细胞分割范畴的不同生物结构。鉴于“2.5D”一词在显微图像分析中目前定义不清，本文提出了2.5D与三维方法的明确区分。随后总结了常用的评估指标，并讨论了该研究领域相关的可用数据集。
3.1 显微成像模式
显微成像模式是指用于可视化生物样本的各种成像技术，每种技术依赖不同的物理原理来产生图像对比度。这些方法在分辨率、样本制备要求、对比机制和维度方面差异很大。理解不同模式的特性至关重要，因为它们强烈影响细胞结构的外观、在其上训练的分割算法的性能，以及深度学习模型跨数据集的泛化能力。在广泛使用的分割基准中，最具代表性的模式是荧光（宽场、共聚焦、光片）以及用于无标记成像的明场/相差和微分干涉相差（DIC），以及较少用于活体成像的、用于超微结构观察的电子显微镜。
宽场荧光显微镜 使用特定波长照明激发通过染色或遗传标记引入的荧光团；这些荧光团发射更长波长的光，从而能够对细胞核、膜或蛋白质等细胞成分进行高度特异性标记。该技术提供高对比度和分子特异性，但可能引入光漂白/光毒性以及制备诱导的细胞生理扰动。宽场荧光图像堆栈通常在多个焦距深度获取，并重建为三维容积，特别是使用共聚焦显微镜等光学切片仪器。
共聚焦荧光显微镜 通过使用聚焦点（或线）照明和检测针孔来拒绝离焦光，从而提高了对比度和轴向分辨率。图像通过扫描样品上的焦点来构建。这种光学切片能够实现高分辨率的三维堆栈，是生物医学研究中容积细胞成像的标准选择。与宽场荧光图像相比，使用共聚焦成像技术获取的容积通常模糊较少，因此物体轮廓更清晰，简化了专家和算法的分析过程。
相差显微镜 通过将透射光的相位差转换为强度差，增强了透明、未标记样本的可见性，允许无需外源标记即可对活细胞进行成像。虽然非常适合培养的薄细胞和时间序列研究，但与荧光相比，相差缺乏分子特异性，并且特征性的光晕会使定量分析复杂化。当需要突出特定结构时，相差也可以与荧光结合用于多模态采集。
电子显微镜 通过使用电子束而非可见光进行成像，实现纳米级分辨率，揭示细胞器、膜和大分子组装体的超微结构细节。生物电子显微镜通常需要固定和脱水的真空样本（有替代方法如冷冻方法），这排除了传统工作流程中的活细胞成像。根据技术不同，透射电子显微镜观察内部超微结构，而扫描电子显微镜强调表面拓扑结构。
3.2 定义2.5D
“2.5D”一词在医学图像分析文献中已得到公认，表示那些在二维模型的计算效率和三维模型的空间感知能力之间取得平衡的分割技术。例如，Avesta等人将2.5D分割定义为使用多个连续切片来分割中心切片。Zhang等人明确将2.5D方法定位在“完全二维和完全三维之间”，无论是在架构复杂性还是性能权衡方面。Xia等人也呼应了这一观点，指出“2.5D方法在医学图像分割领域被广泛使用，以平衡二维和三维方法的缺点。”
尽管在相关领域具有相关性，但在细胞分割的背景下，2.5D和三维方法之间的区别仍然定义不清。许多基于深度学习的方法以切片方式操作，但并未明确将自己标识为2.5D。尽管这些方法生成了容积输出，但底层计算是在二维切片上执行的，要么单独处理，要么以小组形式处理，而不是直接处理完整的三维容积。为了澄清这一区别，本综述将2.5D分割方法定义如下：
一个分割方法被认为是2.5D的，如果它通过操作二维切片（或其拼接）并将所得输出聚合为完整的三维表示，从而从容积输入生成容积分割掩码。
为了进一步构建2.5D方法的格局，我们采用Zhang等人提出的分类，将2.5D方法区分为以下三种主要模式：
多视图：该模式利用每个正交轴（X-Y, X-Z, 和 Y-Z）上的一个或多个图像平面来近似三维中的物体形状。这些视图通常以物体质心为中心，以提高对准和精度。虽然在医学成像中常见，但多视图在显微镜中较少使用，因为图像堆栈通常沿单一轴（通常是Z轴）采集。这一观察结果是基于第4节中的比较和讨论得出的。
切片间：切片间方法通过纳入其相邻切片（最常见于Z维度）的上下文信息来优化中心切片的预测。虽然常用三个切片（中心+相邻），但数量是灵活的。尽管该模式在几何准确性上可能不如多视图公式，但它与容积显微数据自然兼容，因为容积显微数据通常是作为连续的二维平面采集的，并且可能在轴向上表现出不均匀的采样。
二维和三维特征融合：这个更广泛的类别包括结合了来自二维和三维模型的特征或预测的方法。通常，这些方法使用三维信息来优化或上下文化基于切片的二维分割。当三维处理对于产生连贯的容积结果是不可或缺的，但不构成主要的计算途径时，方法被归入此类。
需要注意的是，这些类别并非互斥。许多方法融合了多种模式的元素。这些区别应被视为一个谱系，不同方法强调空间上下文和内存效率的不同权衡。
3.3 定量评估
除了定性评估，定量评估对于客观衡量分割算法的预测性能至关重要。这对于实例分割尤其如此，因为在二维和三维设置下都有几种完善的度量标准。虽然这些度量标准通常旨在量化预测掩码与真实标注掩码区域之间的相似性，但它们在数学定义这种相似性的方式上有所不同。本小节概述了用于评估分割质量的最常用度量标准。
交并比 量化两个物体（通常是预测分割掩码和对应的真实标注）之间的重叠程度。它也被称为Jaccard相似性指数。
分割分数 是IoU的一个变体，用作基于对象的Jaccard指数，以评估分割与真实标注的匹配程度。该度量被ISBI细胞追踪挑战赛用作主要的分割质量度量。
平均精度均值 是用于评估实例分割和目标检测性能的标准度量。它基于IoU准则量化预测目标掩码与真实标注掩码的对齐程度。为计算mAP，首先针对给定的IoU阈值确定平均精度。然后，通过在一组IoU阈值上平均AP值来计算mAP。在分类场景中，mAP也可以跨类别平均。该度量提供了模型性能的稳健估计，捕捉了在不同分割严格程度下模型如何平衡精度和召回率。
Dice系数 定义为预测掩码与真实标注掩码交集的两倍除以它们像素（或体素）数之和。Dice与IoU正相关，一个度量得分高通常意味着另一个度量得分也高。
豪斯多夫距离 测量从一个集合中的点到另一个集合中最近点的最大距离。它提供了边界未对准的最坏情况估计。
调整兰德误差 源自兰德指数（一种聚类相似性度量），并针对分割评估进行了调整。较低的ARE值表示较高的分割质量，0代表完全一致，1代表完全不匹配。
信息变异 是一种基于熵的聚类质量度量。它通常分为VoIsplit和VoImerge，分别表示分裂错误（过分割）和合并错误（欠分割）。
全景质量 是为全景分割而引入的，对类别不平衡具有鲁棒性。对于每个类别，计算真阳性、假阳性和假阴性以及IoU。PQ测量匹配对的平均IoU，惩罚未匹配的预测和真实标注实例。
分割准确率 与mAP类似，取决于所选的IoU阈值。注意，与经典分类准确率不同，真阴性不予考虑。在分割任务中，真阴性通常指背景像素，其常常主导图像并可能扭曲评估。
3.4 数据集
得益于现代显微镜的进步，细胞图像数据现在可以快速、高分辨率地获取。然而，对此类数据的算法分析仍然严重依赖于人工标注的标签，这仍然是一个重大瓶颈。例如，为密集图像（如LIVECell数据集中的图像）标注单个二维分割掩码平均需要约26秒。创建三维标注则更加耗时，通常每个容积细胞实例需要大约5到2分钟。尽管弱监督分割技术的最新进展减少了标注时间，但高质量、完全标注的数据集仍然稀缺，特别是在三维领域。相比之下，大量未标记的显微图像和图像堆栈存储库则广泛可用。此外，许多知名数据集，如LIVECell或EVICAN，完全由二维图像组成，使其不适合训练和评估在三维或2.5D下运行的分割技术。
以下部分提供了一份支持超越二维分割的数据集非详尽列表。要纳入，数据集必须包含容积或Z堆栈数据；至少部分标注；并且要么在表1总结的方法中的一个或多个中被使用，要么特别庞大或以其他方式值得注意。表2概述了它们的关键属性，图1展示了视觉示例。
