细胞图像的革新：Cellpose3 一键图像恢复技术

Cellpose3采用基于深度学习的图像恢复方法来改善细胞分割，即使在受噪声、模糊或欠采样影响的图像上也表现出很强的广义性能。

　　

细胞图像的革新：Cellpose3 一键图像恢复技术

在生物学研究领域，细胞图像的精准分析对揭示细胞的结构、功能以及各种生命过程至关重要。近期，来自 HHMI Janelia Research Campus 的 Carsen Stringer 和 Marius Pachitariu 在《Nature Methods》期刊上发表了题为 “Cellpose3: one-click image restoration for improved cellular segmentation” 的论文。该研究成果意义重大，它针对显微镜成像中常见的噪声、模糊和欠采样等问题，开发出 Cellpose3 这一创新工具，为细胞图像的分析带来了更高效、准确的解决方案，推动了生物学研究在细胞层面的深入探索。

一、研究背景

显微镜技术在生物研究中应用广泛，但在实际操作中，诸多因素限制了图像质量。比如，部分生物样本会因照明光受损，荧光传感器在延时显微镜观察中可能发生漂白现象，这两种情况都需要降低照明强度，进而增加散粒噪声。增大共聚焦或宽场显微镜的光圈虽能减少散粒噪声，却会导致图像模糊。此外，厚组织显微镜成像会因光散射和像差产生模糊和散粒噪声，而一些大样本高分辨率成像耗时过长，采集时往往会进行欠采样。这些因素使得图像在多种显微镜应用中会出现散粒噪声、模糊或欠采样等退化问题。

现有的细胞分割模型，如 Cellpose，在退化图像上的分割效果不佳，这可能是由于训练数据集中噪声图像较少。为了在退化图像上进行分割，传统的图像恢复方法采用线性和非线性滤波，有时还会结合矩阵分解方法；现代方法则使用深度神经网络，但这需要成对的干净和退化图像进行训练，在实际实验环境中，获取这样的图像对较为困难。像 Noise2Self 和 Noise2Void 这类方法，虽能在无干净图像的情况下预测去噪像素值，但依赖像素间噪声的独立性，无法扩展到其他类型的图像恢复，且现有去噪技术依赖的像素重建损失，对后续的图像分析任务（如分割）可能并非最优。

二、研究材料和方法

（一）数据来源

研究使用了多个公开可用的数据集来训练模型，包括 Cellpose cyto2 数据集（包含来自不同来源的细胞图像）、Cellpose nucleus 数据集（核图像）、TissueNet（多种组织类型的荧光显微镜图像）、LiveCell（不同细胞系的相差显微镜图像）、Omnipose（细菌荧光和相差显微镜图像）、YeaZ（酵母细胞的相差和明场图像）、DeepBacs（细菌的明场和荧光成像图像）等。此外，还生成了新的数据集，如用双光子钙成像技术收集的小鼠神经元图像。

（二）模型架构

Cellpose3 采用与 Cellpose 模型相同的架构，是基于 U-net 的深度神经网络，包含四个下采样块和四个上采样块，每个块有四个带残差连接的卷积层。该模型以单张噪声图像为输入，输出去噪后的图像。

（三）训练方法

使用 AdamW 优化器进行训练，学习率在前 10 个 epoch 从 0 到 0.001 线性增加，后 100 个 epoch 每 10 个 epoch 减半，每个网络训练 2000 个 epoch。训练时对图像进行多种操作，如调整大小、随机裁剪、添加噪声（Poisson 噪声）、模糊（高斯模糊）和下采样等，以增强模型的鲁棒性。同时，定义了多种损失函数，包括重建损失（预测图像与真实图像的均方误差）、分割损失（使用 Cellpose 的分割损失计算方法）和感知损失（计算神经网络激活的相关矩阵的均方误差）。

（四）对比实验

将 Cellpose3 与 Noise2Void、Noise2Self、DenoiSeg 和 CARE 等去噪模型进行对比。针对不同模型，按照其各自的论文描述进行训练和测试，并在多个数据集上评估分割性能，使用平均精度（AP）等指标量化分割质量。

三、研究结果

（一）模型设计和验证

研究人员通过向 Cellpose 测试集中的图像添加不同程度的 Poisson 噪声，构建了含像素噪声的多样本数据集。在测试数据上应用 Noise2Void 和 Noise2Self 这两种已有的去噪技术，发现去噪后的图像虽在部分情况下提高了分割精度，但仍有部分图像的精度下降。

为改进这些方法，研究人员训练了一个单一的去噪网络。在训练过程中探索了三种不同的训练目标：标准像素重建损失、新型分割损失和感知损失。结果显示，使用像素重建损失训练虽能恢复图像质量，但有时会去除或模糊细胞边界，影响分割效果；使用分割损失训练能使细胞边界更清晰，但恢复后的图像与干净图像在感知上仍有差异；将感知损失和分割损失相结合，得到的最终去噪网络 Cellpose3，在保持与真实图像视觉保真度的同时，显著提高了分割性能。

在多个实验数据集上的测试表明，Cellpose3 在去噪后能有效提高细胞和细胞核图像的分割质量，且在不同激光功率下采集的果蝇翼上皮细胞和小鼠神经元图像上，表现均优于其他去噪方法。同时，Cellpose3 去噪还能提升其他分割算法（如 Stardist）的分割质量，且未发现该方法会产生细胞幻觉现象。

（二）去模糊和上采样

研究人员尝试将 Cellpose3 的方法应用于去模糊和上采样任务。对于去模糊，在训练时对图像添加随机空间大小的高斯模糊，测试时调整模糊程度使分割性能近似降低一半。结果显示，训练后的网络能够对多种细胞图像进行去模糊处理，显著提升了分割性能。对于上采样，训练网络对下采样的图像进行处理，测试集同样设置为使分割性能降低一半，上采样网络能够恢复部分视觉细节并改善分割效果。在处理三维数据的轴向切片时，Cellpose3 也能有效减少图像退化，提高三维分割性能，不过基于二维的方法在连续切片上可能会产生轻微差异，有时需要进行平滑处理或使用三维专业恢复方法。

（三）一键图像恢复

研究人员训练了一个 “一键” 模型，该模型可以在不指定退化类型或数据集类型的情况下运行。训练这个单一恢复模型时，首先训练了一个超级通用的 “cyto3” 分割网络，用于计算分割和感知损失。通过调整训练过程中数据集的采样概率，避免大而均匀的数据集主导成本函数的统计。实验发现，这个 “一键” 模型在 Cellpose 和细胞核测试集上的性能与特定数据集和退化类型的模型相似，在其他七个数据集上也表现良好。

四、研究结论和讨论

Cellpose3 这一创新方法通过优化下游的分割任务，而非单纯优化图像重建，实现了对生物图像的有效恢复。与盲反卷积方法类似，Cellpose3 在测试时无需干净图像，通过在大量多样的数据集上进行训练，在新图像上实现了较高的泛化能力。

尽管 Cellpose3 侧重于分割而非重建，但由于使用了感知损失，恢复后的图像在视觉上更具吸引力，这有助于用户采用 Cellpose2 中的人工标注方法创建手动注释。研究还讨论了去噪图像在科学研究中的使用，鉴于现代去噪器可能会 “发明” 某些图像特征，提出了两种使用 Cellpose3 的方法：保守方法是使用 Cellpose3 检测和分割细胞，但在原始图像上进行生物定量分析；更宽松的方法是在去噪图像上进行所有分析，但需要有匹配的对照图像来验证方法的可靠性。

Cellpose3 的出现为生物图像分析领域带来了新的突破，它能够有效处理多种类型的图像退化问题，提高细胞和细胞核的分割精度，为生物学研究提供了更强大的工具。其 “一键” 恢复功能也极大地简化了操作流程，提高了研究效率，在未来的生物医学研究、细胞生物学等领域具有广阔的应用前景。