《Displays》：Automated prompt-guided multi-modality cell segmentation with shape-aware classification and boundary-aware SAM adaptation
编辑推荐：
多模态细胞分割框架创新性地整合了图像标准化、自动点提示生成、形态感知分类和边界优化机制，有效解决显微镜图像跨模态分割中的形态复杂性和重叠细胞识别难题，显著提升分割精度与自动化水平。
作者：Deboch Eyob Abera、Jiaye He、Jia Liu、Nazar Zaki、Wenjian Qin
中国科学院深圳先进技术研究院，中国广东省深圳市深圳大学城学苑大道1068号，518055
摘要
在显微镜图像分析中，跨多种成像模式的鲁棒且准确的细胞分割仍然是一个关键挑战。虽然像Segment Anything Model（SAM）这样的基础模型在自然图像分割方面表现出色，但它们在多模态细胞分析中的应用受到领域特定知识空白和形态复杂性的限制。为了克服这一挑战，我们提出了一个基于SAM的新框架，该框架包含三个系统性创新：首先，我们提出了形状感知分类（Shape-Aware Classification）来增强对具有不同形态的细胞的分割；其次，自动点提示生成（Auto Point Prompt Generation，APPGen）模块通过自动生成的点线索指导分割模型，以提高分割精度；第三，我们实现了边界感知的SAM适应（Boundary-Aware SAM Adaptation）来有效解决显微镜图像中重叠细胞的问题。实验表明，所提出的框架通过自动化提示减少了人工工作量，能够很好地适应不同的成像模式，并通过结合边界感知技术提高了分割精度。源代码可在以下链接获取：
https://github.com/MIXAILAB/Multi_Modality_CellSeg引言
多模态细胞分割是指从不同的显微镜模式（如明场、相位对比、差分干涉对比（DIC）和荧光显微镜）中准确识别和分割单个细胞的过程。这些模式共同使研究人员能够从器官中提取关于细胞的全面信息，从而加深我们对生物系统和疾病机制的理解[1]、[2]。
细胞分割方法大致可以分为特定模态方法和多模态方法。特定模态方法是为某种类型的显微镜（如荧光或明场）设计和优化的，当应用于不同模态时通常需要重新训练或微调[3]、[4]。相比之下，多模态分割方法旨在无需大量调整即可跨多种成像模式进行操作[2]。
除了模态依赖性之外，分割方法还可以分为三种算法范式：传统图像处理[5]、[6]、机器学习[7]、[8]以及基础模型[10]、[11]、[12]。
深度学习（DL）在各种视觉任务中的最新进展使其在显微镜图像分析中得到了广泛应用[13]、[14]。值得注意的应用包括用于细菌细胞分割的Omnipose[4]、用于一般细胞分割的Cellpose[15]、2018年Data Science Bowl挑战赛中的多模态实验核分割任务[16]，以及早期的活细胞分割研究[3]，所有这些方法都展示了强大的性能。然而，大多数这些方法都是为特定成像模式设计的，通常需要手动调整参数，这限制了它们的适应性和可扩展性。开发一种能够跨多种显微镜模式通用且完全自动化的分割方法仍然是一个开放且关键的挑战。
基础模型的出现为跨任务和模态的泛化带来了新的范式转变。Segment Anything Model（SAM）就是一个例子，它通过基于提示的指导实现了零样本性能，在自然图像分割中取得了令人印象深刻的结果[10]。尽管在自然图像领域取得了成功，但SAM在应用于显微镜图像时面临三个主要限制：（1）领域差异——显微镜图像在对比度、分辨率和结构复杂性方面与自然图像有很大不同，这使得准确分割变得困难；（2）提示依赖性——SAM依赖于手动提供的提示，限制了完全自动化并需要专家输入；（3）实例分割限制——SAM经常无法区分密集排列或重叠区域中的单个细胞，而这在生物医学应用中的实例级分割中至关重要。这些限制突显了需要对基础模型（如SAM）进行特定任务的调整，以应对多模态医学图像分割的独特挑战。
最近在将SAM应用于医学图像分割方面的研究主要在三个领域取得了进展：语义分割[17]、[18]、交互式提示增强[19]、[20]以及任务特定的微调[21]、[22]。在本文中，我们的目标是提出一种新的方法，以解决多模态显微镜图像中细胞实例分割的关键挑战，超越针对一个或少数特定数据集设计的算法的局限性（见图1）。为此，我们提出了四个关键贡献：首先，我们引入了图像标准化模块（Image Standardization Module），将输入统一为一致的格式，以解决多模态显微镜图像中的异质性问题，例如空间维度、通道配置和强度分布的变化。这一策略为在多种成像场景中的鲁棒性能奠定了基础；其次，我们提出了自动点提示生成（APPGen）模块，以消除对手动注释的依赖并自动化分割提示的提取；第三，我们提出了形状感知分类模块（Shape-Aware Classification Module），根据细胞的形态特征（如圆形、长条形、紧密排列的球形、不规则形状和弱边界）对对象进行分类。通过结合这一模块，模型对细胞形态有了更深入的理解，从而在训练不同细胞结构时能够更好地收敛和提高精度。我们的消融研究表明，这一策略显著增强了模型在不同细胞类型和排列下的泛化能力；最后，我们引入了边界感知的SAM适应（Boundary-Aware SAM Adaptation）机制，该机制利用距离图引导的损失函数和边界感知优化来改进分割掩膜。这一策略特别解决了重叠或紧密聚集的细胞中的实例分割问题，即使在复杂场景中也能确保对单个对象的精确划分。本工作的贡献总结如下：
- 提出了一种统一的框架，用于解决多模态显微镜图像中的细胞实例分割挑战，确保在各种数据集上的鲁棒性能。
- 开发了自动点提示生成（APPGen）模块，通过自动生成的点线索指导分割模型，从而消除了对手动注释的需求并提高了分割精度。
- 提出了一个结合形态先验的形状感知分类模块和边界感知的SAM适应机制，用于过滤假阳性结果，并利用距离图引导的分割来精确分离重叠细胞，最终提高了整体精度。
方法概述
分割的基础模型
先前的研究，如Cellpose[15]、HoVer-Net[23]、StarDist[24]以及其他方法[1]、[25]、[26]，已经引入了先进的细胞分割方法，特别是在处理密集排列或重叠细胞的情况下。然而，这些方法在应用于不同模态时需要大量的手动参数调整或重新训练。更近期的方法，如MEDIAR[27]（细胞分割挑战赛的获胜者）和SRIBD-Med团队[28]，
方法概述
本节介绍了所提出框架的概述，该框架包括两个主要组成部分——训练阶段和测试阶段，如图2所示。该方法旨在有效处理多模态显微镜数据的变异性，并确保在不同成像平台和组织类型上实现精确、自适应的细胞分割，而无需额外的参数优化。
训练过程从图像标准化模块开始，随后是真实值的精细化处理，
实现和训练细节
我们的框架基于三个核心组件：分割模型（Segmentation model）、自动点提示生成模型（Auto-Point Prompt Generative，APPGen）和分类模型（Classification model）。数据集的组成严格遵循公开发布的NeurIPS多模态细胞分割挑战赛数据集[2]。我们研究中使用的数据集包括公共数据集和挑战赛专用资源[2]。公共数据集包括Omnipose[4]、CellPose[15]和Sartorius[45]。挑战赛专用资源来自NeurIPS
结论
在这项研究中，我们提出了一个通用的细胞分割框架，旨在准确分割多种显微镜模式下的不同细胞形态，包括明场、荧光、相位对比和DIC成像。该框架集成了四个关键组件：一个用于模态不变处理的图像标准化模块，一个自动点提示生成机制，消除了对手动交互的需求；以及一个形状感知分类模块，以提高分割精度
CRediT作者贡献声明
Deboch Eyob Abera：撰写——原始草稿、可视化、验证、软件开发、方法论设计、数据分析、概念化。Jiaye He：撰写——审稿与编辑、调查。Jia Liu：撰写——审稿与编辑、调查。Nazar Zaki：撰写——审稿与编辑、调查、验证。Wenjian Qin：撰写——审稿与编辑、监督、资源获取、资金筹措、概念化。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
