编辑推荐：
为解决细胞核精确分割与分类难题，天津大学等机构研究人员开展基于多模态结构编码的细胞核分割与分类研究。结果显示该方法显著提升分割和分类精度，对增强组织病理图像分析、辅助疾病诊断意义重大。
在医学研究的微观世界里，细胞就像一个个神秘的小宇宙，而细胞核则是这个小宇宙的核心。精确地分割和分类细胞核，对于理解疾病的发生发展机制、辅助医生进行准确诊断至关重要。然而，传统的细胞核分割方法在面对复杂的组织病理图像时，就像是在迷雾中摸索，困难重重。比如，当细胞核密度较大、形态多样或者边界模糊时，传统方法常常 “束手无策”，分割结果也容易受到人为因素的影响。卷积神经网络虽然在一定程度上有所帮助，但面对复杂多变的真实病理图像，其泛化性能和鲁棒性也有待提高。此外，现有的方法在细胞核分类方面也存在不足，难以同时捕捉细胞核的形态特征和空间关系。
为了攻克这些难题，天津大学、青岛大学附属医院、青岛大学以及中南大学湘雅三医院的研究人员携手开展了一项极具创新性的研究。他们提出了一种基于图神经网络结构编码的框架，将视觉语言模型与图神经网络相结合，旨在实现细胞核的高精度分割和分类。这项研究成果发表在《BMC Bioinformatics》杂志上，为医学领域的细胞核研究带来了新的曙光。
研究人员在开展研究时，用到了几个关键的技术方法。首先，他们利用了对比语言图像预训练（CLIP）模型的视觉编码器和文本编码器，分别用于提取视觉特征和获取细胞核形态的语义表示。其次，采用视觉 Transformer（ViT）作为特征提取器，并通过知识蒸馏技术，将 CLIP 模型的知识传递给 ViT，增强模型对复杂细胞核结构的感知能力。此外，构建了基于图神经网络的分类器，用于学习细胞核之间的空间关系和上下文信息。在研究过程中，使用了多个公开数据集和自建数据集进行实验验证。
下面来看看具体的研究结果：
- 数据集：研究人员选取了 CPM-15、CPM-17、TNBC、Kumar 这四个公开数据集用于评估细胞核实例分割性能，还从 TCGA 肌肉浸润性膀胱癌队列的全切片图像中选取样本，构建了用于细胞核分类的自建数据集。
- 对比实验：将所提方法与多种现有先进方法进行对比。在细胞核分割任务中，在多个数据集上，该方法在 Ensemble Dice（DICE2）、Aggregated Jaccard Index（AJI）和 Panoptic Quality（PQ）等指标上表现优异。例如，在 Kumar 数据集上，PQ 指标比第二好的方法提高了约 1 个百分点；在 TNBC 数据集上，所有指标都显著优于其他对比方法，PQ 指标提高了约 1%。在细胞核分类任务中，以 F 分数（Fc）为评估指标，该方法在整体 F 分数以及免疫细胞、基质细胞和肿瘤细胞的分类 F 分数上均显著优于其他方法，整体 F 分数达到 0.858，比第二好的方法高出约 2.3 个百分点。
- 性能与资源消耗：在计算效率方面，与其他代表性方法相比，该方法在处理 270×270 像素图像时，推理时间仅需 45.6ms，GPU 内存消耗为 8.4GB，展现出了较高的计算效率，在保持高精度的同时，实现了较好的性能。
- 消融实验：通过消融实验研究了特征融合和知识蒸馏等组件的作用。结果表明，多尺度特征融合和知识蒸馏都能显著提升模型性能。例如，从单尺度特征到多尺度特征的转变，使 DICE 指标从 0.805 提升到 0.825；使用知识蒸馏策略后，DICE 分数从 0.810 提升到 0.830。此外，实验还验证了 CLIP 模型在病理图像领域的适应性，引入病理图像进行预训练能显著提升模型性能。同时，对节点特征配置和损失函数组件的研究也进一步验证了模型设计的有效性。
在研究结论和讨论部分，研究人员提出的多模态融合方法在细胞核分割和分类任务中表现出色。多尺度特征融合模块整合了不同空间尺度的视觉信息和高级语义特征，提升了对细胞形态和上下文的理解。多任务解码器设计创新，同时进行细胞核分割、边界检测和类型预测，提高了计算效率，增强了模型实用性。图构建方法有效地捕捉了细胞间的空间关系和上下文信息，基于图的分类方法使模型能在更广泛的上下文中进行分类决策。尽管该方法取得了优异的成果，但在缩小自然图像和病理图像之间的领域差距方面仍有提升空间。未来，研究人员计划将该框架扩展为统一的基于图的核检测和分类模型，并应用于更多癌症类型和不同器官的病理分析，进一步挖掘其在临床实践中的潜力和价值。这项研究为细胞核的研究提供了新的思路和方法，有望推动医学领域在疾病诊断和治疗方面取得更大的进展。
