基于文本提示与跨模态注意力(TPA-Seg)的病理图像多类核分割方法

为解决病理图像中核分割精度不足及标注成本高的问题，来自未知机构的研究人员开发了TPA-Seg模型。该研究通过融合文本提示（形态/大小/位置等）与多尺度图像特征，结合度量学习和加权损失函数，显著提升多类核分割性能。实验证实其优于现有方法，为病理诊断提供了新范式。

　　

精准的病理图像核语义分割是临床诊断的关键环节。针对现有数据集规模受限且标注昂贵的问题，TPA-Seg创新性地引入文本提示作为先验知识——这些提示源自医学图像中细胞核的形态特征(morphology)、尺寸(size)、空间分布(location)及密度(density)等信息。模型采用双编码器架构：文本编码器提取语义特征，图像编码器生成多尺度特征图(multi-scale feature maps)，通过特征融合块实现跨模态交互。研究还引入度量学习(metric learning)和加权损失函数(weighted loss)以缓解小类别或小目标导致的特征丢失。多组病理数据集实验表明，该方法性能超越现有模型，同时验证了不同文本提示类型对性能的提升潜力。相关代码已开源，为病理图像分析领域提供了可解释性强的新解决方案。