DiffPlantCT：一种无需训练、无需标注的跨物种植物CT图像分割方法

《Plant Methods》：DiffPlantCT: a training-free, annotation-free approach to cross-species plant CT image segmentation

　　

摘要

传统的基于深度学习的植物计算机断层扫描（CT）图像分割方法需要大量高质量的手动标注数据来进行针对每个物种的模型训练，这导致了高昂的人工成本，并且对新物种的适应性较差。这些限制阻碍了CT成像在大规模跨物种植物表型分析中的应用。因此，开发无需注释和训练的植物CT图像分割方法在降低研究成本和提高跨物种分析效率方面具有重要的研究和应用价值。为此，我们提出了一种用于跨物种植物CT图像的无监督零样本分割框架DiffPlantCT。该框架首先将所有2D切片进行分割，然后按照原始顺序重新组装，生成3D CT分割结果。对于每个切片，该框架通过结合预训练稳定扩散模型中的自注意力层提供的一般语义先验与原始图像的固有灰度分布，直接构建具有区分性的聚类特征，从而完全避免了手动注释的需要。该方法最终仅通过无监督聚类输出分割结果，实现了无需任何模型训练或微调的零样本泛化。为了评估DiffPlantCT在跨物种分割中的可行性，我们在两个公共数据集（核桃果实和大麦穗）和两个自收集的数据集（小麦穗和稻穗）上对其分割性能进行了基准测试。结果表明，DiffPlantCT取得了最佳性能，其整体mIoU比现有的最先进无监督方法提高了41.6%。我们首次成功实现了无需注释和训练的跨物种植物CT图像分割。