LeafGen：基于结构感知叶片图像生成的免标注叶片实例分割方法

为解决植物叶片实例分割中标注数据获取成本高、零样本模型性能不足的问题，研究人员开发了LeafGen框架，通过结合零样本分割模型（Grounded-SAM）与L-system结构建模，实现了无需人工标注的叶片图像-掩码对生成，并采用GAN进行图像细化。该方法在拟南芥、小松菜和石斑木数据集上显著提升了分割精度（AP@50最高达88.2），为植物表型分析提供了高效可靠的解决方案。

　　

植物表型分析是现代农业和植物科学研究的重要方向，其中叶片实例分割技术能够精确识别植株中每个叶片的形态，为量化植物生长状态提供关键数据。然而，现有基于深度学习的分割方法严重依赖大量人工标注的掩码图像，不仅耗费大量人力物力，而且模型在不同植物物种间的泛化能力较差。近年来，虽然零样本分割模型（如Segment Anything Model/SAM）展现出对未见对象的强大分割能力，但在处理叶片密集、遮挡严重的植物图像时，仍存在叶片漏检或合并的问题。这些局限性严重制约了植物表型分析的高效开展。

针对这一挑战，研究人员在《Plant Phenomics》发表了题为"LeafGen: Structure-aware Leaf Image Generation for Annotation-free Leaf Instance Segmentation"的研究论文，提出了一种完全无需人工标注的叶片实例分割训练框架。该研究通过整合零样本分割模型与程序化生成技术，实现了结构感知的叶片图像-掩码对自动生成，显著提升了分割模型的性能。

本研究主要采用以下技术方法：首先利用预训练的零样本分割模型Grounded-SAM（结合Grounding DINO和SAM）从真实植物图像中提取叶片掩码-纹理对；随后基于这些数据训练条件生成对抗网络（cGAN/Pix2Pix）作为叶片生成器；同时采用L-system程序化建模生成3D植物模型和对应的叶片掩码；最后通过GAN细化网络提升合成图像的视觉真实性。实验数据来源于公开的拟南芥（Arabidopsis）、小松菜（Komatsuna）数据集和自采集的石斑木（Rhaphiolepis）数据集。

2.1. Proposed Method: LeafGen

研究人员开发了LeafGen框架，通过结合零样本分割模型和程序化生成技术，实现了自动化的图像-掩码对生成。实验表明，该方法生成的叶片纹理能够准确反映植物的颜色和脉络结构特征，即使输入掩码形状因叶片遮挡而不完整，仍能保持较好的生成质量。

2.1.1. Self-supervised Training of Leaf-wise Texture Generation (Leaf Generator)

通过Grounded-SAM模型提取叶片掩码后，研究人员使用Pix2Pix架构训练图像到图像的转换网络。虽然预训练模型输出的掩码可能存在错误，但实验发现这些错误对叶片生成器的训练影响较小，因为网络后续会接收结构合理的掩码输入。

2.1.2. Structure-aware Mask Generation Using L-system

采用分层L-system建模方法，先定义叶片生成的L-system语法，再构建包含叶片语法元素的整体植物结构语法。通过这种层次化组合，最终生成可分解为单个叶片部分的3D植物模型。

2.1.3. Plant Image Composition and Refinement

研究发现简单的剪切-粘贴合成会产生不自然的伪影，因此训练了额外的GAN网络来提升图像真实性。定量评估显示，经过GAN细化的图像与真实图像的平均绝对误差（MAE）显著降低，在所有测试植物物种中都表现出更好的视觉真实性。

3.2. Deep Leaf Segmentation Results

在实例分割性能评估中，使用LeafGen生成数据训练的MaskDINO模型在AP@50和AP@75指标上均显著优于零样本基准方法。特别是在石斑木数据集上，AP@50达到88.2，比最好的零样本方法高出15.7个百分点。

3.3. Fine-tuning Existing Models

研究还探讨了使用合成数据对现有分割基础模型（如SAM）进行微调的效果。结果显示，虽然微调后的Grounded-SAM性能有所提升，但仍不及专门使用LeafGen生成数据训练的模型，表明该方法在免标注学习方面的独特优势。

3.4. Limitations

研究承认目前方法在精度上仍不及使用人工标注数据的监督学习方法，且L-system规则的设计质量会影响生成数据的质量。但框架本身并不强制要求使用L-system，任何能自动生成叶片掩码的方法都可集成到管道中。

该研究的结论部分指出，LeafGen框架通过自监督GAN训练和现代零样本分割模型的结合，为植物实例分割提供了一种全新的免标注解决方案。除了叶片分割，该方法还展示了扩展到其他植物器官（如枝条）的潜力，并在amodal实例分割（预测被遮挡对象的完整形状）方面具有应用前景。随着视觉基础模型的不断发展，未来可通过更丰富的自然语言提示来实现对叶片亚型或生长阶段的精细控制。

研究人员提供了用户友好的GUI前端工具和Docker打包的实现，大大增强了方法的可用性和可重复性。这项工作不仅推动了植物表型分析技术的发展，也为其他需要大量标注数据的计算机视觉任务提供了新的思路。