利用实例分割和监督条件生成对抗网络（Supervised Conditional GAN）从被遮挡的生菜冠层中提取叶片形态特征

《Journal of Allergy and Hypersensitivity Diseases》：Extracting Leaf Morphological Traits within Occluded Lettuce Canopies Using Instance Segmentation and Supervised Conditional GAN

针对密集树冠下叶片形态精确测量难题，本研究提出一种自动化流程，结合实例分割与监督型条件生成对抗网络（CGANs），通过体内外数据对应关系训练模型，验证YOLOv8s-Seg和pix2pix分别最优，在60%叶片完整性时补全准确率最高，为智能农业监测提供新范式。

　　

张关康|朱文婷|马书涛|黄灿增|刘后成|古松|郭伟|杨毅

华南农业大学电子工程学院（人工智能学院），中国广州510642

摘要

在密集遮挡的树冠中精确测量叶片形态对于优化植物生长管理和提高农业系统中的作物产量至关重要。叶片在遮挡条件下的完整度是提高表型测量准确性的关键。尽管基于RGB的条件生成对抗网络（CGANs）方法在叶片补全方面具有成本效益和高效率，但它们难以捕捉单个叶片的特征、建立准确的成对对应关系以及量化遮挡的影响。以球叶生菜为研究对象，本研究提出了一种自动化流程，该流程将叶片提取的实例分割与用于叶片补全的监督式CGAN框架相结合。我们开发了数据采集和图像处理工作流程，以建立体内-体外对应关系，用于训练监督式CGANs。综合评估表明，YOLOv8s-Seg是最优的分割模型，而pix2pix是最有效的补全网络。在叶片补全方面，pix2pix的叶片面积估计R²值为0.948，RMSE值为2.851平方厘米，语义相似性（SAMScore）值为0.9744，证明了从外部轮廓和内部解剖特征出发能够准确重建叶片形态。此外，研究结果展示了利用成对训练数据的监督式CGANs相较于使用非成对数据的无监督式CGANs的优势，并揭示了叶片补全准确性与完整性水平之间的性能变化规律：在叶片完整性约为60%时达到最佳性能。我们这种自动化、成本低廉且高度可扩展的流程有望成为现代农业系统中智能植物监测与管理以及表型研究中遮挡分析的新范式。