零样本学习在多种环境下对玉米棒几何特征进行表型分析的应用

《Smart Agricultural Technology》：Zero-Shot Learning for Phenotyping of Maize Cob Geometric Traits in Diverse Environments

玉米棒几何特征零样本学习框架研究：摘要 本研究提出一种基于零样本学习（ZSL）的框架，通过整合Grounding DINO进行无标注玉米棒检测，结合轻量级SAM模型进行形状校正分割，并利用棋盘格校准实现几何参数（长度、直径、面积）的高精度计算。实验表明，该框架在实验室和田间场景中均表现出色，检测准确率高达98-100%，分割精度达99.6%，与人工测量相关系数r＞0.95，且与实际产量高度相关（r=0.95）。该方案显著降低了对标注数据和计算资源的需求，为玉米育种和精准农业提供高效工具。

　　本研究探讨了一种零样本学习（Zero-Shot Learning, ZSL）框架，旨在解决传统玉米穗表型分析方法在数据依赖性、高成本和模型泛化能力方面的局限性。玉米穗的几何特征，如长度、直径和面积，对于育种计划和产量估算具有重要意义。然而，传统的表型分析方法通常需要大量人工操作，成本高昂且难以扩展到大规模的田间应用。为了克服这些障碍，本研究结合了Grounding DINO和一个轻量级形状校正的Segment Anything Model（SAM），构建了一个用于玉米穗分割和几何特征估算的零样本学习框架。这一方法无需重新训练或微调模型参数，即可实现对不同基因型和背景条件下的玉米穗的高效识别。

通过在秘鲁公开数据集和四个自建数据集（涵盖实验室和田间环境）上进行广泛的实验，研究结果表明该框架在实验室环境中达到了100%的检测准确率，在田间环境中则达到了98%的检测准确率。此外，该框架中的轻量级MobileSAM在优化后的效率下实现了99.6%的玉米穗分割准确率，达到了12.90 FPS的速度。形状校正过程有效地去除了干扰性形状，从而提高了田间场景下的分割结果准确性。所估算的几何特征与人工测量结果之间表现出强相关性（r = 0.958–0.987），进一步验证了该框架在实际应用中的可行性。

在实验室环境中，玉米穗面积与实际产量之间的相关性达到0.95，这表明该框架在产量预测方面具有显著的实用性。本研究展示了零样本学习在玉米穗表型分析中的应用潜力，为实现精确农业和大规模育种提供了全新的解决方案。这项工作不仅提升了玉米穗几何特征的估算精度，还降低了计算资源的需求，使得实验室精度与田间适用性之间的差距得以弥合。

在研究方法方面，本研究通过多种数据集收集了玉米穗图像，这些数据集包括实验室和田间环境下的图像，以评估ZSL框架的性能。通过使用智能手机和文档相机，研究团队获取了来自不同农田和实验田的图像，并通过棋盘图案进行像素到毫米的转换，以确保测量的一致性和可扩展性。实验室中的玉米穗长度和直径通过标准尺和游标卡尺进行测量，而玉米穗的产量和水分含量则通过电子秤和水分计进行测量。所有数据集的统计信息如表1所示，其中涵盖了不同地点和场景下的图像数量和玉米穗数量。

ZSL框架的总体流程分为三个阶段。首先，使用Grounding DINO进行无监督对象检测，通过文本提示（如“玉米穗”、“棋盘”和“黑方块”）生成边界框和类别预测，无需任务特定的训练。然后，使用形状校正的MobileSAM进行实例分割，以提高分割质量。通过计算每个分割区域的面积，并进行基于面积的异常值过滤，以及形状校正操作，如形态闭合和凸包正则化，进一步优化了分割结果。最后，通过从优化后的分割区域中提取几何特征，如长度、直径和面积，并结合棋盘图案进行校准，实现了对玉米穗几何特征的精准估算。

为了评估ZSL框架的性能，研究团队使用了多种指标，包括交并比（Intersection over Union, IoU）、精确率（Precision）、召回率（Recall）、F1分数（F1-score）和准确率（Accuracy）。这些指标用于衡量检测和分割的准确性。此外，还通过计算均方根误差（Root Mean Square Error, RMSE）和皮尔逊相关系数（Pearson correlation coefficient, r）来评估几何特征估算的精度。在实验室和田间条件下，这些指标均表现出较高的性能，表明该框架在实际应用中具有良好的可靠性。

研究结果表明，ZSL框架在玉米穗检测和分割任务中表现优异。例如，在实验室条件下，使用“玉米穗”作为提示的模型达到了100%的准确率，而在田间条件下，准确率略低，但仍保持在98%以上。此外，MobileSAM在分割准确率（AP）方面表现出色，达到了99.6%，并且在计算效率上远超传统模型。通过形状校正，该框架有效提高了田间分割的准确性，使得玉米穗的几何特征估算更加可靠。

在玉米穗几何特征与产量之间的关系方面，研究团队通过多元线性回归分析了实验室和田间数据。结果表明，玉米穗的面积与产量之间存在高度显著的正相关（r = 0.95），而在田间条件下，结合长度和宽度的多元模型同样表现出色（R2 = 0.889）。这表明，在不同的环境条件下，选择合适的几何特征对于产量预测至关重要。在实验室中，使用面积作为单一预测变量的模型表现最佳，而在田间环境中，结合长度和宽度的模型能够更全面地捕捉基因型与环境之间的交互作用。

尽管ZSL框架在多个方面表现出色，但仍存在一些局限性和实际挑战。例如，该框架的零样本能力依赖于高质量的语义嵌入，对于罕见或描述不充分的玉米品种，获取准确的语义信息可能较为困难。此外，提示词的选择对检测结果有一定的影响力，特别是在田间环境中，提示词的细微差异可能导致分割准确率的波动。因此，研究建议对不同语言环境下的提示词进行优化和调整，以提高模型的适应性。

研究团队还指出，环境因素对模型性能有一定的影响。例如，在田间条件下，玉米穗的形态变化和遮挡效应可能导致分割精度的下降。此外，镜头畸变和拍摄角度倾斜也可能影响几何特征的测量精度。因此，未来的研究可以进一步探索更多鲁棒的分割方法，以及优化拍摄规范，以提高模型在不同环境下的表现。

综上所述，本研究提出的ZSL框架在玉米穗表型分析方面具有重要的应用价值。通过结合Grounding DINO和MobileSAM的优势，该框架不仅实现了高精度的检测和分割，还降低了计算成本和对专业知识的依赖。未来的研究将进一步优化模型在遮挡环境中的性能，并探索其在其他作物表型分析中的应用潜力。这将有助于推动精准农业的发展，提高全球粮食安全水平。