基于自监督学习的多样化种植制度下作物产量预测研究

《Artificial Intelligence in Agriculture》：Self-supervised learning for crop yield prediction across diversified cropping systems

　　

深度学习模型已成为农业各领域任务的有力工具（Kamilaris and Prenafeta-Boldú, 2018），可应用于作物类型分类与制图（Nowakowski et al., 2021）、作物产量预测（Nevavuori et al., 2019）、资源需求估算（Escalante et al., 2019）以及病害监测（Tetila et al., 2020）等不同任务。特别是，利用无人机搭载相机获取的标注图像对卷积神经网络（CNN）进行有监督训练，一直是预测田块内部及田块间空间变异最常用的方法之一。 种植制度本质上具有多样性，尤其是在中小型田块中。由于土壤性质、管理措施、物候阶段、小气候以及作物特有的形态特征等方面的差异，田块内和田块间的田间条件各不相同（Hernández-Ochoa et al., 2022）。与此同时，不同作物类型在冠层结构、视觉外观和产量分布上存在显著差异，而管理措施又进一步改变了田间纹理和植株发育（Kattenborn et al., 2021）。 因此，在多样化种植制度下，用于作物产量预测的有监督学习方法通常需要针对每种作物类型、管理条件或田间情境分别建立单独的模型。由于标注数据稀缺（Alzubaidi et al., 2021），这在技术上要求高且具有挑战性。虽然无人机图像采集可在生长季内多次进行，但获取高质量标注仍是主要瓶颈。例如，产量测量只能在收获后获得，而胁迫症状、病虫害暴发和物候阶段的标注则需要在狭窄的时间窗口内由专家知识完成。因此，标注工作资源密集且导致数据集规模有限。 图像获取的相对便捷性与标注采集的约束之间的差距，常常导致模型在不平衡或不完整的数据分布上训练。因此，这些模型倾向于偏向训练数据中的主导模式，同时对来自代表性不足模式的噪声或信息量较少的样本过拟合（Ye et al., 2022）。这一问题限制了模型的鲁棒性和可迁移性，因为模型可能对轻微的输入分布偏移或扰动敏感（Freiesleben and Molnar, 2024）。鲁棒性描述的是模型在不同条件下保持稳定性能的能力，例如田间异质性、作物类型或管理措施的差异（Hendrycks et al., 2021）。在作物类型分类中，某些作物类型可能主导训练数据，导致类别不平衡（Johnson and Khoshgoftaar, 2019），降低代表性不足类型的精度。在产量预测中，当模型在偏斜的标签分布上训练时（Kowatsch et al., 2024），例如以低产或中产为主，可能导致过拟合，使其低估罕见但重要的高产区域。这些数据问题往往导致模型在超出原始训练情境应用时预测性能下降。 自监督学习（SSL）是一种深度学习技术，有潜力应对这些挑战（Assran et al., 2023）。SSL的训练策略分为两个阶段：自监督预训练和有监督微调（Chen et al., 2020）。在自监督预训练阶段，模型从大量无标注图像中学习提取视觉模式，如植株形状、冠层纹理或颜色梯度的差异。这些视觉模式被转化为特征，最终编码为表征：高维数值向量，以可跨任务复用的方式概括图像的关键视觉内容（Ericsson et al., 2021）。在有监督微调阶段，使用较小的标注数据集教会模型如何将这些学习到的表征与特定的预测目标关联起来。由于预训练阶段可以包含跨任何作物和条件下采集的无标注图像，SSL提供了一种原则性的方式来学习不局限于单一作物类型或标注数据的表征。SSL已在相关农业任务中展现出成功，如作物类型分类（Marszalek et al., 2022; Safonova et al., 2025）、杂草物种识别（Güldenring and Nalpantidis, 2021）以及植物病害和虫害检测（Kar et al., 2021; Monowar et al., 2022）。最近，SSL也被探索用于基于多时相卫星遥感数据的大规模作物产量预测，在地理尺度上显示出改进的表征能力（Qiao et al., 2025）。然而，SSL在多样化种植制度下用于作物产量预测的潜力在很大程度上仍未被探索。因此，当田块在作物类型、管理措施或局部条件上存在差异时，SSL能否为产量估算提供实际有意义的益处仍不清楚。 技术上，SSL包含多种方法，但大致分为对比类和非对比类方法（Liu et al., 2023b）。对比类框架如SimCLR（Chen et al., 2020）、SimSiam（Chen and He, 2021）和SwAV（Caron et al., 2020）需要大规模多样化的数据集来构建可靠的负样本对，且通常带来大量的计算开销。非对比类方法，包括BYOL（Grill et al., 2020）和VICReg（Bardes et al., 2022），避免负样本，通过强制同一输入增强视图之间的一致性来学习。特别是VICReg，可以考虑图像之间的（不）变性（Bardes et al., 2022）。这一特性使VICReg在理论上非常适合农业无人机影像，因为与用于迁移学习的流行基准图像数据集相比，农业影像集非常同质。然而，迄今为止，尚无研究评估这些特性是否能转化为农业产量预测的实际优势。 在本研究中，研究人员旨在测试SSL作为迈向多样化种植制度下作物产量预测统一建模框架的潜力，特别是通过跨作物类型和管理措施的统一自监督表征学习。研究人员在一个由30个小田块组成的实验田（70公顷）中评估了该方法。研究人员使用VICReg算法（Bardes et al., 2022）训练了一个单一的深度学习模型，利用RGB无人机影像，分析了四种夏季作物——羽扇豆（3个田块）、玉米（6个田块）、大豆（2个田块）和向日葵（3个田块）——在三种土地利用强度下的表现：常规农药使用、减少农药使用且无花带、以及减少农药使用且有花带。随后，研究人员将性能与需要每种作物类型一个模型的传统有监督学习方法进行了比较。为评估SSL是否带来改进的预测性能，研究人员使用配对单侧检验，在架构、作物类型和评估指标维度上对SSL和有监督学习进行了统计比较。研究人员解决了以下研究问题：1）SSL模型能否在不使用标签的情况下区分作物类型？2）能否可靠地跨作物类型预测产量？3）能否在变化土地利用强度下可靠预测同一作物类型的产量？ 研究表明，SSL是一种简化多样化种植制度建模实践的直接策略，因为它仅需图像而无需标注工作即可学习对作物类型分类和产量预测都重要的表征。当模型针对各作物类型进行微调时，相对于传统有监督学习方法，可以实现更好或相当的预测性能。据研究人员所知，这是首个在多种作物类型和管理措施下测试SSL用于作物产量预测的研究。本研究的贡献在于通过应用SSL推进基于无人机的作物产量预测。具体而言，研究人员通过证明统一的自监督表征学习可以成为跨多样化农业情境的更简化、统一建模框架的一步，解决了传统有监督模型需要为每种作物类型和管理条件建立一个模型的根本问题。此外，本研究阐明了SSL如何提高深度学习计算机视觉在小规模多样化农业中的适用性，而传统模型由于数据需求与有限标注观测可用性之间的不成比例而在该情境下表现不佳。

论文解读文章

一、研究背景与问题

深度学习模型已成为农业领域多种任务的有力工具，包括作物类型分类与制图、作物产量预测、资源需求估算以及病害监测等。特别是利用无人机搭载相机获取标注图像训练卷积神经网络（CNN），一直是预测田块内部及田块间空间变异最常用的方法之一。

然而，种植制度本质上具有多样性，尤其是在中小型田块中。田间条件因土壤性质、管理措施、物候阶段、小气候以及作物特有的形态特征等方面的差异而各不相同。同时，不同作物类型在冠层结构、视觉外观和产量分布上存在显著差异，管理措施又进一步改变了田间纹理和植株发育。这些因素导致在多样化种植制度下，传统有监督学习通常需要针对每种作物类型、管理条件或田间情境分别建立单独的模型，技术要求高且具有挑战性。

标注数据稀缺是这一问题的核心瓶颈。虽然无人机图像采集可在生长季内多次进行，但产量测量只能在收获后获得，胁迫症状、病虫害暴发和物候阶段的标注则需要专家知识在狭窄的时间窗口内完成。标注工作资源密集，导致数据集规模有限。图像获取的相对便捷性与标注采集的约束之间的差距，常常导致模型在不平衡或不完整的数据分布上训练，倾向于偏向训练数据中的主导模式，同时对代表性不足的模式过拟合，限制了模型的鲁棒性和可迁移性。

自监督学习（SSL）是一种深度学习技术，有潜力应对这些挑战。SSL的训练策略分为两个阶段：自监督预训练和有监督微调。预训练阶段可从大量无标注图像中学习提取视觉模式并编码为表征，微调阶段使用较小的标注数据集将表征与特定预测目标关联。由于预训练可以包含跨任何作物和条件下采集的无标注图像，SSL提供了一种原则性的方式来学习不局限于单一作物类型或标注数据的表征。尽管SSL已在作物类型分类、杂草识别、病虫害检测等农业任务中取得成功，且近期被探索用于卫星遥感的大规模产量预测，但在多样化种植制度下用于作物产量预测的潜力仍未被探索。

二、研究内容与结论

本研究旨在测试SSL作为迈向多样化种植制度下作物产量预测统一建模框架的潜力，具体通过跨作物类型和管理措施的统一自监督表征学习实现。研究在一个70公顷、由30个小型子田块组成的实验田中进行，分析了四种夏季作物——羽扇豆（3个田块）、玉米（6个田块）、大豆（2个田块）和向日葵（3个田块）——在三种土地利用强度下的表现：常规农药使用、减少农药使用且无花带、减少农药使用且有花带。研究将SSL方法的性能与传统有监督学习方法进行了比较，并使用配对单侧检验在架构、作物类型和评估指标维度上进行了统计比较。

研究结果表明，SSL是一种简化多样化种植制度建模实践的直接策略，仅需图像而无需标注工作即可学习对作物类型分类和产量预测都重要的表征。当模型针对各作物类型进行微调时，相对于传统有监督学习方法可以实现更好或相当的预测性能。这是首个在多种作物类型和管理措施下测试SSL用于作物产量预测的研究，其贡献在于通过应用SSL推进基于无人机的作物产量预测，证明统一的自监督表征学习可以成为跨多样化农业情境的更简化、统一建模框架的一步，并提高了深度学习计算机视觉在小规模多样化农业中的适用性。

三、主要技术方法

研究采用了两阶段学习策略。第一阶段使用VICReg（方差-不变量-协方差正则化）算法进行自监督预训练，利用滑动窗口方法从全部田块影像中提取224×224像素的无标注图像块（共15,304个样本），学习跨所有作物类型的形态和田间纹理模式。第二阶段为有监督微调，以收获机记录的产量点为中心提取图像-产量配对样本，针对每种作物类型分别微调预测头，同时冻结预训练卷积块的权重。研究评估了两种CNN架构：ResNet18和ConvNeXt Tiny。数据来源于德国勃兰登堡州patchCROP景观实验室（2020年建立，70公顷，30个约0.5公顷的小型田块），使用senseFly eBee X无人机搭载S.O.D.A.相机在84米高度采集RGB影像，地面采样距离为2.22厘米。产量数据由Claas Lexion 6900和770TT联合收获机记录为地理配准的点数据。

四、研究结果

SSL能否在不使用标签的情况下区分作物类型？ 研究通过UMAP（均匀流形逼近与投影）将高维嵌入降维至2D，并使用KNN（K近邻）分类评估嵌入对作物类型的区分能力。结果表明，SSL预训练学习的表征能够有效区分不同作物类型，验证了SSL在无标签条件下学习作物判别性特征的能力。

SSL能否可靠地跨作物类型预测产量？ 研究将SSL预训练后的模型针对每种作物类型分别微调，以Pearson相关系数（r）评估预测性能。结果显示，SSL方法在多种作物类型上实现了与传统有监督方法相当或更好的预测性能，表明统一的自监督预训练可以支持跨作物类型的产量预测。

SSL能否在变化土地利用强度下可靠预测同一作物类型的产量？ 研究分析了同一作物在不同管理措施（常规、减少农药使用有无花带）下的预测表现。结果表明，SSL方法在不同管理条件下均能保持稳定的预测性能，验证了SSL对管理措施变化的鲁棒性。

五、讨论与结论

讨论部分指出，SSL通过统一的自监督表征学习简化了多样化种植制度下的建模实践，解决了传统有监督模型需要为每种作物类型和管理条件分别建立模型的根本问题。SSL特别适合农业无人机影像，因为VICReg能够考虑图像之间的（不）变性，而农业影像集相对于通用基准数据集非常同质。研究还指出SSL提高了深度学习模型在小规模多样化农业中的适用性，这一情境下传统模型因数据需求与有限标注观测之间的不成比例而表现不佳。

研究结论表明，SSL是一种简化多样化种植制度建模实践的直接策略，仅需图像而无需标注工作即可学习对作物类型分类和产量预测都重要的表征。当模型针对各作物类型进行微调时，可以实现与传统有监督学习方法更好或相当的预测性能。本研究是首个在多种作物类型和管理措施下测试SSL用于作物产量预测的研究，其贡献在于通过应用SSL推进基于无人机的作物产量预测，为跨多样化农业情境的统一建模框架提供了可行路径，并提升了深度学习在小规模多样化农业中的适用性。该研究发表在《Artificial Intelligence in Agriculture》。