《Ecological Informatics》:Multi-modal representation for UAV-based rice yield prediction: Understanding temporal redundancy and feature sufficiency
编辑推荐:
在如越南湄公河三角洲(VMD)等集约化异质小农农业系统中,高精度且及时的水稻产量估算对于有效的农业决策至关重要。尽管基于无人机(UAV)的遥感提供了有价值的信息,但在异质性农田条件下,时间观测相对于特征表征的作用仍不明确。本研究评估了多模态特征表征以弥补有限时
在如越南湄公河三角洲(VMD)等集约化异质小农农业系统中,高精度且及时的水稻产量估算对于有效的农业决策至关重要。尽管基于无人机(UAV)的遥感提供了有价值的信息,但在异质性农田条件下,时间观测相对于特征表征的作用仍不明确。本研究评估了多模态特征表征以弥补有限时间观测的能力。研究在多时相和单时相配置下整合并评估了光谱特征、分类农学变量以及深度空间特征。使用SHAP值分析了特征贡献,以表征多模态表征的时间分布和充分性。结果表明,多模态特征整合在不同时间设置下均持续提升了预测性能。在开花期(FL),单时相模型在收获前约30天实现了较高的预测精度(R2>0.80)。尽管在生长后期观察到了最高的预测精度,但FL期模型在预测精度和作业提前期之间提供了最佳的平衡。SHAP分析表明,预测信息主要由FL期特征捕获。结合在单时相和多时相配置之间观察到的可比预测性能,这些结果表明,在所评估的观测窗口内,额外的时间观测提供的增量预测效益有限。这些发现表明,在关键物候期富含信息的表征可以补偿减少的时间聚合,突出了特征充分性作为数据高效作物监测的关键因素,并能够在复杂的农业生产环境中实现可靠的早期产量估算。
水稻是全球粮食安全的重要组成部分。在越南湄公河三角洲(VMD),高强度的水稻种植系统对资源管理和决策提出了重大挑战。尽管基于无人机(UAV)的精准农业技术被广泛采用,但准确的产量估算仍面临困难。传统的遥感方法依赖光谱植被指数(VI),但在高生物量的密集冠层中易受光谱饱和效应影响,且难以捕捉由基因差异和异质性管理措施引起的复杂变异。为了克服这些限制,研究人员开展了这项研究,通过整合光谱、农学和深度学习提取的深度空间等多模态特征,探究特征表征相对于时间观测密度在产量预测中的作用,该研究论文发表于《Ecological Informatics》。
研究人员在VMD的四个不同站点(包括农民管理田块和受控实验区)收集了数据。研究使用了DJI Mavic 3多光谱平台获取高分辨率RGB和多光谱(MS)影像。样本队列覆盖了四个种植季节和五种水稻品种,共包含184个地理坐标定位的区块级样本。在技术方法上,研究提取了6种植被指数(包括NDVI、NDRE等)作为光谱特征;采用EfficientNet-B0卷积神经网络架构从RGB影像中提取深度空间特征;并将水稻品种、种植季节和氮肥管理作为分类农学变量。在产量预测建模中,研究人员使用了支持向量回归(SVR)、随机森林(RF)、LightGBM和CatBoost四种机器学习模型,并设计了四种集成方案(E1至E4)以提升预测稳定性。研究在多时相和单时相配置下进行了严格的评估。
研究结果部分总结如下:
3.1. 使用VI和Cat特征的预测性能
在多时相配置下,随着水稻从抽穗期向蜡熟期发展,各模型的预测性能逐渐提升。将农学特征与光谱输入(VI + Cat)结合后,在所有物候阶段均持续提升了预测性能。集成方案在整个阶段的表现优于单一模型,在蜡熟期E1方案取得了最高的R
2(0.830)和最低的相对均方根误差(RRMSE,14.71%)。
3.2. 使用VI、Cat和EffNet特征的预测性能
将EffNet提取的深度空间特征与光谱及分类数据整合(VI + Cat + EffNet)后,所有模型在各物候期的预测性能均得到了持续改善。这证实了高分辨率RGB影像获取的空间信息进一步提高了预测精度。集成模型在蜡熟期取得了总体最佳性能(R
2为0.834),表明深度空间特征增强了表征能力,能够更可靠地建模复杂的冠层与管理交互作用。
3.3. 开花期性能与时间序列比较
在开花期(FL)单时相配置下,结合多模态特征使各模型实现了高精度预测(R
2约0.805至0.812)。对比发现,在仅使用VI或VI+Cat特征时,多时相配置优于单时相;但在引入深度空间特征后,单时相配置取得了与多时相相当甚至略优的表现。这表明在具有充分表达能力的高度信息生长阶段,特征表征比多阶段观测的时间广度更具决定性。
3.4. 基于SHAP值的特征贡献分析
SHAP分析结果显示,多时相模型将特征重要性分散在多个生长阶段;而单时相模型的特征重要性则高度集中在开花期,且EffNet衍生的深度表征超越了植被指数和分类变量,成为最具影响力的预测因子。这说明在具备足够表达能力的特征时,模型对时间特征整合的依赖降低。
讨论与结论部分指出,本研究证明了多模态特征整合能够显著提升水稻产量预测的准确性和稳定性。光谱植被指数提供了基础表征,农学变量使模型能够捕捉小农系统中基因和管理的变异性,而深度空间特征嵌入则通过引入冠层结构信息增强了预测一致性。集成方法取得了最高性能。研究最重要的发现是,尽管最高预测精度出现在生长后期,但开花期是进行早期产量预测的适宜时期,在收获前约30天即可实现R
2>0.80的高精度预测,在精度和作业提前期之间取得了最佳平衡。在单时相配置下,模型取得了与多时相相近的预测性能,这表明在关键生长阶段具备富含信息的特征时,额外的时间观测带来的增量预测效益有限,特征充分性是数据高效作物监测的关键因素,能够支持集约化水稻生产系统的收获规划与管理。未来的工作将开展更全面的研究以进一步评估多模态表征的泛化能力。