基于时空深度学习的多时相无人机RGB影像水稻株高估算

《Agriculture》：Spatiotemporal Deep Learning for Rice Plant Height Estimation from Multi-Temporal UAV RGB Imagery

　　

准确的株高估算对于监测作物生长和支持精准农业管理至关重要。人工测量劳动强度大，而基于LiDAR的方法成本高昂且处理复杂。无人机摄影测量提供了一种较低成本的替代方案，但在水淹稻田中仍面临挑战，原因在于冠层变形和地形提取困难。本研究提出了Rice-STNet，一种用于端到端水稻株高估算的时空深度学习框架，该框架利用多时相无人机RGB影像。Rice-STNet集成了用于空间特征提取的卷积神经网络（CNN）、用于时间编码的Time2Vec以及用于建模观测日期间时序依赖关系的门控循环单元网络（GRU）。该框架利用在两个生长季从稻田收集的田间数据进行评估。Rice-STNet实现了决定系数（R2）为0.97、均方根误差（RMSE）为1.97厘米、平均绝对误差（MAE）为1.14厘米的性能表现。其性能优于随机森林（RF）、支持向量回归（SVR）、仅含CNN的基线模型以及基于无人机摄影测量的点云方法。此外，该框架生成了高分辨率株高分布图，用于田块尺度上的空间生长变异性分析。这些结果强调了联合建模空间和时间特征对于持续演变的作物性状的重要性。所提出的框架为大规模作物表型分析和精准农业提供了一种精确、可扩展且非破坏性的解决方案。

论文解读：基于时空深度学习的水稻株高估算

研究背景与意义

水稻是全球重要的粮食作物，其株高是反映作物生长状况和健康程度的基础农艺性状，与生物量积累、抗倒伏能力和产量潜力密切相关。准确、及时且非破坏性地估算株高对于现代农业生产管理至关重要。然而，传统的人工测量方式劳动强度大，难以应用于大面积农田；激光雷达（LiDAR）方法虽然精度高，但设备昂贵且数据处理复杂；无人机（UAV）摄影测量虽提供了低成本替代方案，但在水淹稻田环境中面临严峻挑战：水稻叶片生长过程中会伸长并在重力作用下弯曲，导致数字表面模型（DSM）捕捉到的冠层表面偏离实际株高；同时，灌溉期间土壤表面被水覆盖，使得无人机传感器无法获取准确的地形信息，增加了地形提取的难度。现有的大多数深度学习研究集中于单时相图像的空间信息或环境物候数据的时间信息，但对于将图像空间特征与时间生长动态有效整合用于回归任务的研究仍然不足。因此，有必要开发能够联合建模空间冠层特征和时间生长动态的新方法。

研究方法概述

研究人员提出Rice-STNet，一种端到端的时空深度学习框架，用于从多时相无人机RGB影像估算水稻株高。关键技术方法包括：采用卷积神经网络（CNN）自动从RGB图像斑块中提取空间冠层特征；引入Time2Vec层将播种后天数转化为可学习的时间嵌入表示，以显式编码作物发育阶段信息；利用双向门控循环单元网络（Bi-GRU）对连续观测之间的时序依赖关系进行建模；最终通过全连接层将融合后的时空特征映射为株高预测值。数据来源于日本北海道岩见泽市的水稻田，使用饲料水稻品种‘Sorayutaka’，分别在2024年（6次采集）和2025年（7次采集）共进行了13次无人机数据获取，涵盖拔节、抽穗和开花等关键生育期。模型优化结合了Hyperband资源分配策略、基于树结构帕尔森估计器（TPE）的贝叶斯优化以及五折交叉验证。

研究结果

超参数优化结果

研究人员通过结合Hyperband、TPE贝叶斯优化和五折交叉验证的超参数优化框架，对学习率和权重衰减等关键超参数进行了调优。共评估了50组超参数配置，表现较差的试验因早期验证损失过高而被提前终止，从而降低了计算成本；表现较好的试验则获得更多计算资源并在更多交叉验证折上进行评估。最终选出了最优超参数组合用于模型训练。

模型性能评估

在独立测试集上，Rice-STNet展现出最优的拟合度和最低的预测误差，决定系数（R²）达到0.97，均方根误差（RMSE）为1.97厘米，平均绝对误差（MAE）为1.14厘米，回归线非常接近理想1:1关系。相比之下，仅含CNN的空间基线模型表现较差（R²=0.73，RMSE=6.34厘米），表明时间建模模块对提升预测性能具有显著贡献。传统机器学习模型中，随机森林（RF）取得了中等水平的表现（R²=0.92，RMSE=3.71厘米），支持向量回归（SVR）也表现良好（R²=0.90，RMSE=4.13厘米），但仍不及Rice-STNet。残差分析显示，Rice-STNet的残差均匀分布在零误差线附近，无显著高度依赖性偏差（斜率=-0.015，p=0.471）；而CNN和RF则表现出显著的负向残差趋势，即矮株被高估、高株被低估。

与点云株高估算方法的比较

研究人员将Rice-STNet与传统无人机摄影测量点云方法进行了对比。点云方法通过计算裸地参考面与冠层最高5%点的高程差来估算株高。结果显示，点云方法的预测精度明显低于Rice-STNet（R²=0.80，RMSE=9.35厘米，MAE=8.44厘米）。按观测日期分析发现，点云方法在营养生长早期误差波动较大，可能归因于反复灌溉排水引起的地面高程变化；进入生殖生长阶段后，随着穗部发育和茎秆弯曲，点云方法的误差逐渐增大。而Rice-STNet在整个生长季节始终保持较低的预测误差，能够通过学习冠层外观变化来适应不同生长阶段的形态变化。

高分辨率可视化应用

研究人员将训练好的Rice-STNet模型扩展到整个田块尺度，通过将正射影像划分为不重叠的1米×1米网格单元，构建两时相序列输入模型，生成了四个代表性日期的田块尺度株高热力图。结果显示，从7月11日至8月26日，整体颜色分布由绿色逐渐转变为黄色和红色，表明株高持续增加，同时某些局部区域始终呈现较低株高，揭示了稳定的空间生长差异。核密度估计曲线显示，7月11日至26日期间株高分布明显右移（均值从约50厘米增至73厘米），而8月8日后分布变化趋于平缓。三维可视化进一步清晰展示了局部高度梯度和冠层结构变异。

讨论与结论

讨论部分指出，Rice-STNet的优势在于联合建模空间冠层特征和时间生长动态，这比仅依赖单时相图像的方法更能完整表征作物发育过程。与手工特征驱动的传统机器学习方法相比，深度学习能自动从RGB图像中学习空间表征并跨观测日期建模其变化。与传统点云方法相比，Rice-STNet不依赖于三维几何重建，因而受地形估算误差、不完整点云和冠层变形的影响较小，在水淹稻田等难以可靠重建的环境中更具鲁棒性。局限性方面，当前数据集仅来自单一地点、两个生长季和一个水稻品种，模型的迁移泛化能力有待进一步验证；数据采集频率较低（约每1-2周一次），导致预测值呈现聚类现象；深度学习的黑箱特性限制了模型的可解释性。未来研究可考虑扩展多区域多品种数据集、提高采集频率、引入Grad-CAM等归因解释方法，以及整合气象、土壤和多光谱等多模态数据。

研究结论总结如下：准确估算田块尺度的水稻株高仍具挑战性，本研究提出的Rice-STNet时空深度学习框架通过集成CNN、Time2Vec和GRU，联合捕获冠层结构和生长动态。实验结果表明，Rice-STNet取得了优异的预测性能（R²=0.97，RMSE=1.97厘米，MAE=1.14厘米），优于传统机器学习模型、CNN基线以及无人机摄影测量点云方法，证明了显式纳入时间生长信息对持续演变作物性状估算的重要改进作用。此外，该框架成功生成了高分辨率株高分布图，可捕捉田块内部空间变异，为变量施肥、灌溉管理等精准农业实践提供支持。由于该框架直接利用广泛可用的无人机RGB影像，无需显式三维重建，因此为常规田块尺度作物监测提供了实用且可扩展的解决方案。总体而言，本研究展示了整合空间冠层信息与时间生长动态用于无人机作物表型分析的有效性，并为从多时相遥感数据建模动态作物性状建立了通用策略。