基于时空深度学习的水稻株高遥感估算方法——Rice-STNet

《Agriculture》：Sensing Technologies in Robotic Manipulators for Low-Damage Fruit and Vegetable Grasping: Principles, Integration, and Applications

　　

准确的植株高度估计对于监测作物生长和支持精准农业管理至关重要。人工测量劳动强度大，而基于LiDAR的方法成本高昂且需要复杂的数据处理。无人机摄影测量提供了一种成本较低的替代方案，但在淹水水稻田中，由于冠层变形和地形提取困难，该方法仍然面临挑战。本研究提出了Rice-STNet，一种利用多时相无人机RGB影像进行端到端水稻株高估计的时空深度学习框架。Rice-STNet集成了用于空间特征提取的卷积神经网络、用于时间编码的Time2Vec模块以及用于建模观测日期间时序依赖关系的门控循环单元网络。该框架在两个生长季从稻田收集的田间数据上进行了评估。Rice-STNet取得了决定系数R2为0.97、均方根误差为1.97厘米、平均绝对误差为1.14厘米的性能。其表现优于随机森林、支持向量回归、仅使用CNN的基线模型以及基于无人机摄影测量的点云方法。此外，该框架生成了高分辨率株高分布图，用于田块尺度的空间生长变异性分析。这些结果强调了联合建模空间和时间特征对于持续演变的作物性状的重要性。所提出的框架为大尺度作物表型分析和精准农业提供了一种精确、可扩展且非破坏性的解决方案。

一、研究背景与问题提出

日本农业正面临劳动力短缺、从业者老龄化和耕地面积减少等日益严峻的压力，这对粮食安全和农村社区的可持续性构成了威胁。作为劳动密集型作物的水稻，其生产首当其冲。在此背景下，智慧农业通过引入机器人、人工智能和物联网等技术，成为提升生产效率、减少劳动力需求并实现农业现代化的重要途径。其中，作物生长状态的精准监测是关键环节。

株高是一个基础性的农艺性状，能够反映作物生长状况、生物量、氮素利用率和生长速率，并与倒伏抗性和产量形成密切相关。然而，传统的人工尺量法费时费力，难以应用于大规模农田。激光雷达虽然精度高，但设备昂贵且数据处理复杂。无人机搭载相机进行低空遥感是一种相对低成本且易部署的方案，但其在水稻株高估计中仍面临两大挑战：一是随着水稻生长，叶片会伸长并在重力作用下弯曲，导致由数字表面模型捕获的冠层表面与实际株高产生偏差；二是水稻田在生长季常处于淹水状态，土壤表面被水覆盖，使得无人机传感器难以获取准确的地形信息，从而影响基于数字地形模型的株高计算。

现有的大多数深度学习研究集中于利用单时相影像的空间信息或环境物候的时间数据，但对于如何有效融合影像空间特征与时间生长动态来进行回归任务的研究尚不充分。鉴于水稻株高是一个由冠层形态和生长进程共同决定的持续演变性状，有必要对空间外观和时间依赖性进行联合建模。为此，研究人员开展了此项研究，旨在开发一个端到端的时空深度学习框架，以实现基于多时相无人机RGB影像的精确水稻株高估计。

二、研究方法与技术路线

为达成研究目标，研究人员采用了一套综合技术方案。首先，在日本北海道岩见泽市的稻田进行数据采集，使用了特定品种的水稻，并利用搭载Zenmuse P1 RGB相机的Matrice 300 RTK无人机获取了2024和2025两个生长季共13次航拍影像。同时，在每个田块布设21个永久标记点，并使用GNSS接收器记录坐标，在每个标记点附近测量水稻株高作为地面真值。

关键技术方法包括：

1. 1.
   图像数据集构建与增强：从正射影像中以标记点为中心提取1米×1米的RGB图像补丁，并与地面实测株高配对。为缓解过拟合，采用了多种数据增强方法，包括传统的几何变换和基于Retinex理论的多尺度视网膜增强算法。
2. 2.
   时序序列构建：考虑到株高的动态变化特性，将同一标记点的多时相观测按时间顺序排列，并采用滑动窗口策略生成重叠的时序样本（本研究中序列长度设为2）。
3. 3.
   Rice-STNet框架设计：该框架的核心是将空间特征提取与时间依赖关系建模相结合。具体包括：使用卷积神经网络自动学习RGB图像补丁中的空间冠层特征；引入Time2Vec层，将播种后的天数转换为可学习的周期性/非周期性时间嵌入，以显式编码作物发育阶段；使用双向门控循环单元网络对融合后的时空特征序列进行建模，捕捉观测日期间的时序依赖关系；最终通过全连接层输出预测的株高。
4. 4.
   模型优化与评估：采用结合了Hyperband资源分配策略、Tree-structured Parzen Estimator贝叶斯优化的超参数调优方法，并使用五折交叉验证确保泛化能力。模型性能通过与仅使用空间的CNN基线、随机森林、支持向量回归以及基于无人机摄影测量的点云方法进行比较来评估。

三、研究结果

• •
  超参数优化结果：通过结合Hyperband和TPE的超参数优化框架，研究人员高效地探索了超参数空间。Hyperband策略通过早期终止表现不佳的试验来节省计算资源，而TPE则引导搜索向更优区域进行。最终确定了模型的最优超参数组合。
• •
  模型性能评估：在独立测试集上的评估表明，Rice-STNet在所有模型中表现最佳，取得了R2为0.97、RMSE为1.97厘米、MAE为1.14厘米的优异性能，其回归线接近理想的1:1线，表明系统性偏差极小。相比之下，仅使用空间的CNN基线R2仅为0.73，RMSE高达6.34厘米，证明了时序建模组件的贡献。传统机器学习模型RF和SVR表现居中，但均不如Rice-STNet。残差分析进一步显示，Rice-STNet的残差均匀分布在零线附近，无显著的高度依赖性偏差（斜率=-0.015, p=0.471），而CNN和RF则表现出显著的负偏趋势，即高估矮株、低估高株。
• •
  与点云方法的比较：与传统的基于无人机摄影测量点云的株高估计方法相比，Rice-STNet优势明显。点云方法在整个生长季的R2为0.80，RMSE高达9.35厘米。尤其是在生殖生长期，由于水稻穗部发育和茎秆弯曲导致冠层结构变形，点云方法的误差显著增大。而Rice-STNet在整个生长季均保持了较低且稳定的预测误差，表明其对冠层形态变化的鲁棒性更强。
• •
  高分辨率可视化应用：研究人员将训练好的Rice-STNet模型应用于整个田块的非重叠网格，生成了多个关键日期的田块尺度株高热力图。这些图清晰地展示了株高随时间的增长趋势以及田内的空间异质性。核密度估计曲线和三维可视化进一步揭示了不同生长阶段的株高分布变化和局部冠层结构差异，为精准农业管理提供了直观依据。

四、讨论与结论

讨论部分：研究人员指出，Rice-STNet的成功在于它联合建模了空间冠层特征和时间生长动态。与传统方法相比，其优势体现在：1）相较于仅使用单时相影像的CNN，时序建模使其能捕捉到连续的生长过程，而非仅依赖瞬时外观；2）相较于依赖手工特征的RF和SVR，其端到端的学习方式能自动提取更复杂的非线性时空模式；3）相较于依赖三维重建的点云方法，其在淹水稻田等难以可靠重建的场景下更具鲁棒性。同时，研究人员也坦诚地指出了研究的局限性，包括数据集仅来自单一地点、单一水稻品种，采样频率有限可能导致株高分布不均匀，以及深度学习模型的可解释性不足等问题。未来工作应扩展到更多地域和品种，提高采样频率，并引入如Grad-CAM等归因方法来提升模型透明度。

研究结论翻译：准确的田块尺度水稻株高估计因作物生长的动态特性和传统测量方法的局限性而依然充满挑战。本研究提出了Rice-STNet，一个利用多时相无人机RGB影像进行端到端水稻株高估计的时空深度学习框架。通过整合用于空间特征提取的卷积神经网络、用于显式时间编码的Time2Vec和基于GRU的序列建模，该框架联合捕获了冠层结构和生长动态。实验结果表明，Rice-STNet取得了优异的整体预测性能，具有较高的拟合优度和较低的预测误差。与常规机器学习模型、仅使用CNN的基线和基于无人机摄影测量的点云方法相比，Rice-STNet始终产生更低的预测误差和更稳定的株高估计值。这些结果表明，显式纳入时间生长信息能大幅改进对持续演变作物性状的估计。此外，与点云重建的比较显示，所提出的框架为淹水稻田提供了一种稳健的基于图像的替代方案，在这些场景中，水面、冠层变形和日益增加的结构复杂性往往会降低摄影测量重建的可靠性。除了预测性能的提升，Rice-STNet还成功生成了高分辨率株高分布图，捕获了整个生长季的田内空间变异性。总体而言，本研究证明了将空间冠层信息与时间生长动态相结合用于无人机作物表型分析的有效性。所提出的时空学习框架为水稻株高估计提供了一种精确、非破坏性且经济高效的解决方案，并为从多时相遥感数据建模动态作物性状建立了一个通用策略。