传感干扰下基于深度强化学习与AquaCrop的温室灌溉调度：HS-LSTM-PPO方法

《Smart Agricultural Technology》：Greenhouse Irrigation Scheduling under Sensing Disturbances via Deep Reinforcement Learning and AquaCrop

　　

一种深度强化学习（deep reinforcement learning, DRL）框架将AquaCrop与HS-LSTM-PPO耦合，用于温室灌溉调度。温度与参考蒸散量（reference evapotranspiration, ET₀）的传感误差同时影响灌溉时机与灌溉量。HS-LSTM-PPO产生了比保守的AquaCrop策略更具适应性的灌溉模式。HS-LSTM-PPO在保持可比模拟产量的同时，将季节性灌溉量减少了14.95%。

论文解读：传感干扰下基于深度强化学习与AquaCrop的温室灌溉调度

**1. 研究背景与问题**

灌溉直接影响作物产量、水分利用效率和生产稳定性。温室环境可降低降水影响，现代温室系统通过环境传感、自动化设备、过程模型等方法建立闭环灌溉管理。然而，作物需水量随大气条件、发育阶段、土壤特性及历史灌溉动态变化。传统灌溉策略多基于固定阈值、累积辐射或经验公式，难以刻画天气、土壤水、作物发育和灌溉历史的延迟交互效应，且对传感观测与蒸散量估计的准确性高度依赖。AquaCrop作为过程模型可模拟土壤水平衡、冠层发育、水分胁迫、生物量和产量，但既有基于AquaCrop的研究大多评估有限预设处理，并假设天气输入、作物—土壤状态和灌溉量精确可知。实际温室中，传感偏差、随机噪声、参考蒸散量（ET₀）估计误差以及泵阀执行误差普遍存在。强化学习（RL）适合序贯决策问题，但已有学习型灌溉研究多集中于气候调节或仅考虑天气变化与水资源约束，对偏置蒸散发信息、不完全观测和执行误差的综合影响研究不足。为此，研究人员开发了耦合AquaCrop与HS-LSTM-PPO的深度强化学习（DRL）框架。

**2. 研究内容与结论**

研究人员将AquaCrop嵌入Gymnasium兼容的强化学习环境，用于表示整个生长季的逐日作物—土壤—水分动态。灌溉调度被构建为部分可观测马尔可夫决策过程（POMDP），智能体接收天气变量、土壤水分和冠层代理变量、近期灌溉记录及作物生育期信息。提出的HS-LSTM-PPO通过历史观测堆叠和长短期记忆（LSTM）编码提取时间依赖特征，并采用近端策略优化（PPO）生成连续灌溉决策。训练中向温度、ET₀、作物—土壤观测及灌溉执行过程注入系统偏差和随机噪声，同时生成扩展温室天气情景以扩大蒸发需求覆盖范围。结果表明，HS-LSTM-PPO比保守的AquaCrop规则策略更具适应性，平均季节性灌溉量由453.58 mm降至385.79 mm，节水约14.95%，同时维持可比模拟产量（184.82 t/ha）；水分胁迫系数K_s胁迫天数为3.77天，低于PPO、LSTM-PPO和Transformer-PPO。使用原始实测温室天气序列验证时，在第二情景下相比受扰动的AquaCrop减少灌溉62.13 mm（约15.81%），并保持可接受的作物水分胁迫水平。

**3. 关键技术与方法**

主要技术包括：构建基于AquaCrop的强化学习环境，定义状态转移和奖励函数；采用历史堆叠观测（窗口长度N天）与LSTM编码器处理部分可观测性；使用PPO算法优化连续灌溉动作，并引入灌溉执行扰动；采用季节约束的随机生成策略扩展原始天气记录，形成基线、高蒸发需求、温和升温和强升温四种情景。样本来源为一项温室樱桃番茄研究中的实测温室气候记录（文献[22]），并在此基础上进行扩展。训练环境使用Python、PyTorch、Ray RLlib，AquaCrop 3.0.12等。扰动设置包括温度±0.3°C偏差和标准差0.2°C的高斯噪声，ET₀采用20%正偏差和10%标准差的乘性扰动，土壤含水量采用加性高斯误差，冠层覆盖度加入10%噪声，灌溉执行误差标准差为5%。

**4. 结果与分析**

**4.1 扩展天气情景用于基于模拟的策略评估**
研究人员基于季节约束随机生成策略扩展原始温室气候数据，得到四个代表性情景。这些情景保留了原序列的季节模式，同时引入自回归残差扰动来表示真实季节间变率，为训练和评估提供了更广的蒸发需求条件，也用于检验策略在不同环境下的稳定性。

**4.2 AquaCrop-DRL灌溉策略的训练收敛性**
在规定的扰动条件下比较了AquaCrop（有/无扰动）、PPO、LSTM-PPO、Transformer-PPO和恒定动作策略。HS-LSTM-PPO的累计奖励稳步上升，约2000次迭代后接近受扰动的AquaCrop基线；LSTM-PPO优于PPO和Transformer-PPO，而Transformer-PPO在约2000次迭代时奖励骤降，显示训练不稳定。HS-LSTM-PPO平均灌溉量为385.79 mm，相比AquaCrop有扰动情形减少14.95%，产量保持184.82 t/ha；最小K_s均值为0.53，高于PPO等的0.45，平均K_s胁迫天数降低至3.77天。消融实验发现观测窗口从1天增至7天时，平均奖励由-211.11升至-131.04，窗口超过7天无明显提升，因此选择7天窗口。

**4.3 使用训练模型进行灌溉调度验证**
使用原始实测温室天气序列并注入与训练相同的传感扰动进行验证。与AquaCrop相比，HS-LSTM-PPO的灌溉模式更灵活：生长季初期和末期使用较大水量，中后期采用小于10 mm的小量高频灌溉；其土壤含水量轨迹更平缓，而AquaCrop表现为单次大水量灌溉后脉冲式上升和快速下降。在第二种天气条件下，HS-LSTM-PPO将灌溉量从392.93 mm降至330.80 mm（约15.81%），同时保持平均K_s、较高最小K_s以及仅2天胁迫日。结果证明扩展情景训练后的策略在相应实测天气序列下仍能保持有效的灌溉决策。

**5. 讨论与结论**

讨论部分指出，温室温度和蒸散量观测中的偏差与噪声同时影响灌溉时机和水量；扰动增强训练使策略在观测不完美时表现更稳定；历史堆叠结合LSTM编码有助于补偿不可观测状态；扩展天气情景降低了策略对单一天气序列的依赖。HS-LSTM-PPO并非单纯减少灌溉，而是根据作物需水和环境不确定性重新分配全季水量。但研究仍存在局限：AquaCrop的模型结构、参数化及土壤水平衡表示会引入不确定性；设定的传感和执行扰动为代表性分布而非针对具体系统校准的真实误差模型；养分、病害、空间异质性及多因素交互未完整表征；方法尚未在实际温室闭环系统中验证。结论表明，HS-LSTM-PPO在AquaCrop模拟框架内实现了灌溉减量、水分胁迫调节和产量保持的有利平衡。将过程模型、扩展天气情景、扰动增强训练和时间观测编码相结合，为传感不确定下的温室灌溉调度提供了有效途径。未来需开展多季实验、基于实测传感器和执行器数据的校准与在线校正，并进行不同扰动幅度与组合的敏感性分析以及跨作物、跨环境验证。