《AgriEngineering》：3D Scheduling for UAV in Pesticide Spraying Based on Deep Reinforcement Learning
编辑推荐：
植保无人机（UAV）在非规则丘陵地形中面临由地形、电池限制、变质量能耗及喷洒成本带来的调度挑战。本研究的核心问题是：在病虫害空间分布不均的条件下，如何联合优化异质喷洒网格的三维访问序列与无人机的多模式中途补给决策。具体而言，本研究旨在严格满足全覆盖与机载资源安
植保无人机（UAV）在非规则丘陵地形中面临由地形、电池限制、变质量能耗及喷洒成本带来的调度挑战。本研究的核心问题是：在病虫害空间分布不均的条件下，如何联合优化异质喷洒网格的三维访问序列与无人机的多模式中途补给决策。具体而言，本研究旨在严格满足全覆盖与机载资源安全约束的前提下，最小化总运营经济成本——该成本整合了能耗、飞手人工与设备折旧。病虫害严重程度的空间异质性使得传统往复式喷洒难以实现成本最优覆盖。研究人员将作业区域细分为两种网格尺寸：大网格代表需常规喷洒的低虫害区域，小网格代表需针对性强化喷洒的高虫害区域。研究人员将连续全域喷洒转化为基于条带匹配三维网格中心的序贯决策问题，采用语义解耦双分支Double Dueling Deep Recurrent Q-Network（D3QN）求解，以生成在满足多重物理约束下最小化总成本的三维变量喷洒调度方案。设计以未折扣总成本为中心的奖励函数，并辅以四种主动补给策略，实现调度决策的端到端学习。时空解耦网络架构结合束搜索（beam search）评估机制提升了决策质量，而局部重调度后处理模块则促进了动作序列的局部调整与全局插入优化。数值实验表明，在示例实验中，该方法相比动态往复策略（DRS）、聚类往复策略（CRS）、Google OR-Tools求解器与基础DRQN分别降低总运营成本11.84%、8.93%、30.46%与7.24%；在20个随机测试实例中，相比DRS平均降低13.67%、相比CRS平均降低14.66%、相比基础DRQN平均降低4.90%（p < 0.001），验证了该框架在数值模拟中求解复杂三维喷洒调度问题的有效性与适应性。
**研究背景与问题**：农药喷洒是农业生产中的重要环节，传统方法效率低、成本高，且造成农药浪费与环境污染。植保无人机（UAV）凭借高效、地形适应性强与作业灵活等优势成为现代植保的重要工具。从均匀喷洒向变量喷洒的转变使无人机能够依据处方图精准施药，有望在降低农药用量的同时获得经济与生态效益。然而，在丘陵梯田等复杂三维环境中，规划最小化总成本的飞行路径仍是未解决的科学挑战。飞行调度优化从二维平面扩展到三维空间后复杂度呈指数增长；无人机不仅需克服气动阻力，还需在升降过程中克服重力势能变化，导致能耗剧烈波动。实际作业还受到电池续航、变载荷对飞行功耗的非线性影响以及转弯等机动附加时间与能耗等一系列相互关联因素的制约。现有研究表明，仅优化路径长度或单一能耗指标不足以实现真正经济高效的作业方案，需在多维度间进行综合权衡。在变量喷洒方面，已有研究多假设平坦二维农田，忽略了丘陵地形中穿越大预防网格与小强化喷洒网格时产生的三维爬升、下降与速度转换成本；在资源管理方面，多数能耗感知覆盖规划器假设喷洒过程中质量恒定或仅优化电能，未将连续液量减少与飞手劳动时长及设备折旧耦合为统一经济目标；在路径-补给联合优化方面，现有多架次方法通常将路径与补给解耦，通过固定资源阈值被动触发返站并强制100%满罐补给，常在仅剩少量网格时迫使无人机携带过多死重液体。针对上述研究空白，本研究将三维异质覆盖规划、变质量资源管理与灵活多模式主动补给统一于端到端优化框架内。
**研究内容与结论**：研究人员提出一种基于深度强化学习的端到端求解框架，以负总成本为奖励构建序贯决策模型，引入主动补给策略实现资源管理与调度的联合优化，并结合束搜索评估与局部重调度后处理机制进一步提升飞行路径的平滑性与经济性。研究结论表明，该方法在多样化地形与参数配置下总体性能优越，能获得近最优且经济的调度方案，验证了其在数值模拟中求解复杂三维喷洒调度问题的有效性。
**关键技术方法**：研究人员将作业区域栅格化为大网格（常规预防喷洒）与小网格（重点强化喷洒）两类异质单元，构建包含无人机自身状态与全局网格状态的复合状态空间及含N+4个离散动作的复合动作空间（N个目标选择动作与4种主动补给策略），设计以未折扣总经济成本（能耗、人工、折旧）为负值的奖励函数，采用语义解耦双分支D3QN网络（多头指针注意力分支处理网格目标、独立全连接Dueling分支处理补给模式）进行训练，并结合束搜索确定性评估与局部重调度后处理模块优化动作序列。实验在数值模拟生成的 Gaussian 地形与离散网格布局上进行，20个随机测试实例通过确定性实例种子生成以保证可复现性。
**研究结果**：
示例实验：通过设定300 m×300 m作业区、300个网格（180个大网格、120个小网格）、三座高斯山丘地形及给定经济权重参数进行示例求解，得出D3QN总成本105.0 CNY，相比DRS（119.1 CNY）、CRS（115.3 CNY）、Google OR-Tools（151.0 CNY）与基础DRQN（113.2 CNY）分别降低11.84%、8.93%、30.46%与7.24%，其改进主要来自能耗、人工与折旧三项成本的同步优化。多随机种子重复训练结果显示该方法具有稳定收敛性。
消融实验：通过六组消融实验分别评估基础DRQN、加入Transformer图编码器、完整D3QN贪心推理、D3QN结合束搜索、完整框架及强制满罐补给等配置，得出时空解耦神经架构是调度质量的主要驱动因素（总成本降低7.65%），束搜索与局部重调度分别提供8.95%与4.46%的增量改进，而移除灵活主动补给选项使总成本上升22.48%。
敏感性分析：通过改变束搜索宽度B与最大液载容量Lmax进行敏感性分析，得出增大束宽可逐步降低总运营成本；在严格30.0 L容量下D3QN自主组合半补给与轻补给以最低成本103.6 CNY完成任务的结论；在宽松50.0 L容量下D3QN识别初始载荷充足并切换为纯充电策略，总成本降低幅度扩大至17.26%（对比DRS）。
小规模最优性验证：通过在30网格微地图实例上与Google OR-Tools对比，得出D3QN总成本15.9 CNY低于OR-Tools的20.0 CNY（相对差异20.5%），证实其在小规模实例上的近最优性。
数值实验：通过在20个随机生成实例（地形、网格布局、补给站位置与物理参数各异）上测试，得出D3QN相比DRS平均降低总成本13.67%±5.85%、相比CRS平均降低14.66%±6.82%、相比基础DRQN平均降低4.90%±3.88%，双侧配对Wilcoxon符号秩检验确认成本降低具有统计显著性（p < 0.001）；同时指出在劳动力成本占比极高的极端参数情形下（如Exp. No. 7与Exp. No. 11），保守节能绕行或额外轻补给导致的飞行时长增加可能使增量人工成本超过能耗与折旧节约，出现1%至4%的轻微劣势。
**讨论与结论**：讨论部分指出，奖励函数设计直接影响模型优化方向，将总成本直接纳入奖励信号使决策目标与实际经济指标对齐，模型并非单纯追求路径最短或能耗最低，而是在多个成本维度间寻求平衡；补给策略的自主性是影响调度经济性的关键因素，将多种补给选项纳入动作空间使模型能根据任务进度与资源状态做出合理补给决策，但多目标权衡也揭示了学习策略的边界条件——当劳动力与能耗成本比严重倾斜时，保守节能绕行或额外轻补给可能略微延长飞行时长；神经网络架构对策略性能有显著影响，图编码器使网络捕捉作业区整体空间分布，LSTM单元提供对已访问网格与资源消耗的记忆能力；束搜索评估与局部重调度后处理协同提升路径质量；关于实际计算效率，离线训练约需204,108.8 s，完整求解过程约436.10 s，由于地形与处方图在喷洒前获取，该飞行前规划时间对标准果园作业是可行的，更大区域可围绕分布式补给站划分为多个子区域并行调度；最后指出当前验证的局限性，所有实验基于生成的高斯地形与离散网格布局的数值模拟，尚无真实无人机飞行数据，物理模型简化了环境风扰、雾滴飘移、GPS定位不确定性、不规则田间障碍与非线性电池放电动态等因素，且因每网格所需药量由处方图预定，框架最小化的是作业执行成本而非减少化学品用量本身，也未考虑飞行中实时作物或病虫害感知。结论部分指出，本研究通过将作业区离散化为网格，将连续覆盖问题转化为序贯决策问题，奖励函数设计使模型优化目标与作业关键经济指标对齐；所提出的强化学习模型将主动补给策略纳入动作空间，使无人机能根据任务进度与资源可用性自主确定补给时机与数量，实现路径规划与资源管理的集成优化；利用时空解耦神经网络架构结合束搜索评估与局部重调度模块有效提升了路径质量；20个随机实例的数值实验表明，该方法相比动态往复策略平均降低总成本13.67%（p < 0.001）、相比聚类往复策略平均降低14.66%（p < 0.001）、相比基础DRQN平均降低4.90%（p < 0.001），并在各子成本指标上实现显著平均改进；在补给频率方面，该方法在20个实例中的19个实现了更少或相等的补给次数，进一步降低了总成本；在所提出的仿真环境内，实验结果表明尽管在劳动力成本主导的极端情形下存在轻微权衡，该方法总体上能获得近最优且经济的调度方案，在多样化地形与参数配置下总体性能优越，验证了其在数值上求解复杂三维喷洒调度问题的有效性。未来工作将聚焦于开展硬件在环与真实无人机飞行实验，在实际田间条件下结合风扰、避障与多无人机协同对能耗与调度模型进行实证验证。
