《Agriculture》：Reinforcement Learning for Rice Harvester Dispatching Under Typhoon Disruptions
编辑推荐：
收获作业具有时间敏感性且易受天气相关扰动影响，因此有效的田间调度对于最小化作物损失十分重要。本研究通过将预测感知强化学习（RL）策略集成到既有的日本水稻收获多智能体离散事件仿真中，用于动态收割机调度。该仿真结合真实田块配置、历史天气、基于过程的作物发育、机械与
收获作业具有时间敏感性且易受天气相关扰动影响，因此有效的田间调度对于最小化作物损失十分重要。本研究通过将预测感知强化学习（RL）策略集成到既有的日本水稻收获多智能体离散事件仿真中，用于动态收割机调度。该仿真结合真实田块配置、历史天气、基于过程的作物发育、机械与物流过程，以及合成种植计划和台风扰动。研究采用Double Deep Q-Network（Double DQN）训练共享策略，该策略利用空间、作物、机械、系统及预报相关信息选择田块。策略在100个留出情景上评估，并在正常与台风扰动条件下与Closest-Field和先进先出（FIFO）调度策略比较。正常条件下，RL策略的作物保存效果与Closest-Field策略相当，并优于FIFO。台风扰动下，作物损失率中位数从Closest-Field的8.59%降至RL的7.52%，对应12.5%的相对降低。配对差异具有统计学显著性，且在控制台风持续时间、情景总面积和情景层面变异后仍显著。这些结果表明，情境依赖RL调度在受容量约束和天气扰动收获条件下降低作物损失方面具有潜力。
研究背景方面，水稻收获具有时间敏感和劳动密集特征；日本农业劳动力短缺，稻田尤其是日本中部稻田表现为大量小规模、空间分散田块，在有限收获窗口内对机械配置和田块调度提出较高要求。台风强风可致作物倒伏，相关降雨会中断田间作业并压缩可收获时间，使容量约束下的田间调度直接影响作物损失。既有调度策略包括FIFO、Closest-Field等规则，以及混合整数线性规划、车辆路径、资源约束调度、元启发式和图方法等；这些方法在规划信息可得时能够生成有效机械计划，但农业收获具有动态性，田块因作物成熟而陆续可用，机械可用性与天气条件亦持续变化，尤其当预期天气事件可连续数日中断收获时，利用即将发生扰动信息在扰动前调整收获优先级的动态田块调度关注不足。已有工作包含收获时间窗、质量损失和鲁棒优化，但较少关注预报驱动动态调度。多智能体仿真（MAS）可表达田块、机械、作物和物流资源等交互实体，作者先前已开发日本水稻收获多智能体仿真框架，然而田块选择仍依赖预定义调度规则，未纳入未来天气扰动信息。RL已用于农业序贯决策，Double DQN通过分离动作选择与评估降低动作值高估，但将RL用于预判天气预报扰动的动态收割机调度仍较少。因此，研究人员在既有仿真上集成预测感知RL策略，用Double DQN训练共享田块选择策略，并在100个未参与训练的留出情景中与Closest-Field和FIFO在正常及台风扰动条件下配对比较，以作物损失率为主要结果并考察运行行为。研究结论为：正常条件下RL作物保存与Closest-Field相当且优于FIFO；台风扰动下，中位作物损失率由Closest-Field的8.59%降至RL的7.52%，相对降低12.5%，配对差异显著，并在控制台风持续时间、总情景面积和情景层面变异后仍显著；说明情境依赖RL调度在容量受限和天气扰动收获条件下具有降低作物损失的潜力，意义在于从预定义调度规则推进到可学习、情境依赖的田块分配，并形成可在操作仿真中训练和比较评估的框架。
关键方法（约240字）：研究人员重实现日本水稻收获多智能体离散事件仿真（multi-agent discrete-event simulation），以Go运行，并用Protocol Buffers（Protobuf）发布—订阅桥连接异步仿真与Python TorchRL；每台收割机设独立虚拟RL环境，经验汇入共享Double DQN（Double Deep Q-Network）。FieldScorer以上下文网络和共享田块估值网络输出候选田块Q值，并以动作掩码排除无效动作。状态含收割机、田块和全局特征（含7天预报台风信息），奖励为完成收获基础奖励加归一化收获时长；训练采用ε-greedy、共享回放、多步回报、Adam优化L1时序差分损失和Polyak平均更新。样本队列来源：日本爱知县知多农场500余块田，随机抽取约200块/情景；天气为MeteoCrop DB 2025历史观测；合成种植计划与台风扰动，400情景训练、100情景留出测试。
研究结果如下。4.1 Performance Under Normal Harvesting Conditions：在100个留出情景中，RL中位收获面积28.84 ha（IQR：0.42 ha），Closest-Field为28.78 ha（IQR：0.37 ha），FIFO为27.37 ha（IQR：0.58 ha）；中位过期面积分别为0.00、0.12、1.55 ha，作物损失率分别为0.00%、0.41%、5.42%，表明正常条件下RL作物保存与Closest-Field相当并明显优于FIFO；但RL行驶时间和卸载时间更高、总工作期更长（33天，对比31天和32天），说明较低作物损失并不必然伴随更短行驶距离或更短总运行时间。4.2 Performance Under Typhoon Disruption：台风扰动下，RL中位收获面积26.69 ha（IQR：2.08 ha），Closest-Field为26.35 ha（IQR：2.19 ha），FIFO为24.98 ha（IQR：2.01 ha）；中位作物损失率分别为7.52%、8.59%、13.25%，RL较Closest-Field低约12.5%、较FIFO低43.2%；RL—Closest-Field作物损失率配对差中位数为?0.71个百分点（95% bootstrap CI：?1.29至?0.13；Wilcoxon符号秩检验p=0.011），RL在61/100情景优于Closest-Field；对FIFO则在全部100情景更优，中位配对差?5.94个百分点（95% CI：?6.48至?5.39；p<0.001），表明预报感知RL在扰动条件下降低作物损失，但相对Closest-Field优势小于相对FIFO且Closest-Field所需行驶时间更少。4.3 Influence of Typhoon Duration and Scenario Characteristics：台风每增加1天，过期面积估计增加0.91 ha（95% CI：0.86–0.95 ha，p<0.001）；总情景面积每增加1 ha，过期面积估计增加0.58 ha（95% CI：0.33–0.83 ha，p<0.001）；控制台风持续时间、总情景面积和情景层面变异后，RL较Closest-Field少0.15 ha过期面积（β=?0.151，95% CI：?0.266至?0.037 ha，p=0.010），FIFO较基准多1.53 ha（β=1.526，95% CI：1.411–1.641 ha，p<0.001）；政策×台风持续时间交互未显著改善模型拟合（p=0.089），说明作物损失随扰动延长而增加，但各政策相对表现未随台风持续时间显著改变。4.4 Operational Behavior of Dispatching Policies：FIFO按队列顺序通常优先成熟较早田块，Closest-Field仅优先空间邻近，RL通过FieldScorer综合田块信息、收割机状态、全局系统背景及预报信息；最明显差异是行驶时间，Closest-Field在正常和台风条件下均显著低于FIFO和RL，RL接受更多行驶，表明空间邻近不是其主导选择准则；FIFO收获和清理时间较低部分因大量面积过期而无需收获，故单项运行时间不能独立解释调度效率。
讨论部分：4.5 Discussion of RL Dispatching Performance指出，RL可利用比确定性基准更广的决策背景，综合田块紧迫性、空间信息、作物特征、机械状态、当前工作量、预期作物发育和即将发生的扰动信息，并愿意以额外行驶换取较低作物损失；但实验设计未将预报信息孤立为改善的唯一原因，因为Closest-Field和FIFO既不使用台风预报也不使用RL可用的丰富状态表达；因此结果说明预报感知RL调度优于确定性基准，但不能将改善完全归因于预报信息；绝对幅度中等，实际相关性取决于收获规模、额外收获作物价值和行驶成本。4.6 Limitations and Practical Implications指出，情景虽含真实田块配置、历史天气和SIMRIW作物发育，但田块子集、种植计划、台风时间与持续时间均为合成生成；作物进展为模型化而非逐田观测，实验限于一个地理研究区和两台同型联合收割机；训练与评估情景来自同一田块池、作物品种、机械配置、历史天气和情景生成程序，故100个留出情景检验的是共享条件下不同田块空间组合、成熟期和台风扰动的处理能力，政策差异幅度未必可直接外推到其他地区、种植模式或机械配置；评估仅限FIFO和Closest-Field，仍需与更先进优化调度方法比较；学习策略尚未在真实收获作业中验证，仿真假设7天预报窗口内台风时间与持续时间准确已知，而实际预报具有不确定性；结果应解释为受控仿真条件下政策潜力的证据，而非田间性能证据；实践意义在于容量受限时调度应考虑作物紧迫性、机械状态、空间信息和预期扰动，而非仅依赖队列顺序或空间邻近。
研究结论部分翻译：本研究扩展了先前开发的日本水稻收获物流多智能体仿真框架，集成用于预测感知调度的RL架构。通信桥连接异步仿真与外部Double DQN学习器。训练期间，仿真提供状态和奖励，接收田块分配动作，并产生用于策略学习的经验；每台收割机通过独立虚拟环境与学习器交互，所有收割机经验贡献共享策略。FieldScorer使用共享网络参数和动作掩码评估变化的可用田块集合。底层仿真表示空间田块信息、基于SIMRIW的作物发育、机械状态、物流过程、操作约束和天气条件。训练后策略在100个未用于训练的留出情景上与FIFO和Closest-Field比较，所有政策均在相同正常和台风扰动条件下评估。正常条件下，RL策略作物保存相当于或优于确定性基准。台风扰动下，其中位作物损失率较Closest-Field低12.5%，较FIFO低43.2%；对Closest-Field优势在配对分析和控制台风持续时间、总情景面积及情景层面变异后仍显著。Closest-Field所需行驶时间明显更少，其相对较强表现说明空间分散是主要操作约束；但RL较低作物损失表明，容量受扰时仅最小化行驶不足。本研究贡献了从预定义调度规则转向异步多智能体收获仿真中学习型、情境依赖田块分配所需架构和实现；该框架支持在操作仿真中训练策略并进行比较评估；共享策略在分配田块时考虑空间、时间、作物、机械、系统和预报信息；结果展示更广决策背景在天气扰动条件下的潜力，但观察到的优势不能完全归因于预报信息。
