《Agriculture》：Clove and Lemongrass Essential Oils as Repellents Against Halyomorpha halys: From Behavioural Responses to Molecular Interactions and Controlled Release
编辑推荐：
模型预测控制(Model Predictive Control, MPC)的性能取决于预测时域和控制时域，尤其对于存在噪声、执行器约束以及对象-模型失配的实验辨识逆响应过程而言。本研究评估了一种离线强化学习(Reinforcement Learning, RL
模型预测控制(Model Predictive Control, MPC)的性能取决于预测时域和控制时域，尤其对于存在噪声、执行器约束以及对象-模型失配的实验辨识逆响应过程而言。本研究评估了一种离线强化学习(Reinforcement Learning, RL)辅助的监督框架，用于膜过滤过程中约束MPC的时域选择。利用泵转速指令与泵管路流量数据，通过子空间状态空间系统辨识数值算法(Numerical Algorithms for Subspace State-Space System Identification, N4SID)辨识出二阶状态空间模型，估计拟合度达92.16%，独立一步超前验证拟合度达90.90%，但长时域保真度仍然有限。该模型被嵌入具有输入和输入变化量约束的目标跟踪MPC中，而RL仅负责选择时域参数。在名义情况下，具有代表性的RL所选时域组合将预先指定的综合评分从2.5700降至2.4562（降低4.43%），且模拟二次规划失败次数为零。对146个可行组合的穷举评估确定最优评分为1.2214，证实RL未达到全局最优。在120次迭代预算下，贝叶斯优化在30次运行中有20次达到全局最优，而ε-贪心算法仅为3/30。将搜索域扩展至208个组合后，评分降至1.1838，表明结果对预测时域下界敏感。在11种基于模型的鲁棒性场景中，RL调优的MPC相较于基线实现了平均3.13%的评分降低，并伴随单项指标间的权衡。总体而言，时域选择改善了MPC的权衡性能，但结果仍依赖于搜索域和辨识模型环境。
一、研究背景与问题
水处理、海水淡化及膜过滤等水过程系统必须在物理与运行约束下维持可靠调节。模型预测控制(Model Predictive Control, MPC)因能显式处理约束并预测未来过程行为而被广泛采用，但其性能高度依赖于预测时域与掌控时域的选取。既有研究指出，时域选取是MPC工程整定中最具影响力却又最缺乏系统化方法的环节：过长的预测时域虽可增强对延迟动力学的预见性，却会增大优化问题规模；过大的控制时域虽提供更多未来输入自由度，却可能加剧执行器动作。对于存在逆响应特性的慢过程，时域选取尤为关键。此外，基于第一性原理构建膜过滤系统模型存在困难，需借助数据驱动辨识方法获取紧凑的状态空间模型。尽管已有研究展示强化学习(Reinforcement Learning, RL)或贝叶斯优化用于MPC元参数优化的潜力，但缺乏基于实验辨识的逆响应水过程数据、在统一闭环评估条件下对离线序贯时域选择机制的系统比较，研究人员因此开展本研究。
二、研究内容与主要结论
研究人员采用实验室规模膜过滤平台中泵P701的转速指令与B702/FIC-B701管路流量数据，利用子空间状态空间系统辨识数值算法(N4SID)建立二阶离散状态空间模型，并嵌入具有输入与输入变化量约束的目标跟踪MPC。RL作为监督层仅选择时域参数，不直接生成控制动作。名义条件下，代表性RL所选时域组合(225,70)将综合评分由2.5700降至2.4562（降低4.43%），且无二次规划(Quadratic Programming, QP)失败；但146个可行组合的穷举评估显示最优组合(75,5)评分为1.2214，证明RL未达全局最优。在120次迭代预算下，贝叶斯优化30次运行中20次达到全局最优，而ε-贪心仅3次。将搜索域扩展至208个组合后，最优评分进一步降至1.1838。11种模型鲁棒性场景中，RL调优MPC平均降低评分3.13%。研究结论支持将ε-贪心RL视为透明的离线监督搜索基线而非普适最优优化器，且结果具有模型条件性。
三、主要关键技术方法
研究人员采用以下关键技术方法：利用实验室规模膜过滤平台中泵P701转速指令与B702/FIC-B701管路流量构成的实验数据集，基于N4SID子空间辨识建立二阶状态空间模型；将模型同时作为MPC预测模型与闭环仿真环境；采用ε-贪心有限臂老虎机进行离线监督时域选择；对146个可行时域组合进行穷举枚举以建立有限域全局最优参考；采用高斯过程贝叶斯优化作为非RL搜索基准；通过30个独立随机种子进行可重复性分析；利用协方差一致性随机采样、残差自举及11种预设场景进行不确定性与鲁棒性评估。所有候选控制器均采用相同模型、参考轨迹、约束、权重、求解器设置与80s仿真时长。
四、研究结果
3.1 辨识模型行为与验证相关性：模型估计拟合度92.16%，独立一步超前验证拟合度90.90%，但自由运行验证拟合度为-5.19%。主导极点对应时间常数约6.58s，标称传输零点1.00402位于单位圆外，呈现逆响应特性。多步预测验证显示预测精度随区间增长逐步下降，说明模型仅适合短时域预测。
3.2 开环合理性检验：施加稳态输入后输出渐近收敛至参考值0.05，但瞬态先降至约-0.047，约10s后过零，再经30-40s缓慢恢复，印证逆响应为主导控制挑战。
3.3 基线目标跟踪MPC响应：基线时域(250,40)实现稳定无偏移跟踪，稳态绝对误差为3.1×10
-7，综合评分2.5700，QP失败为零；但初始逆响应明显，最大跟踪误差约0.2347。
3.4 基线与RL调优MPC名义比较：RL时域(225,70)使综合评分降低4.43%，均方根误差(Root Mean Square Error, RMSE)由0.0627降至0.0577，积分平方误差(Integral Squared Error, ISE)、输入能量与输入变化量能量均降低，初始下冲幅度减小；但积分绝对误差(Integral Absolute Error, IAE)与调节时间略有增加，呈现指标间权衡。
3.5 穷举时域空间基准：146个组合中全局最优(75,5)评分1.2214，较基线降低52.48%；低评分区域集中于短预测时域与小控制时域；基线组合排名第58位，RL组合排名第26位。
3.5.1 目标权重与Pareto敏感性：四种权重结构下排名与名义排序的Spearman相关系数均超过0.99994，名义最优(75,5)保持在ISE-输入变化量能量Pareto前沿上。
3.5.2 时域范围边界敏感性：扩展域(208个组合)后最优组合变为(40,3)，评分1.1838，较原域最优降低3.08%，表明原预测时域下界截断了更优解。
3.6 与非RL优化匹配迭代比较：贝叶斯优化平均最终评分1.3680、平均穷举排名2.20，均优于ε-贪心(1.9801、9.77)；平均简单遗憾从0.7587降至0.1466。
3.7 RL行为与可重复性：30次运行最终评分均值1.9801±0.4858，全部优于基线，但仅10%运行达到全局最优，产生17种不同最终时域组合，表明搜索依赖随机探索。
3.8 模型场景鲁棒性：11种场景中RL调优均优于基线，平均降低3.13%；6种非名义初始条件下RL配对降低4.46%；30次残差自举中RL平均降低8.90%，而名义穷举最优对随机扰动更敏感，未保持统计显著优势。
3.9 计算性能：基线总CPU时间178.19s，RL配置降至88.11s（降低50.55%），穷举最优仅需4.61s（降低97.41%）；QP求解约占总执行时间95%以上。
五、讨论与结论
讨论指出，RL辅助时域选择改善了预定义综合目标并保持约束可行性，但结果具有模型条件性：协方差不确定性分析显示完整时域排序与名义排序的中位Spearman相关仅0.624，短时域最优区域相对稳健，而中长时域详细排序对模型不确定性敏感。研究未进行独立物理设备在环验证，且模型为局部低阶单输入单输出(Single-Input Single-Output, SISO)表示，结论仅适用于所辨识的泵-流量液压运行范围。结论部分明确：ε-贪心RL应被视为透明的离线监督搜索基线而非普适最优MPC优化器；时域选择改善了MPC权衡，但结果依赖搜索域与辨识模型环境；未来工作应在实验闭环运行下开展不确定性感知或基于集成的时域选择，并按需扩展至包含膜相关变量的多变量模型。
