学习何种信息有价值及何时使用——多目标水库(Multipurpose Reservoir)调度中预见期输入(Input Selection)与运行策略(Policy Optimization)的同步优化

《Water Resources Research》：Learning What Information Matters and When: Concurrent Input Selection and Policy Optimization in Multipurpose Reservoir Operations

　　

摘要：多目标水库的有效管理需要在日益增长的不确定性下平衡防洪、供水及生态系统需求。一个关键挑战在于决定利用何种信息以及在何时使用：各类变量和预见期的预报均存在，但其调度价值取决于管理目标及策略(Policy)结构。本文提出一个统一框架，在同步辨识最有助于决策的信息的同时，学习最优的水库运行策略。该方法通过扩展神经进化多目标优化(Neuro-Evolutionary Multi-Objective Optimization)，在单一过程中同步进化策略参数、网络拓扑结构及输入变量集合。为解释所得"黑箱"策略，研究人员采用改进的时变敏感性分析(Time-Varying Sensitivity Analysis, TVSA)来表征各输入在年周期内的影响。研究人员将该框架应用于意大利北部受控湖泊——科莫湖(Lake Como)系统，该系统存在防洪、灌溉供水及生态保护的竞争目标。框架自动发现性能匹配甚至超越依赖专家选定输入的现有先进方法的策略，且无需先验知识，在单一整体优化中完成。TVSA揭示策略自适应地切换对不同预见期信息的依赖：短期信息在春季主导洪水缓解，而中期信号有助于夏季平衡灌溉与通航。当基于真实世界预报训练时，策略优先选用准确的短期预测并舍弃不可靠的长预见期信号，凸显了当前预报能力与调度潜力之间的差距。研究结果表明，同步输入与策略优化可变革预见期入库水库调度(Forecast-Informed Reservoir Operation, FIRO)，为发现"何种信息重要及何时重要"提供可推广框架。

论文解读——《Learning What Information Matters and When: Concurrent Input Selection and Policy Optimization in Multipurpose Reservoir Operations》

一、研究背景与意义

多目标水库(Multipurpose Reservoir)运行需在防洪、农业及城市供水、发电、通航、生态系统服务等多重冲突目标间权衡，气候变化加剧了水文—气候变异性与不确定性，使传统运行规则面临挑战。预见期入库水库调度(Forecast-Informed Reservoir Operation, FIRO)利用水文—气象预报提升了系统韧性，但现有方法多采用顺序或迭代方式先由专家选定输入变量集合再优化策略(Policy)，假定输入集固定且静态，忽略了策略结构与输入选择间的强耦合关系——信息的价值依赖于所采用的策略，而策略质量又取决于所获信息。已有神经进化多目标直接策略搜索(Neuro-Evolutionary Multi-Objective Direct Policy Search, NEMODPS)可进化人工神经网络策略的拓扑与参数，但仍依赖预定义静态输入。该研究针对此局限，以意大利科莫湖(Lake Como)为案例，提出扩展NEMODPS框架实现策略表示(Representation)、拓扑、参数及输入变量集合的同步(Concurrent)进化，并结合改进时变敏感性分析(Time-Varying Sensitivity Analysis, TVSA)解释黑箱策略的季节适应逻辑。论文发表于《Water Resources Research》。

二、主要关键技术方法

研究人员以科莫湖为对象，建立离散时间周期马尔可夫状态转移水库模型，状态为库水位S_t，控制变量为下泄量u_t，扰动为净入库流量ξ_t。扩展NEMODPS框架：(1)候选输入变量（库水位、年内日序do y经sin/cos编码、多预见期累积入库流量异常值）置于外部池，"添加连接"突变算子可从中选取节点接入策略网络，实现输入选择的同步进化；(2)初始化含最小必要输入（库水位与do y），拓宽激活函数（ReLU、径向基函数等）与聚合函数（min、max、mean等）库；(3)拓扑突变与参数变异同等频率执行以优先探索架构空间。(4)采用改进TVSA：对策略各输入在逐日时间步做单因子微扰(Δ=5%归一化范围)，依中心差分计算局部绝对敏感性指数|S_i,t|，按日历日跨年取均值得时变敏感性热图，独立计算使异质输入集策略间可比。(5)多目标为最小化洪天数(水位>阈值)、最小化供水缺额(考虑夏季惩罚指数)、最小化低水位天数(水位<阈值)，以超体积指标(hypervolume, hv)评估pareto前沿质量，对照基准含无预报emodps策略及完美预见确定性动态规划所得完美运行策略(perfect operating policy, pop)。训练期1999–2018年，验证期1987–1998年，另用真实业务预报(progea 3日确定性及efas次季节>

三、研究结果

4.1 NEMODPS Performance（NEMODPS性能评价）

在无预报条件下NEMODPS收敛慢于固定结构的EMODPS但因搜索空间大最终具竞争力；当提供全部40个完美预见期累积入库预报时，NEMODPS的超体积(HV)随函数评价次数(Number of Function Evaluations, NFE)稳步上升，约5×10⁵NFE后达使用专家预选5、21、180天预报的EMODPS同等HV（约0.90），且在独立验证期保持相当性能。同步进化使策略自主筛选有价值预见期，在某些Pareto解上供水缺额目标优于最佳EMODPS，证明联合优化能发现适配不同目标权衡的专用架构与输入组合，克服固定输入局限。

4.2 Analysis of Policy Inputs（策略输入分析）

100次独立运行中3491个Pareto最优策略平均接入7.75个预报输入，3～62天预见期被选频率较均匀(17%–23%)，但拓扑连通不代表功能重要性。TVSA显示：折中策略全年依赖短—中期(7–15天)，3–8月增用15–60天预见期以兼顾春蓄与夏灌；侧重缺水与低水位规避的策略总体弱依赖预报，春初偶用长预见期(90–145天)辅助季节性蓄水决策；侧重防洪与低水位规避的策略全年强用短预见期(3–11天)，春季扩展至42天以应对融雪—降雨复合洪水；侧重防洪与缺水的策略春期多用11–42天预见期协调冲蓄矛盾，冬末与4月偶用≤90天预见期做长期规划。秋季各策略预报敏感性均低，因灌溉季结束目标冲突减弱。

4.3 Interpreting Policy Behavior With Real-World Forecasts（基于真实世界预报的策略行为解析）

换用真实业务预报后，高精度短临确定性PROGEA 3日预报(P3)被所有策略高度依赖，EFAS次季节/季节集合预报影响显著减弱。折中策略辅以EFAS 1–5天及17–24天弱信号；缺水—低水位策略几乎只靠库水位与季节，春季微弱用EFAS；防洪—低水位策略全年较强用EFAS 4–7天及14–27天；防洪—缺水策略结合EFAS短(2–10天)与中(18–32天)预见期。表明算法在实际不确定预报下自适应信任高精度短预见期、摒弃偏差大的长预见期。

四、讨论与结论（翻译结论部分）

有效管理多目标水库日趋复杂，要求运行策略最优、稳健且适应深层不确定性。策略设计的核心挑战是识别最有价值的决策信息源。本文通过扩展神经进化多目标直接策略搜索(Neuro-Evolutionary Multi-Objective Direct Policy Search, NEMODPS)算法使其在单一过程中同步优化策略表示、架构与参数，并引入改进时变敏感性分析(Time-Varying Sensitivity Analysis, TVSA)解析黑箱策略如何于年周期内利用异质信息，推进了水库调度研究。

将框架应用于科莫湖(Lake Como)案例得若干关键认识：第一，所提NEMODPS扩展发现之策略性能匹敌基于专家预选输入的前沿方法，且于无先验知识之单一整体优化中达成，说明方法可迁移至缺乏专家经验之流域；独立验证期证实性能与所选信息集对未见水文条件具泛化性。第二，完美预报分析表明信息价值强烈依赖调度目标——平衡防洪与低水位风险之策略在关键春蓄期整合多达数周各类预见期预报采取主动策略，而偏重枯水目标之策略主要依赖库水位辅以针对性季节预报。第三，基于真实预报训练时策略自动优先选用准确短期信息、弃用偏差大之长预见期及操作上无足够预见价值之输入。

本研究核心对比为完美与真实世界预报结果：完美预报揭示流域理想工况及信息理论价值，真实预报受限于现有产品偏差与技巧局限（尤长预见期），这种理论潜力与实践效用间鸿沟指明预报科学发展方向——如春季具技巧之季节预报对运行极具价值但现产品差致算法忽略之，可作为高优先级改进靶点。随次季节—季节(Sub-seasonal to Seasonal, S2S)预报技巧提升，框架可系统重评不同预见期相对价值变化，确保预报进步转化为调度效益。

综上，工作提供了设计与解析新一代预见期入库水库调度(Forecast-Informed Reservoir Operation, FIRO)策略之强力方法。通过自动化同步搜索相关信息及其实际利用方式，框架为多目标情境下定制策略提供更全面高效流程。同步进化输入与网络结构增加之单次运行计算代价被整体效率增益抵消——免去反复试设固定输入组合做独立优化的组合爆炸开销。未来可拓展至其他流域或纳入流量外候选输入（气象、积雪指标等），并深入探究预报不确定性与所得策略结构关系以指导适应性水管理系统设计。