SAGE GUI:具有解析梯度的快速灵活的可微水文模型
《Environmental Modelling & Software》:SAGE GUI: Fast and flexible differentiable hydrologic modeling with analytic gradients
【字体:
大
中
小
】
时间:2026年10月12日
来源:Environmental Modelling & Software 5.2
编辑推荐:
- 用于可微水文建模的独立图形环境。
- 精确的解析梯度避免了自动求导的依赖。
- 近乎即插即用地访问跨越37个全球区域的42个数据集。
- 集成数据质量控制、诊断、可视化和归因分析。
- 导出可复现的MATLAB脚本以供检查和逐行执行。
## 引言
水文模型被广泛用于理
- 用于可微水文建模的独立图形环境。
- 精确的解析梯度避免了自动求导的依赖。
- 近乎即插即用地访问跨越37个全球区域的42个数据集。
- 集成数据质量控制、诊断、可视化和归因分析。
- 导出可复现的MATLAB脚本以供检查和逐行执行。
## 引言
水文模型被广泛用于理解、模拟和预测流域、区域及大陆尺度的陆面水通量。大样本水文学通过在不同水文气候和地貌条件下进行系统性比较,扩展了模型评估的范围(Gupta等, 2014, Newman等, 2015, Addor等, 2017, Kratzert等, 2019)。与此同时,大陆尺度模型训练仍然面临计算挑战,尤其是当模拟涉及长时间序列、高时间分辨率、众多流域或反复的率定与验证实验时。基于无导数优化或有限差分梯度的传统率定方法可能变得代价高昂,而现代可微建模工作流通常依赖自动求导软件框架,引入了额外的计算、软件和依赖复杂性(Feng等, 2022, Shen等, 2023)。
敏感度感知梯度估计(SAGE)建立在概念性水文模型作为常微分方程组的解析敏感度分析的最新理论发展之上。该系列的第一篇论文(Vrugt等, 2026a)通过推导解析状态敏感度、流量雅可比矩阵以及针对广泛水文目标函数的闭式梯度表达式,开发了高效梯度计算的数学基础。一个重要成果是,水文雅可比矩阵由模型方程、参数值、驱动数据、初始条件和数值解决定,而非由损失函数的选择决定。因此,一旦雅可比矩阵被计算,不同可微目标函数的梯度可以直接获得,而无需重新运行水文模型。这种模型敏感度与目标函数的分离使得同一雅可比矩阵可以在不同损失函数之间重用。在匹配的计算基准测试中,解析前向敏感度分析(FSA)比测试的数值型和反向模式自动求导实现快几个数量级,所需的内存更少,并且提供了达到数值求解器精度的导数。
第二篇论文(Vrugt和Frame, 2026a)介绍了SAGE,通过将解析水文敏感度与前馈神经网络耦合,该网络将静态流域属性映射为流域特定的模型参数。链式法则的应用将逐流域损失梯度通过水文模型和参数传输网络传播到网络权重和偏置,从而产生一个用于大样本水文模型训练端到端可微学习框架。该研究在大陆尺度上展示了SAGE,使用覆盖美国本土的日尺度大样本研究流域属性和气象数据(CAMELS)(图1)。
第三篇论文(Vrugt等, 2026b)将SAGE扩展到多年度小时级模拟,并证明高分辨率大陆尺度训练在计算上仍然可行:完整的小时级实验在现代多核桌面硬件上大约需要一小时,而日级应用只需数分钟。这与传统的反向模式自动求导方法形成对比,在需要将梯度通过很长的模拟历史传播时,其内存和计算需求可能大幅增加。
本文作为该系列的收尾之作,介绍了SAGE GUI,一个将所有SAGE工作流组件集成为统一且易于访问的软件环境的独立图形用户界面。该界面通过在一个专为研究和教育设计的应用程序中集成数据获取与管理、模型配置、神经网络训练、敏感度感知优化、诊断、可视化和后处理,简化了大样本可微水文建模。
SAGE GUI的一个核心设计目标是在提供可微学习计算优势的同时,保持概念性水文建模的透明度。水文模型使用显式状态和解析敏感度方程来表述,计算密集的数值例程用编译代码实现。重要的是,图形界面并没有将用户与底层计算工作流隔开:任何配置的SAGE实验都可以导出为可执行的Matlab脚本,重现完整的模型设置和训练过程。导出的脚本可以被检查、修改和扩展,提供了图形实验配置与程序化模型开发之间的直接桥梁。因此,SAGE GUI结合了一个独立图形应用程序的易用性,以及开放计算工作流的透明度和灵活性,同时不依赖PyTorch、TensorFlow或JAX等自动求导框架。
该界面还解决了大样本水文学中一个实际但常被低估的障碍:数据组织和统一。现有的CAMELS类数据集在文件结构、变量命名约定、元数据格式、下载程序、质量控制协议和区域预处理要求方面存在显著差异。因此,SAGE软件基础设施的很大一部分并非用于水文模拟本身,而是用于健壮的数据获取、组织、筛选、统一和质量保证。
为了在不同水文区域提供一致的用户体验,SAGE GUI实现了一个统一的数据管理框架,目前集成了42个数据集,跨越37个区域基准环境,覆盖北美、南美、欧洲、亚洲、非洲和大洋洲。无论底层数据来源如何,用户都通过一个共同的流程进行流域选择、数据准备、模型训练、评估和后处理。这种抽象大幅减少了在不同地理区域和水文气候条件下进行比较性大样本水文学研究所需的工作量,同时提高了建模实验的可复现性和可移植性。
本文描述了SAGE GUI的设计、实现和功能。我们从第2节开始简要概述底层的SAGE框架及其解析梯度公式,接着在第3节中介绍快速入门工作流,将方法论与实际使用联系起来。第4节介绍了GUI的总体架构及其在配置和监控环境中的组织方式。随后的章节描述了软件的主要组件,包括数据管理、模型规范、神经网络配置、优化设置、诊断、可视化和后处理能力。第5节配置面板和第6节输出与监控共同提供了配置和监控环境的全面概述,支持SAGE GUI内的可微水文建模。第7节通过示例应用展示软件功能,并突出显示模型训练期间和之后生成的诊断产品。本文最后讨论了当前能力和局限性(第8节),并对主要发现进行了总结(第9节)。
## SAGE方法
SAGE是一个用于区域化水文建模的可微学习框架。与为每个流域独立率定模型参数不同,SAGE训练一个前馈神经网络,将流域属性映射为流域特定的水文参数值。该网络的有效训练需要流量关于水文模型参数的梯度。为了解析地获得这些梯度,SAGE使用一个增广系统,其中水文状态和参数……
## 快速入门工作流
典型的SAGE应用遵循一个顺序工作流,与第5节配置面板和第6节输出与监控中描述的GUI组织方式相呼应。一个实验一次处理一个选定的基准数据集;下文对多个流域、区域、时段或驱动产品的引用是指该数据集内的替代方案或子划分,而非同时整合不同的基准数据集。界面组织为五个逻辑阶段。第一阶段……
## 图形用户界面架构
SAGE GUI提供了一个集成的软件环境,使用解析梯度进行可扩展的可微水文建模。该界面旨在简化大样本水文实验的配置、执行、监控和后处理,同时为高级用户保持灵活性。图2展示了SAGE GUI启动后的主窗口。
该GUI使用模块化选项卡架构在Matlab中实现,并作为独立应用程序分发……
## 配置面板
SAGE GUI的左侧包含配置选项卡,定义了可微水文建模实验的所有组件。这些选项卡引导用户完成SAGE应用的顺序工作流,从项目设置和数据准备到水文模型规范、可微学习配置和诊断分析。配置面板的模块化组织反映了SAGE实验的自然进展,并提供了结构化的……
## 输出与监控
SAGE GUI的输出与监控面板在模型执行期间和之后提供实时诊断、可视化、日志和后处理。如果说配置面板定义了实验,那么输出与监控面板则支持对模型行为、优化进展、数值稳定性、参数进化和预测技能的评估。
在执行过程中,GUI持续更新优化统计量、计算诊断和可视化,使用户能够……
## SAGE实验示例
为展示SAGE GUI的功能,我们呈现了一个基于Dolich等(2026)的小时级CAMELS-DE-1h基准数据集的大样本可微水文建模实验。经过质量控制筛选后,保留了1258个德国流域,它们具有完整的气象驱动数据和足够完整的流量记录。
本示例的目标不是最大化预测性能,而是展示一个完整的SAGE GUI工作流,从……
## 讨论
为了透明度和诊断监控,SAGE在优化过程中评估训练期和评估期。尽管只有训练流域和训练期的观测值对损失函数梯度有贡献,但评估全部四个流域-时段情景可以实现对模型泛化能力和潜在过拟合的实时评估。将模拟限制在训练流域和训练期会将计算成本降低约20%–25%,但代价是失去这些诊断……
## 结论
本文介绍了SAGE GUI,一个用于配置、训练、评估和导出大样本可微水文建模实验的独立环境。该软件将前馈神经网络与概念性降雨-径流模型耦合,并使用解析梯度支持跨大流域样本的日尺度和小时级模拟。
该GUI使这一框架易于访问,无需用户构建机器学习代码或计算图。它的……
## CRediT作者贡献声明
Jasper A. Vrugt:写作–审阅与编辑,写作–初稿撰写,可视化,验证,监督,软件,资源,项目管理,方法论,调查研究,形式分析,数据整理,概念构思。Jonathan M. Frame:写作–审阅与编辑,可视化,资源。
## 软件可用性
SAGE GUI附带SAGE水文软件框架(Vrugt和Frame, 2026b)。公开的计算源代码、文档、示例配置和安装说明可在https://github.com/jaspervrugt/SAGEhydrology获取;存档版本通过软件引用中的DOI标识。配置好的GUI实验可以导出为独立的Matlab脚本(run_SAGE_export.m),提供计算流程的可读且可复现的表示。
## 利益冲突声明
作者声明他们没有已知的相互竞争的经济利益或个人关系可能影响到本文所述工作的报告。
Jasper A. Vrugt是加州大学欧文分校的教授。他的研究整合水文学、统计学、数学和计算学,以改进不确定性条件下的环境模型和预测。他的工作涉及利用三明治理论和估计量解决模型误设问题、参数推断、不确定性量化以及复杂系统模型的诊断评估。他的研究还涵盖陆-气相互作用、环境推断和基于物理的……
Jasper A. Vrugt | Jonathan M. Frame
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号