超越数据驱动模型中的按比例训练集选择：一种用于城市内涝预测的新型双侧分布分解方法

《Journal of Hydrology》：Beyond proportional training set selection in data-driven models: A novel two side distributional decomposition method for urban flood prediction

　　

**摘要**

数据驱动模型已成为城市防洪的有前景解决方案。然而，大多数模型设计中采用的训练集选择主要依赖于固定比例，给准确性带来了额外不确定性。本研究提出了一种非比例训练集选择方法——两侧分布分解（TSDD），用于城市洪水预测。基于城市排水水位数据的实验结果表明：（1）在多种实验设置下，TSDD与六种分解方法（EMD、SEMD、VMD、SVMD、STL、SSTL）结合时，在四种数据驱动模型（基于树的RF、基于循环的LSTM、基于卷积的CNN和基于注意力的Transformer）上均表现出更好的性能。所有城市排水站点的平均R2达到0.928。具体而言，上游、中游和下游的平均R2分别为0.969、0.859和0.947。（2）TSDD在处理高频洪水数据方面表现出良好能力。以2分钟频率采集的洪水数据在大多数站点获得了更好的精度，平均R2为0.933，而10分钟频率的平均R2为0.923。（3）TSDD能用更少的数据资源实现更高精度。它可以使用较少的标注训练样本替代传统的80%比例选择而取得良好性能。本研究可能增强城市洪水数据驱动模型开发中的多规则训练集选择，并提供一种新颖的训练样本筛选方法，以实现小样本数据条件下的高精度预测。

**引言**

近年来，具有频率高、严重程度大特征的城市洪涝事件日益普遍，主要受气候变化引起的极端降水驱动，促使全球各城市采取积极的防洪减灾策略（Hart等，2024；Lee等，2025；Zheng等，2024）。在新兴技术方案中，利用传感器监测数据实现城市水位精准预测的数据驱动模型已成为一种稳健且有前景的工具（Alexandra等，2023；Hosseini等，2022；Infant等，2025；Kaloudi和Li，2025）。此外，将先进的AI技术与ChatGPT（Bhandari等，2023；Hosseini和Pourzangbar，2026）以及信息物理-人工智能（CPS-AI）（Chen等，2025；Jimada-Ojuolape和Teh，2020）等数据驱动模型相结合，为水文学提供了更深入的理解和解决方案。得益于出色的计算效率和预测能力，这些先进技术展示了推动城市水文学发展和支持城市可持续发展的巨大潜力。

具体而言，对城市洪水预测中上述数据驱动模型的综合回顾揭示了两种主导建模范式。第一，许多模型基于水文物理过程，利用Storm Water Management Model（SWMM）等专业平台构建（Javan等，2025；Khatooni等，2025）。这些模型通过成熟的数学框架整合水文知识和工程应用。第二，一种日益增长的趋势是开发无需高水文知识门槛的简单轻量方法（Iliadis等，2024），如基于树的方法（如随机森林，RF）和基于循环的方法（如长短期记忆模型，LSTM）（Huan，2024a；Huan，2023）。此外，集成数据分解策略和多种优化算法（如梯度进化，GE）的混合模型也得到了广泛发展（Chen等，2026；Koucheksaraee等，2019；Koucheksaraee等，2022）。

然而，现有方法在全面合理地处理水文监测数据方面仍存在固有局限性（Kaloudi和Li，2025）。一个关键瓶颈在于训练集选择策略。城市洪水数据集主要来源于连续时间序列传感器流（Kyaw等，2024；Pedersen等，2021），而传统机器学习工作流程通常通过固定比例划分（如80%）来分割训练集和测试集样本（表1）。尽管这种简单的划分策略便于模型实现，但它不可避免地遗漏了原始数据中大量潜在的有价值信息。从数据获取的角度来看，这可能归因于数据漂移，即训练集与测试集之间的分布差异。为解决这一问题，已提出两种主要方案。第一，设计了"精选"方法（Bernardini等，2024），通过人工筛选构建定制训练集以提高模型在测试集上的性能。第二，数据分解技术展现出有前景的能力，这类方法根据包络曲线、熵和季节信息等不同规则将单一序列数据分解为多个子序列。根据上述不同目的，已设计并应用了多种数据分解方法（Dorfeshan等，2025），如经验模态分解（EMD）（Cai等，2025）、变分模态分解（VMD）（Luo等，2025）和多变量变分模态分解（MVMD）（Jia等，2026；Koucheksaraee和Chu，2024）。通过将复杂的城市水文数据分解为多样化的子序列，这些技术有效地捕捉了潜在的内部分布模式，从而在无需额外数据收集的情况下提高模型预测精度。

尽管上述策略可以提升模型短期性能，但在某些实际场景中，其总体精度仍未能超越基本的贝叶斯优化机器学习模型（Li等，2026）。因此，建立自适应训练集选择的系统标准对于提高数据驱动城市洪水预测模型的可靠性至关重要。特别是，数据分解技术通过从原始水文数据生成多样化的子时间序列组件，为优化训练集构建创造了新的机会（Huan等，2025）。然而，当前基于分解的应用仍存在两个显著局限。第一，尽管数据分解能够将原始时间序列数据拆分为多个子序列，但并非所有分解组件都与城市洪涝事件有效相关。包含无关或冗余子序列可能引入噪声，从而降低模型训练效率和预测鲁棒性。第二，这些方法忽视了城市洪水动力学的内在复杂性。洪水波动和水位变化受复杂的耦合水文机制支配（Huan等，2025），比例训练集选择仅能捕捉有限的数据分布特征子集。

相应地，有时在模型中减少训练集可能是有益的（Zhang等，2022），近期研究进一步证明人工智能可能不需要大量训练数据（Kazemian等，2025）。在大语言模型训练中，可能只需关注10%的重要数据即可获得高精度，尤其在强化学习中（Shen等，2025）。这种数据高效学习范式也可能高度适用于水文时间序列，特别是基于循环神经网络的模型。这些模型通常需要大量序列数据来训练模型，面对动态数据更新时尤其如此，其根本数据收集涉及排水水位变化。因此，采用较小的训练集可能比传统方法中输入穷尽历史数据的做法提供更高效的建模策略，特别是对于动态更新的城市洪水预测系统。

基于上述研究空白，两个关键问题亟需解决。（1）如何在城市洪水预测中训练数据驱动模型而不依赖固定比例训练集？（2）在数据驱动模型中不使用比例训练集选择时，数据频率和不确定性对城市洪水预测建模有何影响？为应对这些挑战，本研究提出了一种新颖的训练集构建框架——两侧分布分解（TSDD），用于城市洪水预测。核心研究内容包括两个关键方面：（1）与比例训练集选择相比，提出了一种基于不同高准确率城市洪涝事件数据的新方法。（2）采用多种采样频率数据源进行测试以找到合适模式。与现有传统模型相比，本研究有以下几项贡献：（1）该方法考虑了不同水文过程中洪涝事件的复杂成分，而传统数据分解往往对此关注不足。（2）引入的时间变化注意力机制捕获了建模过程中的动态水文不确定性，减少了传统理论无法准确量化实际水文过程中实时不确定性的潜在局限。

**片段部分**

**两侧分布分解（TSDD）**

考虑到通用数据格式通常聚焦于Tableau（表格结构），TSDD设计为与之配合使用，而不仅限于时间序列。总体而言，TSDD的流程由两个主要组件构成，均聚焦于Tableau数据：（1）Tableau行分解和（2）Tableau列分解（图1）。

TSDD的过程如下（表2，表S1）：（1）在第一组件之前，标记历史上城市排水水位均值以上的点，并记录结果。

**结果**

基于实验设计，不同城市排水站点和频率的结果见表4，主要以R2表示，自助法结果见表5。完整信息见S2-S4表、S10-S12表，资源成本见表S5。结果已通过配对检验（表S8）。

首先，基于与其他分解方法的比较结果（表S2a–c），TSDD在四项典型指标上表现出更好的性能。

**模型性能分析**

基于现有方法的结果，造成差异的一个关键解释是比例训练集。它们可能由于潜在随机漂移（Gan等，2025）而产生不同的子序列，而这些子序列与已知数据分布之间缺乏适当的关联性。然而，TSDD表明仅需要少量训练集（约10个洪涝事件）即可实现良好的预测，这可能表明城市排水水位变化依赖于若干关键事件（Huan，2025），而非全部历史数据。

**结论**

本研究提出了一种新颖的方法TSDD，用于数据驱动城市洪水预测模型的训练集选择，替代传统比例方法。结果显示：

（1）与EMD、VMD和STL等六种流行的数据分解方法相比，TSDD在城市排水水位预测中表现出更好的性能。TSDD在所有城市排水站点的平均R2达到0.90。

（2）使用TSDD的预测显示出显著的地域差异，其中中游……

**CRediT作者贡献声明**

Songhua Huan：写作—审稿与编辑，写作—初稿，可视化，验证，监督，软件，资源，项目管理，方法论，调查，资金获取，形式分析，数据管理，概念化。

**资金**

本工作得到中国科学院大学复杂数据建模与分析专项基金（编号：020204D05004Z、4800600705Z1D3001）、国家自然科学基金及青年科学技术人才培养项目的支持。

**未引用参考文献**

Andi等，2026；Ren等，2025a；Ren等，2025b。

**利益冲突声明**

作者声明不存在已知的可能影响本文所述工作的竞争性经济利益或个人关系。

Songhua Huan