使用改进的扩散模型和Transformer模型的洪水预测方法

《Water》：A Flood Prediction Method Using Improved Diffusion and Transformer Models

　　

洪水预报对于预测洪水并促进及时疏散至关重要。机器学习与深度学习算法，如人工神经网络（ANN）、循环神经网络（RNN）和Transformer模型，在时间序列预测任务中已展现出显著成功。近年来，扩散模型（Diffusion models）通过向训练数据添加噪声再逆转该过程以恢复数据，在数据生成领域广受欢迎。然而，在洪水预测中，来自水库的水文数据可用性有限，常常阻碍深度学习模型的训练。本研究提出了一种新颖方法，通过将扩散模型与Transformer模型相结合来解决数据不足的问题。扩散模型用于数据增强，而Transformer模型则用于洪水流量预测。对于多变量输入数据集，研究人员在Transformer中引入了卷积块注意力模块（CBAM）。该模块能够自适应地学习不同输入变量的重要性权重。此外，考虑到现实世界时间序列的丰富组合——例如时间趋势、周期性和局部特异性——在扩散过程中常因逐步添加噪声而被破坏，研究人员在扩散模型中融入了一个时间趋势模块。这一增强使得扩散模型在生成过程中能更好地提取原始数据的时间特征，产生保留更多原始信息的新数据，从而提升数据增强的有效性。通过结合改进的扩散模型和Transformer模型，利用增强后扩散模型的强大生成能力以及增强后Transformer模型更优的预测能力，预测性能得到显著提升。实验结果表明，在大多数情况下，研究人员提出的模型相较于ANN、LSTM、Transformer模型及其他洪水预测方法，取得了更好的预测性能。

**论文解读：基于改进扩散模型与Transformer模型的洪水预测方法**

**研究背景与问题**

洪水是最具破坏性的自然灾害之一，准确预测洪水流量对于防灾减灾至关重要。传统水文模型（如新安江模型）依赖流域的大量数据（如降雨、径流、土壤湿度等），且不同流域的地质条件差异大，需要为每个流域单独构建物理模型，工作量大且数据收集困难。随着机器学习和深度学习的发展，人工神经网络（ANN）、长短期记忆网络（LSTM）和Transformer模型在时间序列预测中表现出色，但深度学习模型通常需要大量样本进行训练，而实际水库往往缺乏足够的洪水记录数据，导致模型性能受限。现有Transformer模型对不同站点水文数据的差异化权重分配能力不足，难以聚焦关键变量；同时，传统扩散模型在生成数据时未能有效学习时间序列的时变特征（如趋势、周期性），生成的数据可能丢失原始数据的时间动态，影响数据增强效果。因此，研究人员提出将改进的扩散模型（融入时间趋势模块）用于数据增强，并与改进的Transformer模型（引入卷积块注意力模块CBAM）结合，以解决数据不足和权重分配问题，提升洪水预测精度。

**研究内容与结论**

研究人员提出了一个名为TimeTrend-Diffusion + CBAM-Transformer的洪水预测框架。该框架首先利用改进的扩散模型（加入时间趋势模块）对原始小规模数据集进行数据增强，生成更多保留原始时间特征的合成样本；然后将增强后的数据集输入到嵌入了CBAM的Transformer模型中，通过CBAM自适应学习各输入变量（如不同站点的流量、降雨量）的重要性权重，从而完成预测任务。研究在柘溪水库（1013个样本）和潘口水库（310个样本）两个数据集上进行了验证，采用三种损失函数（MAE、MSE、Huber）和三种序列长度（4、5、6时间步），并与ANN、LSTM、SSSD、CSDI、TimeGAN、TimeVAE、Diffware、DiffTime等8种模型进行对比，评估指标包括纳什效率系数（NSE）、决定系数（R²）、均方根误差（RMSE）和相对误差（RE）。实验结果表明，在所有评估指标上，所提模型均优于其他对比模型，尤其在NSE这一核心指标上表现突出。在柘溪水库实验中，模型平均NSE达0.823，R²为0.921，RMSE为597，RE为11.7%；消融实验证实，同时引入CBAM和时间趋势模块能显著提升预测精度。研究人员还发现，使用MSE损失函数和较短输入序列长度（4个时间步）时预测效果最佳。该研究发表在《Water》期刊。

**关键技术与方法**

1. **改进的扩散模型（TimeTrend-Diffusion）**：在传统扩散模型的前向-反向过程中，嵌入一个编码器-解码器Transformer结构的时间趋势模块。该模块通过深度分解架构，将生成信号分解为趋势分量（多项式回归）、周期分量（傅里叶合成层提取TopK振幅）和误差分量，从而在生成过程中保留原始数据的时变特征，实现更有效的数据增强。
2. **改进的Transformer模型（CBAM-Transformer）**：在Transformer编码器之前引入卷积块注意力模块（CBAM），该模块通过全局平均池化和最大池化提取通道特征，经多层感知机（MLP）和Sigmoid激活函数生成通道权重，对输入的多通道（不同站点或变量）水文数据进行加权，突出关键变量。
3. **数据增强与预测流程**：先使用改进扩散模型将原始数据集（柘溪水库1013个样本，潘口水库310个样本）扩充约20倍，再输入CBAM-Transformer进行预测。评估采用NSE、R²、RMSE、RE四个指标，通过三种损失函数和三种序列长度进行系统比较。

**研究结果**

**4.1 对比方法**
研究人员选取了ANN、LSTM、SSSD、CSDI、TimeGAN、TimeVAE、Diffware、DiffTime八种代表性方法作为对比。其中，SSSD基于分数匹配捕捉非线性依赖；CSDI通过条件得分实现数据插补；TimeGAN生成合成水文过程线；TimeVAE学习压缩表示；Diffware采用连续时间建模；DiffTime擅长长时程预测。

**4.2 数据增强**
通过直方图对比原始数据与增强数据的分布，发现增强后的数据（扩充至20,180个样本）保持了与原始数据高度一致的分布形状、峰值位置和离散程度，且极值范围符合水文数据物理意义，验证了改进扩散模型数据增强的有效性。

**4.3 洪水预测**

**4.3.1 柘溪水库结果**
在柘溪水库数据集上，所提模型在所有36种实验组合（3种损失函数×3种序列长度×4个指标）中，23次取得最优结果。模型平均NSE为0.823，R²为0.921，RMSE为597，RE为11.7%，均优于其他模型。消融实验表明，单独使用CBAM或时间趋势模块也能提升性能，但二者结合效果最佳。进一步分析发现，MSE损失函数因放大极端误差，使模型更关注洪峰预测，整体性能优于MAE和Huber；输入序列长度为4时预测精度最高，较长序列可能引入冗余噪声。

**4.3.2 潘口水库结果**
在潘口水库数据集（310个样本，增强至6140个样本）上，所提模型在所有指标上均优于对比模型，平均NSE为0.547，R²为0.812，RMSE为255，RE为17.4%。消融实验中，模型在36个案例中19次取得最优，进一步验证了方法的泛化能力。

**4.4 训练效率**
模型训练时间约9分钟（在Intel i7 12700h、NVIDIA GeForce RTX 3070平台上），推理时间每步约40毫秒，完全满足水文预报（通常1小时或15分钟间隔）的实时性要求。尽管训练计算开销高于简单模型（如ANN仅5秒），但数据增强带来的精度提升证明该代价是值得的。

**讨论与结论**

**讨论**
通过对柘溪水库和潘口水库数据集的柱状图对比，所提模型在NSE、R²、RMSE和RE四个指标上均全面优于其他方法。针对小规模、数据匮乏的水库，引入注意力机制、扩散模型和时间趋势模块显著提升了预测精度，尤其在NSE和RE等关键指标上表现突出。未来将在更多水库数据集上测试，并考虑延长预测期，以更早预报洪峰时间和洪峰水位。

**结论（翻译原文）**
本研究提出了一种新颖的洪水预测框架，通过将增强时间趋势模块的扩散模型与增强卷积块注意力模块的Transformer模型相结合，命名为TimeTrend-Diffusion + CBAM-Transformer模型。研究人员在两种水库数据集上，使用不同损失函数（MAE、MSE、Huber）和序列长度（4、5、6），对九种模型（ANN、LSTM、SSSD、CSDI、TimeGAN、TimeVAE、Diffware、DiffTime和所提模型）进行了全面评估。模型性能通过NSE、RMSE、R²和RE四个指标衡量，结果表明所提模型在所有指标上均优于其他方法。这一改进证明，将数据增强与深度学习技术相结合，并融入时间趋势模块和CBAM，为洪水流量预测提供了一种可靠且有效的方法。改进的扩散模型在生成额外训练样本方面尤为有价值，这些样本用于训练改进的Transformer模型，显著提升了洪水预报精度。CBAM增强了预测模型学习多通道变量重要性的能力，而时间趋势模块则提升了扩散模型从数据集中捕捉时间信息的能力。本文为规模有限、历史数据稀缺的水库提出了一种新颖模型。未来工作将在更多水库数据集上测试该模型，以进一步优化所提模型和算法，提高预测的稳定性和可靠性。此外，研究人员将尝试延长预报期，以便更早地预测洪峰发生时间和洪峰量级。