通过引入因果滞后感知机制和多尺度融合技术来提升Transformer模型中的径流预测能力

《Journal of Hydro-environment Research》：Enhancing runoff prediction with causal lag-aware attention and multi-scale fusion in transformer models

Transformer模型在径流预测中存在非因果性缺陷，本研究提出因果延迟感知注意力机制与多尺度融合模块，并设计基于频域的损失函数，实验表明模型在NSE等指标上分别提升11.56%和3.28%

　　在水文水资源管理领域，径流预测是一项至关重要的任务。它不仅关系到水资源的合理配置和利用，还对洪水预警、气候变化研究和环境保护具有深远的影响。随着环境变化的加剧以及人类活动的增加，流域内的径流过程和相关水文系统发生了显著变化，使得径流预测面临更高的复杂性和不确定性。因此，探索更为先进和高效的预测方法成为研究的热点。

近年来，Transformer模型因其强大的序列建模能力，在径流预测领域展现出巨大的潜力。与传统的循环神经网络（RNN）和长短时记忆网络（LSTM）相比，Transformer模型通过自注意力机制能够直接建模序列中任意两个位置之间的全局依赖关系，从而避免了梯度消失的问题，并显著提高了计算效率。然而，尽管Transformer模型在径流预测中取得了初步成功，其内部的注意力机制仍然存在一些关键问题，特别是因果性和滞后性建模的不足。

传统的注意力机制在处理时间序列数据时，通常会同时考虑序列中所有位置之间的相互关系，这虽然提升了模型的表达能力，但也可能导致非因果依赖关系的出现。非因果依赖意味着模型在预测当前时间点的径流时，可能会错误地依赖于未来的信息，这种现象在径流预测中尤其不可接受，因为径流的变化通常是由过去的气象条件和水文特征决定的。因此，这种非因果依赖不仅会影响模型的预测性能，还可能降低其在实际应用中的可解释性和可靠性。

为了解决这一问题，本文提出了一种新的因果滞后感知注意力机制（Causal Lag-Aware Attention Mechanism, CLAAM），该机制在建模径流数据序列时，能够确保注意力机制的因果性，同时还能捕捉径流与气象数据之间的滞后关系。通过这种方式，CLAAM不仅增强了模型对时间依赖性的建模能力，还有效避免了非因果依赖可能带来的负面影响。此外，为了进一步提升模型对复杂径流模式的刻画能力，本文还设计了一个多尺度融合模块（Multi-Scale Fusion Module, MSFM），该模块能够整合不同时间尺度上的特征，从而更全面地反映径流的变化规律。

在模型训练方面，本文还引入了一种基于频域的损失函数——FreqMAE。该函数通过在频域中最小化观测径流与预测径流之间的绝对误差，增强了模型的优化效果。频域分析能够揭示数据中隐藏的周期性特征和模式，这对于捕捉径流的复杂变化具有重要意义。通过将频域信息融入损失函数，FreqMAE能够在一定程度上提升模型的泛化能力和预测精度。

为了验证所提出方法的有效性，本文使用了广泛应用于水文研究的CAMELS数据集。该数据集涵盖了美国674个流域的水文气象数据，包括每日尺度的气象驱动因素、静态属性以及径流观测数据，时间范围从1980年10月1日到2014年12月31日。通过在这些数据集上进行实验，本文评估了CLAAM和MSFM在提升径流预测性能方面的作用，并与多种基线模型进行了对比。

实验结果表明，本文提出的CLAMF-Former模型在多个评估指标上均优于现有的一些先进模型。例如，在NSE（Nash-Sutcliffe Efficiency）指标上，CLAMF-Former相比现有的Transformer基线模型，平均NSE提升了11.56%，中位数NSE提升了3.28%。此外，在KGE（Kling-Gupta Efficiency）和RMSE（Root Mean Square Error）等指标上，CLAMF-Former也表现出不同程度的改进。这些结果表明，CLAAM和MSFM的引入在一定程度上解决了传统Transformer模型在径流预测中所存在的因果性问题，从而提升了模型的整体性能。

值得注意的是，虽然Transformer模型在处理时间序列数据时表现出色，但其与传统的RNN结构存在本质差异。RNN及其变体（如LSTM和GRU）通过单向的信息传递机制，能够确保模型在预测过程中遵循因果性原则，即当前时间点的输出仅依赖于过去的输入信息。而Transformer模型在训练阶段会同时处理整个序列，计算所有位置之间的全局依赖关系，这在一定程度上可能破坏时间序列的因果特性。因此，尽管Transformer模型在建模复杂关系方面具有优势，但在实际应用中仍需谨慎处理因果性问题。

为了进一步验证这一观点，本文对Transformer模型中的注意力权重进行了深入分析，并发现了一定比例的非因果注意力分配现象。这种非因果注意力可能导致模型在推理阶段出现不合理的依赖关系，从而影响预测的准确性。通过引入CLAAM，本文成功地在径流数据序列中建立了因果性约束，使得模型在预测过程中能够更加合理地依赖于历史信息，而不是未来数据。同时，CLAAM还能够捕捉径流与气象数据之间的滞后关系，这对于理解流域水文响应的动态过程具有重要意义。

在处理多尺度时间特征方面，MSFM模块的引入进一步提升了模型的性能。由于径流的变化通常具有多尺度特性，即某些特征可能在较短的时间尺度上起作用，而另一些特征则在较长的时间尺度上表现明显，因此仅依赖单一时间尺度的建模可能无法全面反映径流的复杂变化。MSFM模块通过整合不同时间尺度上的特征，使得模型能够更灵活地适应不同时间尺度的输入数据，从而提高预测的准确性和鲁棒性。

此外，本文还提出了一种基于频域的损失函数FreqMAE，该函数能够有效提升模型在频域中的表现。通过在频域中对观测和预测径流进行比较，FreqMAE能够捕捉到数据中隐藏的周期性特征，从而增强模型的优化能力。这种频域优化策略为径流预测提供了一种新的视角，使得模型不仅关注时间序列中的局部模式，还能识别和利用更全局的周期性变化趋势。

在实际应用中，径流预测的准确性直接影响到水资源管理的效率和可靠性。例如，在洪水预警系统中，准确的径流预测能够帮助相关部门提前采取措施，减少灾害损失；在农业灌溉和城市供水规划中，径流预测可以优化水资源的分配，提高用水效率。因此，提升径流预测的精度和稳定性具有重要的现实意义。

综上所述，本文提出了一种基于Transformer的径流预测模型CLAMF-Former，该模型通过引入因果滞后感知注意力机制和多尺度融合模块，有效解决了传统Transformer模型在因果性和滞后性建模方面的不足。同时，通过引入基于频域的损失函数FreqMAE，进一步提升了模型的优化效果。实验结果表明，CLAMF-Former在多个评估指标上均优于现有的一些先进模型，展现了其在径流预测领域的强大潜力。未来，随着更多数据的积累和模型的不断优化，这种基于Transformer的径流预测方法有望在实际应用中发挥更大的作用。