基于注意力机制的混合水质预测方法，结合频率增强技术和多季节分解技术

《Journal of Water Process Engineering》：Hybrid water quality prediction based on attention combined with frequency enhancement and multi-seasonal decomposition

水质预测混合模型SMDF2通过集成 Savitsky-Golay 滤波器、多季节趋势分解、离散傅里叶变换及频率增强模块，有效解决水环境时序数据的不稳定性和非线性问题，实验表明其单元素预测精度提升21.73%，多元素预测提升18.14%。

　　水环境质量预测是水资源管理与污染防控的重要组成部分。通过分析历史数据，预测未来水质变化不仅有助于科学决策，还能在一定程度上预防水污染，保护生态健康。然而，水质时间序列数据通常受到多种环境因素和数据采集设备误差的影响，表现出高度的非线性和不稳定性。这些特性使得传统的预测方法难以准确建模，尤其是在处理非平稳序列时，非线性回归问题尤为突出。因此，开发一种能够有效处理这些复杂数据的预测模型，成为当前研究的热点。

现有的水质预测方法主要分为两大类：机制模型和数据驱动模型。机制模型基于物理、化学和生物过程的原理，通过建立数学方程来模拟水质变化。这类模型虽然具有一定的理论依据，但在面对复杂的环境变化和非线性因素时，往往表现出较强的局限性。相比之下，数据驱动模型则更加依赖于数据本身，能够通过学习历史数据中的模式来进行预测。数据驱动模型又可以细分为传统统计方法和现代深度学习模型。传统统计方法如自回归积分滑动平均（ARIMA）模型，主要用于捕捉线性关系，而支持向量机（SVM）等方法则能够处理低维和高维数据，具有一定的灵活性。近年来，随着深度学习技术的快速发展，越来越多的研究开始探索基于神经网络的预测方法，例如循环神经网络（RNN）和Transformer模型。

循环神经网络（RNN）因其在处理时间序列数据方面的优势，被广泛应用于水质预测领域。其中，长短期记忆网络（LSTM）和门控循环单元（GRU）是RNN的两种重要变体。它们通过引入门控机制，能够有效缓解传统RNN中的梯度消失问题，从而更好地捕捉时间序列中的长期依赖关系。此外，RNN还能够利用大量的时间数据进行概率性预测，为水质变化趋势提供更为精确的估计。然而，RNN在处理长序列数据时，往往面临计算复杂度高和训练效率低的问题，这限制了其在实际应用中的广泛使用。

为了解决这些问题，近年来Transformer模型被引入到时间序列预测中。Transformer通过自注意力机制，能够高效地捕捉序列中的全局依赖关系，同时避免了RNN在处理长序列时的局限性。基于Transformer的模型，如Informer、Autoformer和Pyraformer，分别在不同方面进行了改进。Informer通过引入稀疏注意力机制和知识蒸馏技术，实现了对长序列数据的高效处理；Autoformer则利用季节性和趋势分解方法，结合自相关机制，提升了模型对多尺度特征的捕捉能力；Pyraformer则通过树状结构的层次化注意力机制，实现了对多尺度依赖关系的高效建模。这些模型在水质预测任务中表现出良好的性能，但仍面临如何有效处理非线性、非平稳和多频率特征的问题。

针对上述挑战，本文提出了一种新的混合预测模型SMDF2，旨在提高水质预测的准确性。SMDF2模型融合了多种信号处理和特征提取技术，包括Savitsky-Golay（SG）滤波器、多季节趋势分解（MSTL）、离散傅里叶变换（DFT）、频率增强块（FEB）和频率域增强注意力（FEA）。这些技术的结合，使得SMDF2能够更全面地处理水质数据中的非线性和非平稳特性。

SG滤波器主要用于平滑噪声，减少数据波动，从而提高预测的稳定性。MSTL则用于提取水质数据中的周期性和趋势性成分，帮助模型更好地理解数据的整体结构。DFT用于将时间序列数据转换到频率域，从而揭示数据中的隐藏模式。FEB和FEA模块则专注于频率域特征的提取和相关性学习，进一步提升模型对多频率特征的捕捉能力。通过这些技术的整合，SMDF2能够在不同的时间尺度上进行有效的特征建模，从而提高预测的准确性和鲁棒性。

为了验证SMDF2模型的有效性，本文在两个具有代表性的水质数据集上进行了实验。第一个数据集来自中国河北省的某河流水质自动监测站，时间跨度为2018年8月至2021年12月，包含了多种水质指标的监测数据。第二个数据集来自美国阿拉巴马州的某河流监测点，时间跨度为2017年5月至2019年8月，同样涵盖了多种水质参数。这两个数据集的使用，不仅增加了实验的多样性，还为模型的泛化能力提供了有力的验证。

实验结果表明，SMDF2在单因子和多因子预测任务中均表现出优越的性能。在单因子预测任务中，SMDF2的预测准确率平均提高了21.73%；而在多因子预测任务中，预测准确率平均提高了18.14%。这些结果表明，SMDF2能够有效处理水质数据中的非线性和非平稳特性，从而提升预测的准确性。此外，与传统的预测方法相比，SMDF2在捕捉复杂周期性和趋势性特征方面也表现出更强的能力。

在模型设计方面，本文与之前的研究相比，进行了多项改进。首先，在特征提取部分，本文引入了卷积层，与自注意力机制相结合，从而同时考虑局部和全局信息，提升了模型的预测能力和泛化能力。其次，在数据集选择上，本文不仅使用了河北省的水质数据，还引入了美国阿拉巴马州的水质数据，增加了实验的广度和深度。最后，在预测任务上，本文不仅关注多因子预测，还扩展了单因子预测任务，特别是对总氮（TN）的预测，为模型的综合性能提供了更全面的评估。

本文的研究成果表明，融合多种信号处理和特征提取技术的混合模型在水质预测任务中具有显著的优势。SMDF2通过有效处理数据中的噪声和波动，提取多季节性和趋势性特征，并在频率域中进行特征建模和相关性学习，为水质预测提供了一种新的解决方案。未来的研究可以进一步探索如何优化模型的结构和参数，以适应更复杂和多样化的水质数据环境，同时也可以考虑将SMDF2模型与其他先进技术相结合，如强化学习和迁移学习，以提升模型的智能化水平和应用范围。