《PLOS One》：An intelligent method for Buoy meteorological data restoration using a Spatio-Temporal Dual-Attention Network with transformer and GAT
编辑推荐：
本文提出一种创新性的时空双注意力网络（ST-DAN），该模型深度融合Transformer与图注意力网络（GAT），通过引入物理约束邻接矩阵和并行双链路架构，同步捕获气象数据的长程时间依赖与变量间空间关联，实现对海洋浮标缺失及异常数据的高精度修复。实验表明，ST-DAN在温度、风速等关键气象要素的插补与校正任务中，其MAE、MSE、RMSE及R2等多项指标均显著优于ARIMA、RNN、Bi-LSTM、Transformer等主流基线模型，展现出优异的鲁棒性和实用价值，为海洋气象观测数据的质量控制与可靠性提升提供了强有力的深度学习解决方案。
海上浮标作为获取海洋气象与水文数据的关键平台，能够长期、连续、稳定地监测海表温度、风速、风向、气压等多种参数。然而，由于恶劣天气与环境条件导致的电磁干扰及元件故障，部署于浮标上的气象传感器常遭受数据丢失或异常值的困扰。传统插值与填补方法往往难以捕捉海洋气象变量固有的时空依赖性，使得受损浮标数据的准确重构仍面临重大挑战。
为解决此问题，本文构建了一种新颖的深度学习模型——时空双注意力网络（ST-DAN）。该模型创新性地集成了Transformer编码器与图注意力网络（GAT）架构，形成并行计算的双链路推理框架。一方面，模型通过增强位置编码的Transformer捕获时间依赖性；另一方面，则基于物理信息邻接矩阵的GAT建模变量间的空间相关性，该矩阵能动态调整变量间的影响权重，从而显著提升重构精度。
模型架构与核心方法
ST-DAN模型的整体架构由时间编码链路、空间编码链路及特征融合层构成。输入数据经Z-score标准化后，被分割为气象特征与包含目标特征的时间特征，分别馈入两个并行链路。
在时间编码链路中，采用多层Transformer编码器结构。输入序列首先通过位置编码函数融合时间信息，随后利用其自注意力机制捕获数据中的长程时间依赖，最终输出时间特征矩阵。位置编码采用正弦/余弦函数生成，而Transformer中的多头注意力机制使模型能够从不同表示子空间联合关注信息，增强了其表达能力。前馈网络（FFN）则对自注意力层的输出进行非线性变换与深度特征抽象，形成了Transformer编码器强大的特征学习能力。
在空间编码链路中，设计了一种物理感知空间编码器（PhysicsAwareGAT），其核心是改进的图注意力网络。该链路将各气象要素序列视为图结构中的节点，并以气象要素间的相关系数图作为底层结构。关键创新在于引入了自适应物理约束矩阵机制，取代了传统GAT中的注意力权重生成机制。首先，基于专家知识预设一个物理先验矩阵（布尔矩阵），明确指定各气象特征（如温度、风速、压力、波周期、湿度）之间的相关与否关系。随后，通过一个可学习的物理学习矩阵，在训练过程中动态调整相关特征间的影响权重，其值域约束在[0， 2]之间，并通过Sigmoid函数归一化。该机制通过哈达玛积强制屏蔽无关连接，确保了模型在遵循领域物理知识的同时，能够自适应学习关联强度，从而实现了对空间相关性的有效建模并增强了模型的可解释性。
来自时空链路输出的特征被送入特征融合层。该层采用解耦融合策略，通过线性变换和Sigmoid函数生成的门控机制，动态调整时空特征的权重，实现有机融合，最终产生用于预测的融合表征。
在预测输出阶段，模型采用滑动窗口技术将原始序列转化为输入-输出样本对，以有效建模时间依赖与特征交互。针对实验数据集（时间分辨率为1小时），设置输入长度L=24，预测长度P=1，即使用异常点或缺失值前24小时的数据来预测并替代其值。为处理连续缺失值并避免误差累积，预测阶段采用了双向预测策略，结合基于缺失数据间隙内预测点相对位置的动态权重函数，计算最终预测值。
模型的损失函数采用平均绝对误差（MAE），并在训练过程中引入梯度裁剪机制以防止梯度爆炸。评估指标则包括MAE、均方误差（MSE）、均方根误差（RMSE）、决定系数（R2）和校正决定系数（AR2）。
实验设计与结果分析
为评估ST-DAN模型，研究利用ERA5再分析数据集和青岛浮标的现场观测数据进行了广泛的实验，重点关注温度和风速数据的重构。
数据集与噪声注入：实验使用了两个数据集。一是ERA5数据集（中国青岛海域，2022-2024年，时间分辨率1小时），以温度为预测目标；二是青岛小麦岛海域浮标实测数据集（2024-2025年，时间分辨率10分钟），以风速为预测目标。为模拟真实数据缺陷，在测试集中随机注入15%的缺失值（最大连续缺失数为4）和5%的异常值。异常值采用基于分层抽样的自适应高斯噪声注入方法生成，噪声强度与原始数据的标准差相关联。
消融实验：在ERA5数据集上进行的消融研究从时间路径、空间路径和时空双路径三个维度验证了模型组件的有效性。结果显示，时空双路径的ST-DAN模型在所有指标上均优于单一时间路径（纯Transformer）和单一空间路径（传统GAT）模型。例如，其测试集MAE（0.0386）比ST-GAT和Transformer分别降低了37.6%和18.2%，充分证明了时空双路径融合的必要性与性能优势。
对比实验：ST-DAN与包括ARIMA、RNN、Bi-GRU、Bi-LSTM、ST-LSTM、Transformer、Informer、Autoformer在内的多种主流时序插补模型进行了对比。在ERA5温度预测任务中，ST-DAN的测试性能全面领先。例如，其MAE（0.0386）比表现较好的ST-LSTM模型降低了29.3%，R2达到0.9996。在浮标实测风速预测任务中，面对更复杂的非线性波动数据，ST-DAN同样表现出色，其MAE（0.0833）、MSE（0.1036）、RMSE（0.3218）和R2（0.9732）均显著优于次优的Transformer模型，显示了其在真实复杂海洋环境下的强大适应性和鲁棒性。
数据修复效果可视化分析：通过对比ST-DAN与Transformer模型在温度、风速数据修复上的效果图，可以直观看到ST-DAN的预测值（红色虚线）与真实值（蓝色实线）几乎完美贴合，能准确跟随数据的内在变化趋势，而Transformer模型在部分波动区域则存在明显偏差。具体数值对比表明，ST-DAN修复的数据点与真实值误差极小，进一步验证了其高精度修复能力。
计算复杂度与鲁棒性分析：ST-DAN的总时间复杂度约为O(n + C2+ nLH2+ H2)，空间复杂度约为O(nH2+ C2+ H2)。其双链路解耦设计防止了时空特征的交叉污染，当某一链路受异常影响时，另一链路仍能保持基线预测能力。此外，基于物理先验的可学习约束矩阵强制模型遵循基本物理规律，避免了与物理原理相悖的修复结果，从而赋予了模型强大的鲁棒性。
综上所述，本研究提出的时空双注意力网络（ST-DAN）通过深度融合Transformer与GAT，并创新性地引入物理约束机制，成功实现了对海洋浮标气象数据的高精度、高鲁棒性修复。该模型不仅能有效捕获复杂的时空依赖关系，其修复结果还具有良好的物理可解释性，为提升海洋气象观测数据质量、支撑数值天气预报（NWP）、气候研究和海洋环境监测提供了可靠的技术工具。
