AtmosOceanNet：一种基于大气-海洋多模态数据驱动的海表温度（SST）预测方法

《Pattern Recognition》：AtmosOceanNet: SST Forecast Method Driven by Atmospheric-Oceanic Multimodal Data

AtmosOceanNet基于多模态数据分析，创新性地整合时空转换模块、交叉相似注意力机制与扩散模型，通过UNet架构实现海洋大气耦合关系的高效建模，在亚太海域海面温度7天预测中较SOTA方法提升13%。

　　

王欣轩|白军|丁坤|王颖|李寅能|向世明|褚小青

中国科学院自动化研究所多模态人工智能系统国家重点实验室，北京，100190，中国

摘要

在海洋数据分析中，单个物理元素的空间时间演变通常与其他多个气候元素密切相关。然而，物理元素之间的耦合关系高度非线性，这使得通过有限的物理方程组难以准确预测未来的变化。本文基于多模态数据分析，提出了一种数据驱动的空间时间预测模型（AtmosOceanNet），以帮助模拟海洋和大气系统中各种元素之间的非线性耦合关系。该模型整合了一系列先进的人工智能技术：UNet、时空（TS）转换、多模态性、注意力机制和扩散模块。UNet的编码器-解码器结构构成了模型的核心。TS转换模块作为模型的输入输出部分，创造性地为空间分析模型赋予了分析时间特征的能力。提出了一种相似性注意力机制，使模型能够从多模态数据中自动提取空间时间演变信息。引入了扩散模型（DM）分支，从概率分布的角度对自然空间时间序列中常见的不确定性进行建模。为了验证模型对空间时间序列的预测能力，进行了海表温度（SST）预测实验，覆盖了整个亚太海域（APS）。结果表明，多种模态可以显著提升预测性能。与现有的最先进的空间时间预测方法相比，我们的模型在接下来的7天内预测准确率提高了13%。代码将在https://github.com/xuanxuan4AI/AtmosOceanNet处提供。

引言

大气和海洋是地球气候系统的两个关键组成部分，它们之间存在复杂的相互作用[1]。理解大气和海洋元素之间的非线性耦合关系可以提高人类预测气候变化的能力[2]，从而为极端天气事件提供早期预警[3]。

传统的气候预测方法依赖于数值模型[4]。尽管科学家们已经对许多关键的气候变化有了很好的理解，但仍有一些重要的物理过程尚未完全掌握，并且难以在现有的数值模型中准确模拟。通过学习大量的历史气候数据，深度学习（DL）模型能够捕捉复杂的非线性关系，从而实现更高的鲁棒性[5]。历史数据可能包含尚未被发现的物理知识[6]，而DL模型的强大学习能力可以使得这些隐藏的物理规律在潜在空间中得到建模。

对于空间时间序列预测，DL模型需要同时捕捉空间维度的空间特征和时间维度的动态变化。大多数空间时间序列预测方法倾向于使用结合CNN[7]和RNN[8]的混合网络，例如ConvLSTM[9]。然而，ConvLSTM在捕捉空间特征方面的能力有限，尤其是在捕捉多尺度关系和空间全局依赖性方面。RNN的递归结构在计算过程中需要逐步展开，导致处理长序列时计算效率较低[10]。为了解决这些问题，创造性地提出了一种时空（TS）转换方法，使普通的空间分析模型无需任何结构修改即可具备一定的时间分析能力。通过偏移减法，空间时间序列可以转换为变化图序列。在变化图中，时间维度中的动态变化信息被转换为空间维度中的能量分布状态。

目前大多数预测工作仅限于利用单一模态的数据，因为大气和海洋之间的数据分布模式存在不一致性。因此，为每种模态配置了单独的特征编码器，以学习每个气候元素的独立演变过程。编码器源自UNet的编码器部分[11]，由多个卷积层组成。随着卷积层层次的增加，模型模拟非线性关系的能力也随之增强。提出了一种交叉相似性注意力融合（CSAF）模块，用于对齐和融合不同模态的抽象特征。CSAF嵌入在编码器的每个层次中，以实现跨气候元素的空间时间演变建模。与传统交叉注意力操作[12]不同，我们的CSAF模块使用相似性运算符来计算注意力分数，这使得CSAF模块能够自动从不同气候元素中搜索有效信息，而无需预先定义的物理先验。

气候系统是一个具有高度不确定性的混沌系统[13]。因此，在我们的预测网络中引入了扩散模型（DM）分支，从概率分布的角度对这种不确定性进行建模。DM分支的潜在空间保留了主要特征，同时去除了冗余信息。因此，DM分支的输出与潜在空间中由主干网络编码的特征对齐并融合。融合方法也是CSAF。

在大气和海洋系统中存在许多尚未发现的物理模式和规律。多模态数据分析可以在模型的潜在空间中对这些规律进行建模。在对齐和融合不同模态的编码特征后，这些多模态特征被发送到UNet的解码器中，以预测未来几天的气候元素场。本文提出的模型能够同时整合来自大气和海洋领域的多模态数据，实现更准确的空间时间演变预测。该模型被称为AtmosOceanNet。

为了验证AtmosOceanNet对气候系统的空间时间序列预测能力，本文在海表温度（SST）预测场景下进行了实验验证。作为输入的多模态数据包括海洋领域的SST场，以及大气领域的温度（AT）和风速（WS）场。实验海域覆盖了整个亚太海域（APS）。

总结来说，本文的主要贡献如下：

•

提出了一种AtmosOceanNet模型，用于进行大气和海洋的多模态空间时间序列预测。该模型主要由UNet的多层编码器-解码器结构组成。每种模态通过单独的编码器分支进行处理，以获得多层特征。各层的特征通过CSAF对齐和融合，以实现跨模态信息交互。

•

提出了一种TS转换模块，将时间动态变化转换为空间维度中的能量分布状态。这使得空间分析模型能够应对时间特征分析的挑战，从而减轻学习负担并提高预测性能。

•

引入了一种CSAF方法，以促进多模态数据的对齐和融合。创新之处在于提出了一种基于相似性的交叉注意力算法，可以自动从不同模态中提取有价值的信息。

•

引入了DM分支，从概率分布的角度对空间时间序列的不确定性信息进行建模。CSAF方法用于将DM分支与潜在空间中的主干编码器对齐和融合。据我们所知，这是首次尝试将扩散机制纳入SST场的分析任务中。

数据集片段

数据集

SST、AT和WS场的多模态数据集来源于CMEMS提供的全球每日网格化数据[15]。数据集的时间范围从1993年1月1日到2019年12月31日，共计9,861天。SST场每天观测一次，而AT和WS场每小时观测一次。AT和WS场的时间分辨率通过每日平均与SST场对齐。这三个场在纬度和经度上的空间分辨率为0.25°。

基于数值模型的SST预测方法

数值海洋建模主要依赖于控制方程和物理原理，使科学家能够模拟和预测海洋动态，从而支持定性和定量海洋研究[19]。

Shchepetkin等人[20]为实际海洋模型开发了一种分裂显式水动力核，解决了模式分割中的数值问题。它使用定制的滤波函数对正压模式进行一致的时间平均，确保了示踪剂的精确守恒。

方法论

AtmosOceanNet的概述如图2所示。

与其他先进方法的比较实验

为了验证所提出的AtmosOceanNet模型的实际预测能力，我们复现了近年来一些最先进的空间时间序列预测方法。所有比较实验都在相同的数据集和相同的平台上进行。观测天数统一设置为7天，预测天数也统一设置为7天。比较方法包括AA-TransUNet [36]、PreDiff [14]、EarthFormer [34]、ConvLSTM [37] 和

结论

所提出的AtmosOceanNet可以利用气候系统的多模态历史数据来模拟物理元素之间的复杂耦合关系。本研究使用的数据包括海洋领域的SST场以及大气领域的AT和WS场，覆盖了整个亚太地区。为了实现不同模态之间的信息交换，设计了一个CSAF模块，以在特征层实现对多模态数据的对齐和融合。

CRediT作者贡献声明

王欣轩：撰写 – 审稿与编辑，撰写 – 原稿，方法论，调查，正式分析，数据管理，概念化。白军：撰写 – 审稿与编辑，项目管理，正式分析，概念化。丁坤：撰写 – 审稿与编辑，正式分析。王颖：撰写 – 审稿与编辑，正式分析。李寅能：项目管理，正式分析，数据管理。向世明：撰写 – 审稿与编辑，方法论，正式分析。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本研究得到了中国科学院战略优先研究计划的支持，项目编号为XDA0370203。