K-STEMIT：一种基于知识驱动的时空高效多分支图神经网络，用于通过雷达数据估算地下地层厚度

《Neurocomputing》：K-STEMIT: Knowledge-informed spatio-temporal efficient multi-branch graph neural network for subsurface stratigraphy thickness estimation from radar data

　　摘要：地下地层的时空模式蕴含着关于物质堆积、变形以及层状结构形成过程的关键信息。对于极地冰盖及其对应的地下冰层结构而言，冰层厚度的变化为雪量平衡估算、冰盖变化预测的精度提升以及气候和工程模型中不确定性的降低提供了量化依据。雷达传感器能够以深度分辨的方式捕捉这些层状结构，形成雷达回波图；然而，直接应用于雷达回波图的卷积神经网络往往容易受到斑点噪声和采集伪影的影响。更广泛地说，纯粹的数据驱动方法往往未能充分利用已知的物理知识，这会在跨空间和时间进行外推时导致厚度估算结果出现不一致或不符合实际情况的问题。为了解决这些难题，我们提出了K-STEMIT——一种新型的知识引导型、高效的多分支时空图神经网络。该网络结合了用于空间学习的几何框架与用于捕捉时间动态的时间卷积机制，同时还整合了来自区域大气物理模型的同步物理数据。通过自适应特征融合策略，该网络能够动态整合来自不同分支的特征。我们在标准化的雪雷达基准数据集上进行了大量实验，将K-STEMIT与当前最先进的知识引导型及非知识引导型方法以及其他现有方法进行了对比。实验结果表明，K-STEMIT在保持接近最优效率的同时，始终能实现最高的准确率。尤为重要的是，通过引入自适应特征融合和物理先验信息，与传统的多分支版本相比，其均方根误差降低了21.99%，且几乎不会带来额外的计算成本。此外，所提出的K-STEMIT还能持续降低每年的相对平均绝对误差，从而为大范围区域的雪量变化提供可靠、连续的时空评估。

引言：随着全球气温上升，研究人员发现极地冰盖的质量损失速度正在加快[11]。如果目前的趋势持续下去，预计到2030年代北极海洋将完全无冰[8]，而到2100年全球海平面将上升约1米[50]。极地冰盖由多年形成的多个内部冰层构成。深入理解这些内部冰层，尤其是其厚度和变化规律，有助于揭示降雪积累与融化的过程。这类知识对于监测雪量平衡的变化、解读难以观测的过程以及降低气候模型预测的不确定性至关重要。传统上，要获取内部冰层信息并测量其属性，需要提取现场冰芯[42]。研究人员在极地地区的特定位置钻孔，然后手动提取大型圆柱形冰芯。不过，这种方法存在诸多局限。由于极地地区的气候条件极为恶劣，且冰芯需要从冰盖中人工钻取，因此冰芯的采集范围仅限于极地的某些区域。即便在能够获取冰芯的地区，相关测量数据也是离散且稀少的，无法用来研究内部冰层的连续变化情况。此外，获取现场冰芯既昂贵又耗时，而且钻取过程还会对冰层造成破坏性损伤。近年来，机载雷达传感器[1]被证明是一种更为有效的工具。在极地地区开展的机载雷达科学探测任务，是借助装有专用雷达系统的飞机来穿透冰雪层，收集有关冰盖结构与动态的高分辨率数据。这些任务利用安装在飞机上的先进雷达系统，用于探测诸如内部冰层结构、基底地形以及雪量积累等地下特征。作为NASA“冰桥行动”项目的一部分，冰盖遥感中心（CReSIS）所使用的雪雷达[13]就是用于极地地区测量的一个典型例子。雪雷达可以通过测量电磁波反射的后向散射功率，来确定不同深度处的雪层或粒雪层的分布位置[2]，进而生成能够显示浅层及近地表积累层结构的雷达回波图，如图1(a)所示。图1(b)则为机载雷达传感器所捕获的雷达回波图。这类回波图有助于可视化地下特征，尤其是沿飞行路径的冰盖表面下的积累模式。雷达回波图的横轴代表飞机的飞行方向，通常称为沿轨轴，而纵轴则是快时间轴，用于显示雪层的所在深度。每个像素的值由其反射信号强度决定，亮度较高的像素意味着反射功率更强[2]。随后，这些雷达回波图会被标注，从而生成相应的训练标签（见图1(c)），其中标注的线条代表了由不同年份的降雪积累所形成的冰层边界[81]。随着深度学习技术的发展，已有多种基于卷积的神经网络[19]、[21]、[44]、[56]、[57]、[58]、[60]、[81]、[82]被提出，用于直接从雷达回波图中识别冰层边界。然而，雷达回波图中的噪声已被证明是获得高质量结果的重大障碍。近年来，基于图的结构的学习方法逐渐成为处理具有不规则空间关系的科学数据的有效途径。图神经网络和图变换器在科学和工程领域的众多非欧几里得学习问题中都展现出了出色的性能，比如交通流模式建模[72]、[73]、[74]、[75]、[76]、[77]、[78]、[79]、[80]、轨迹恢复[87]、分子性质预测[43]以及药物推荐[17]等。正是由于这一发展趋势，人们开始考虑将内部冰层表示为图结构，而非单纯视为图像像素。Zalatan等人[83]、[84]、[85]提出将内部冰层表示为独立的全连接图，并通过图神经网络来学习浅层冰层与深层冰层之间的时空关系。Liu等人[32]提出了一种“定位与扩展”两阶段策略，该策略在保持较高预测精度的同时显著降低了训练时间。Liu等人[31]、[33]则采用了两种类型的图变换器网络，进一步提升了预测精度，优于Zalatan等人的方法[83]、[84]、[85]。在一些近期研究中，也有学者尝试将神经算子应用于同样的深层冰层厚度预测任务中[65]、[66]。尽管现有方法已取得了显著成果，但它们主要依赖数据驱动的特性仍是一个重要限制。由于这些模型严重依赖于多源高精度观测数据，其性能可能会对训练数据的可用性和质量十分敏感，而且在面对未知情况时，其预测结果的可泛化性较差。这可能导致预测结果不符合实际或存在物理矛盾，从而降低其在科学分析中的可靠性。为了解决这一问题，我们采用了一种知识引导型的学习框架，通过具有物理意义的输入特征将领域知识融入网络之中。领域知识可以通过多种形式引入深度学习模型。正如Karniadakis等人[23]所指出的，这些形式包括将领域特定的变量纳入网络输入的观测偏差、嵌入在模型架构中的归纳偏差，以及影响训练目标的学习偏差。在本研究中，我们主要通过观测偏差的形式引入领域知识，即将从气候模型中模拟得到的物理变量作为图神经网络中节点特征的组成部分。这些基于物理原理的特征有助于引导模型学习那些更容易追踪的浅层冰层与较为难以确定的深层冰层之间的时空关系，而无需在模型架构或损失函数中明确嵌入控制方程。先前的研究已经证明了将物理信息纳入基于图的结构模型中的价值。例如，Liu等人[30]和Rahnemoonfar等人[45]表明，通过在节点特征中加入具有物理意义的变量，可以提高预测精度，优于Zalatan等人早期开发的融合时空信息的图神经网络。在此基础上，我们提出了K-STEMIT——一种知识引导型的时空高效多分支图神经网络，用于冰层厚度预测，旨在进一步提升现有知识引导型方法的预测精度与计算效率。具体而言，K-STEMIT将空间表示学习与时间表示学习分离到不同的分支中，使模型能够更有效地捕捉预测任务中的各种互补信息。随后，这些针对不同分支得到的特征会通过自适应特征融合机制进行整合。此外，该模型还整合了来自区域大气模型（MAR）的物理变量所对应的节点特征，从而使预测结果既能体现观测到的地层结构，又能考虑具有物理意义的环境背景。与以往基于雷达回波图的卷积神经网络方法相比，我们的方法并非直接处理带有噪声的图像强度，而是以图的形式建模层状结构的几何形态与厚度之间的时空关系。更广泛地说，与其他应用领域中利用图神经网络处理非欧几里得关系的工作类似，我们的方法也是利用冰层观测数据之间的关联结构，而非将其视为普通的图像网格。与早期的基于图和图变换器的冰层预测方法相比，K-STEMIT进一步整合了来自区域大气模型（MAR）的物理节点特征，明确地将空间学习与时间学习分开到不同的分支中，并通过自适应特征融合来整合各种互补的表示信息。另外，与现有的其他知识引导型冰层预测方法相比，K-STEMIT的设计目标是在提升预测精度的同时提高计算效率。所有这些设计考量都是为了增强模型对未知数据的泛化能力，同时确保其具备实际的实用价值。我们的主要贡献如下：•我们开发了K-STEMIT，这是一种知识引导型的高效多分支时空图神经网络，能够利用上层m个冰层的信息来预测下层n个冰层的厚度。•K-STEMIT采用了多分支策略，将空间特征提取与时间动态分析明确分开到不同的分支中，从而实现针对性的学习，进而提升预测精度与效率。•我们采用了自适应特征融合策略，能够动态整合来自不同分支的特征，从而实现更有效的信息整合，并提升模型对未知数据的泛化能力。•我们引入了来自区域大气模型（MAR）的物理节点特征作为先验的领域知识，这显著提升了网络的预测性能。•我们进行了大量实验，将K-STEMIT及其非知识引导型的对应版本STEMIT与当前最先进的算法以及其他现有的深层冰层厚度预测方法进行了对比测试。本文的结构如下：第2节介绍相关研究工作；第3节介绍雪雷达回波图数据集（SRED），说明如何从区域大气模型中获取物理数据并将其与雷达回波图测量结果同步，同时阐述如何基于SRED数据集生成图结构数据；第4节介绍我们所提出的多分支网络架构的核心设计；第5节详细说明实验流程；第6节为实验结果部分；第7节从不同角度对所提方法进行讨论；第8节对全文进行总结。片段内容：内部冰层追踪从雷达回波图中追踪内部冰层是一项复杂的任务。那些形成时间较久的冰层可能已经出现断裂、不完整、融化，或者对比度变化较小[55]，这些都大大增加了从雷达数据中提取冰层的难度。已有不少研究采用传统的非学习型算法来处理雷达回波图并识别冰层[3]、[27]、[35]、[40]，但这些自动算法无法扩展应用到更大的数据集上。近年来，深度学习技术得到了发展。雷达回波图数据集在本研究中，我们使用了雪雷达回波图数据集（SRED）[20]。该数据集包含了2012年通过CReSIS[13]操作的机载雪雷达在格陵兰岛地区采集的雷达回波图，而CReSIS是NASA“冰桥行动”项目的一部分[28]。雪雷达的雷达回波图及对应的标注图像可在CReSIS网站上获取。据我们所知，SRED是首个也是迄今为止唯一的、专为人工智能处理而设计的、基于机载雪雷达观测数据的全面雷达回波图数据集。知识引导型时空高效多分支图神经网络在本文中，我们介绍了K-STEMIT，这是一种新型的知识引导型时空高效多分支图神经网络，用于冰层厚度预测。K-STEMIT融合了知识引导型机器学习与多分支网络架构的核心理念，旨在利用最上层的m个内部冰层的信息来预测下方n个冰层的厚度。与纯粹的数据驱动型深度学习方法不同，知识引导型机器学习能够利用物理定律等领域的知识。数据预处理我们主要在m=5、n=15的设定下评估所提出的K-STEMIT模型。在这种设定下，利用最上层5个冰层（2007–2011年）的厚度与几何信息来预测下方15个冰层（1992–2006年）的厚度。为确保数据质量高且信息充足，我们排除了那些包含少于20个完整冰层的雷达回波图，以及那些在所需层中存在不完整痕迹的雷达回波图。经过预处理后，最终保留了1660幅雷达回波图。整体性能首先，我们对不同方法的整体性能进行了评估。在五个版本的训练集、验证集和测试集中，训练时间的均值以及预测误差的均值和标准差（RMSE、MAE）被用作衡量模型效率和准确性的指标。表3总结了各模型的准确性和效率。表中，STEMIT指的是不采用知识引导学习的K-STEMIT，而Multi-Branch则是指仅包含统计显著性分析的最简版K-STEMIT。

为进一步判断K-STEMIT的性能提升是稳定效果还是随机波动，我们使用相同数据划分和实验方案下五次匹配运行的结果进行了配对显著性检验。我们进行了四组对比：（1）K-STEMIT与知识引导型Multi-Branch的对比，以明确在同一物理条件下的多分支设计中，所提出的自适应融合方法的效果；（2）K-STEMIT与具有物理意义的GAT的对比。

在这项工作中，我们开发了K-STEMIT，这是一种基于知识引导的时空高效多分支图神经网络，它能够利用表层m层冰层的地理信息和厚度信息来预测下方n层冰层的厚度。我们的多分支架构在空间分支中采用了基于GraphSAGE的归纳框架，在时间分支中使用了带门控的时间卷积，并在每个分支开始时进行降维处理以去除无关特征。

作者贡献声明：
刘泽生：写作——审稿与编辑，写作——初稿撰写，可视化，验证，软件，方法论，研究，形式分析。
玛丽亚姆·拉赫莫恩法尔：写作——审稿与编辑，监督，资源协调，项目管理，资金获取，概念设计，研究，方法论，验证。

利益冲突声明：
作者们声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：玛丽亚姆·拉赫莫恩法尔表示获得了美国国家科学基金会的财政支持。其他作者则声明没有已知的可能影响本文所述工作的财务利益或个人关系。

致谢：
这项工作得到了美国国家科学基金会BIGDATA项目（IIS-1838230、IIS-2308649）、领导力级计算项目（OAC-2139536）以及PFI项目的支持（2423211）。我们还要感谢堪萨斯大学和NASA冰桥计划所提供的CReSIS数据及数据产品。同时，感谢奥卢瓦尼索拉·伊比昆勒为实验结果提供必要的数据集描述和物理分析。

刘泽生 | 玛丽亚姆·拉赫莫恩法尔
美国宾夕法尼亚州伯利恒市113研究大道，莱海大学计算机科学与工程系，邮编18015