《Neurocomputing》：GFocal: A global-focal neural operator for solving PDEs on arbitrary geometries
编辑推荐：
摘要在许多工程任务中，需要反复求解偏微分方程，比如性能预测、设计优化以及统计分析等。虽然基于经典物理的求解方法已证明其有效性，但它们的计算效率较低，导致求解过程既耗时又繁琐，难以满足实时控制应用的需求。因此，人们迫切需要准确且高效的替代求解方法。对于高度非线性的动态偏微分方程系统
摘要
在许多工程任务中，需要反复求解偏微分方程，比如性能预测、设计优化以及统计分析等。虽然基于经典物理的求解方法已证明其有效性，但它们的计算效率较低，导致求解过程既耗时又繁琐，难以满足实时控制应用的需求。因此，人们迫切需要准确且高效的替代求解方法。对于高度非线性的动态偏微分方程系统，要解决多尺度问题并保持长期模拟中的物理一致性，就必须有效捕捉局部特征与全局特征之间的复杂关联，而现有的神经网络替代求解方法在这一方面还存在不足。在本文中，我们提出了GFocal这一神经算子方法，它利用变换器的优势来捕捉长距离依赖关系，并实现全局特征与局部特征的同时学习与融合。具体而言，通过基于Nystr?m注意力的全局块和基于切片的聚焦块来提取全局关联与局部特征，从而生成具有物理意义的表示形式，再通过基于卷积的门控机制对它们进行调节与整合，实现多尺度信息的动态融合。GFocal能够在任意几何形状和初始条件下实现对物理特征的精准建模与预测。实验结果表明，GFocal在六项基准测试中均取得了20.58%的相对优势，性能处于行业领先水平，同时在工业规模模拟中也表现优异。
引言
在天气预报[1]、物体检测[2]以及机翼设计[3]等诸多重要的实际应用中，都需要求解偏微分方程。在实际场景中，由于几何结构复杂以及边界条件不理想，通常无法通过解析方法求解偏微分方程。为此，人们开发了有限元法、有限体积法以及谱方法等多种数值解法。不过，这些传统数值方法计算量大且耗时，难以应用于那些需要实时评估或频繁进行函数计算的任务中。
神经网络凭借在加速硬件上能够快速完成训练后评估的优势，成为另一种极具潜力的求解偏微分方程的数值方法。物理信息神经网络通过将偏微分方程的残差纳入神经网络的损失函数，使得求解偏微分方程问题转化为等价的神经网络训练问题。然而，这类方法的训练过程计算成本很高，且对于配置相似但并不完全相同的问题，其泛化能力有限。神经算子则能够学习输入空间与输出空间之间的功能映射，从而能够解决某一类问题而非单个实例。与神经网络类似，神经算子也具备比传统数值方法更快的推理速度，同时仍能处理大规模的偏微分方程问题。
目前常见的神经算子包括DeepONet[5]、FNO[6]以及基于变换器的神经算子[7]。DeepONet本质上属于神经场模型，能够在任意域坐标处计算输出函数，因此非常适合用于在任意几何形状上学习偏微分方程的解。不过，相比FNO，它的计算效率较低。FNO则能够高效地学习高度非线性和非局部特征，并通过快速傅里叶变换实现快速的全场预测。尽管已有研究试图解决其在非均匀数据上的应用问题[8]，但这一难题依然存在。变换器已经在自然语言处理[9]、计算机视觉[10]以及时间序列预测[11]等多个领域带来了革命性变革，如今也被引入到偏微分方程求解中。
最近的诸如ONO[12]和Transolver[13]之类的研究表明，基于变换器的架构确实能够在任意几何形状上有效求解偏微分方程。尤其是Transolver[13]，它通过引入物理切片令牌机制，实现了将神经算子扩展到复杂几何场景中的应用。这一创新框架为我们的聚焦块设计提供了重要灵感。但从物理角度来讲，任意几何形状上的复杂控制偏微分方程通常存在长距离全局依赖关系（如连续的椭圆型场）与局部剧烈变化（如高梯度边界层或结构不连续性）之间的复杂耦合。虽然这种创新方法已经展现出很强的实用性，但由于其在单一空间尺度上采用较为统一的令牌处理方式，可能难以同时捕捉高度多尺度物理场中的非局部宏观结构关联与局部高频波动。
为了解决这些问题，我们提出了GFocal——一种基于全局聚焦变换器的神经算子方法，用于在任意几何形状上求解偏微分方程（见图1）。与简单地将多个变换器模块组合在一起的不同，GFocal采用了一种有序的解耦与融合学习范式，专门用于打破尺度耦合的限制。具体而言，GFocal通过基于Nystr?m注意力的全局块和基于切片的聚焦块来提取全局特征与局部特征：前者用于近似连续的全局积分算子，后者则通过调整切片机制来分析局部子区域内的高频特性。这两种不同的表示形式并非通过静态聚合的方式结合，而是通过基于卷积的门控机制，并借助位置编码进行动态调节与融合。这种无缝的架构协同作用使得GFocal在处理高度耦合的物理场时能够获得更严格的误差控制，这对于在过渡动力学中实现高质量的物理真实度，或在复杂系统中进行高精度场重建来说至关重要。实验结果表明，GFocal在六项标准基准测试中的五项上，以及两项工业规模任务中，均取得了处于行业领先水平的成果。总体而言，我们的贡献如下：
- •
我们提出了一种模块化架构，通过整合基于变换器的全球块与聚焦块，实现偏微分方程的多尺度特征提取。全局块用于捕捉长距离相互作用，而聚焦块则专注于提取特定子区域内的独特物理特性。
- •
我们引入了一种经过位置编码强化的门控机制，用于高效融合多尺度信息。该门控模块负责调控全局块与聚焦块之间的信息流动，而位置编码则有助于保持空间上下文意识。
- •
我们的模型表现出卓越的性能，在六项标准基准测试中的五项上，平均获得了20.58%的相对提升，最高甚至达到了35.8%的相对提升幅度。
章节节选
作为偏微分方程求解器的神经算子
若要成为通用的偏微分方程求解器，神经算子就需要能够在各种不同且尚未见过的计算领域或几何形状下通用，而这些场景往往伴随着非结构化或非均匀的离散化处理，同时还要保持较高的计算效率。DeepONet作为一种本质上适合处理任意几何形状的神经场模型，却面临着训练速度较慢的问题。FNO[6]和NUNO[15]则采用了插值方法，通过插值方案来处理非均匀数据。
方法论
本节将介绍我们所提出的GFocal在任意几何形状上求解偏微分方程的架构。首先介绍问题背景，随后概述整体架构，具体的处理模块则会在后续小节中详细说明。
实验部分
我们在多个领域的多种具有挑战性的基准测试中进行了大量实验，以验证所提方法的有效性。为确保研究的透明度与可重复性，我们需要说明的是，实验中使用的所有数据集、官方的训练/测试划分方式以及缩放策略，都严格遵循了之前那些开创性的神经算子研究[12]、[26]、[32]中所规定的配置。这样的严格一致性保证了我们的实验结果具有可靠性。
结论
我们提出了GFocal，这是一种基于变换器的神经算子方法，可用于在任意几何形状上求解偏微分方程。GFocal通过基于CNN的门控机制，整合了基于Nystr?m注意力的全局块与基于物理注意力的聚焦块，同时还借助了位置编码。GFocal有效地解决了现有研究中存在的关键缺陷，即缺乏对局部物理细节与全局特征相互依赖关系的协同学习机制。通过多层次的信息协同融合，GFocal能够...
CRediT作者贡献说明
刘振宇：项目管理。费方志：论文撰写——初稿编写、可视化处理、验证工作、软件开发、方法设计。胡佳欣：可视化工作。李巧峰：项目监督。
利益冲突声明
作者声明，他们不存在任何可能影响本文研究成果的已知财务利益关系或个人关系。
致谢
我们要感谢秦一雷和陈泽托给予的宝贵建议。本研究得到了中国国家自然科学基金（项目编号52535006）、中国国家自然科学基金重大研究计划（项目编号92470109）以及浙江省创新创业领军人才团队计划（项目编号2024R01002）的支持。
刘振宇（IEEE会员）分别于1996年和2002年在中国浙江杭州的浙江大学机械工程系获得机械工程学士学位以及机械设计及理论博士学位。他目前是浙江大学机械工程学院及计算机辅助设计与计算机图形学国家重点实验室的机械设计及理论教授，同时兼任该实验室的副主任一职。
Zhenyu Liu|Fangzhi Fei|Jiaxin Hu|Qiaofeng Li
中国浙江省杭州市310058，浙江大学计算机辅助设计与计算机图形学国家重点实验室
