《Nature Machine Intelligence》：Principled approaches for extending neural architectures to function spaces for operator learning
编辑推荐：
深度学习在计算机视觉和自然语言处理领域取得了显著成功，这些领域的任务通常被表述为有限维表示之间的映射。然而，许多科学问题，包括那些由偏微分方程（PDEs）控制的问题，自然地建立在无限维函数空间上。这种不匹配限制了传统神经网络在科学应用中获得可比的成就。本文确
深度学习在计算机视觉和自然语言处理领域取得了显著成功，这些领域的任务通常被表述为有限维表示之间的映射。然而，许多科学问题，包括那些由偏微分方程（PDEs）控制的问题，自然地建立在无限维函数空间上。这种不匹配限制了传统神经网络在科学应用中获得可比的成就。本文确定并提炼了构建用于函数空间之间映射的实用神经架构的关键原理。神经算子（Neural Operators）为神经网络向此类场景的扩展提供了原理性框架，为将深度学习的变革性影响引入科学领域提供了一条路径。由于深度学习的成功在很大程度上依赖于架构的精细化，将这些进展扩展到神经算子使得算子学习能够受益于精良的设计。在我们概述的原则指导下，我们提出了一种以最小修改将流行的神经架构转换为神经算子的方法。我们还讨论了使这些模型有效的实用步骤。这一视角为科学应用中的有限维网络设计与算子学习之间架起了一座系统性的桥梁。
**论文解读：**
**研究背景与问题**
深度学习在过去十年中引领了计算机视觉、语音和自然语言处理等领域的空前进步。随之而来的是，深度学习有望对自然科学产生甚至更大的变革性影响。然而，在这些领域，驱动深度学习的标准模型——神经网络，通常处理的是有限维向量形式的数据（例如，图像和视频的像素表示、语言的词嵌入或物理系统的测量值）。与之形成对比的是，许多感兴趣的物理现象本质上是连续描述的：流体动力学、热力学、连续介质力学或电磁学中的量依赖于连续的时空变量，并且通常由偏微分方程（PDEs）控制。在这些问题中，核心任务是将一个输入函数（如系数或源项）映射到一个解函数。计算机视觉中的常见任务也可以类似地看待：自然场景或物体可以被理想化为空间和时间的函数，而图像和视频是底层函数的有限分辨率离散化。
虽然经典的神经网络可以处理连续量的离散化（例如，在网格上），但它们通常要么依赖于固定的离散化，要么无法泛化到未见过的分辨率。然而，我们希望学习的映射能够对特定的离散化选择及其分辨率保持“离散化无关”（Discretization Agnostic），即输出仅因离散化误差而不同，且该误差随着离散化细化而消失。此外，在许多应用中，输出必须是可以在任意坐标点查询的函数，以便进行进一步的下游操作（例如，微分和积分）。这种需求与标准神经网络的固定维数输入输出模式之间存在根本性不匹配，这限制了传统神经网络在科学应用中的成功。
**研究内容、结论与意义**
为了应对这一挑战，研究人员提出了神经算子（Neural Operators）作为神经网络在函数空间上的原理性扩展。神经算子旨在学习函数空间之间的映射，其设计遵循三个核心原则：**离散化无关性**、**参数数量固定**以及**通用逼近能力**。这些特性使得神经算子能够在不同分辨率的离散化数据上进行训练和测试，并输出可以在任意点查询的函数，从而在科学机器学习任务中展现出独特优势，如数据效率、课程学习、灵活推理以及零样本超分辨率。
本论文发表在《Nature Machine Intelligence》上，其重要意义在于系统性地弥合了有限维网络设计与科学应用中的算子学习之间的鸿沟。研究人员指出，算子学习无需与架构设计的进展割裂。通过将基于索引的操作替换为坐标感知的连续算子、在求和近似积分时引入求积权重、并确保潜在接口独立于观察输入所用的离散化，可以将流行的神经架构扩展到函数空间。这项工作为将深度学习在架构设计上的成功经验引入科学计算领域提供了明确的指导原则和实践路径。
**关键技术方法**
研究人员提出了一种将神经网络层扩展为神经算子层的通用策略。核心思想是识别出有限维神经网络层所离散化的连续算子，然后以尊重底层函数坐标、求积权重和采样结构的方式重新离散化该算子，而不仅仅是针对特定数组的索引集。具体方法包括：将全连接层转化为积分变换层；将逐元素函数（如激活函数）直接用作逐点算子；将卷积层转化为具有固定物理感受野的卷积或谱算子；将图神经网络（GNNs）转化为图神经算子，用基于坐标邻域的积分近似替代基于图邻域的消息传递；将Transformer转化为神经算子，在注意力的聚合和归一化中引入求积权重；以及构建离散化无关的编码器-解码器接口。这些转换确保了所得神经算子架构的离散化无关性、参数固定性等核心原则。
**研究结果**
1. **从离散学习到函数空间上的连续学习**：研究明确了神经网络（映射有限维向量）与神经算子（映射无限维函数空间）之间的根本区别。神经算子被设计为处理函数的离散化样本，并输出可在任意坐标查询的函数。
2. **神经算子的定义原则与特性**：提出了神经算子设计的三项核心原则：离散化无关、参数数量固定、通用逼近。满足这些原则的神经算子具有函数空间规范表述、数据效率高、支持课程学习和灵活推理等优势。
3. **从网络到算子的转换方法**：总结了一个通用的转换流程：首先理解神经网络层对应的连续坐标和函数变换，然后设计尊重核心原则的离散化策略。通过将基于索引的聚合（如求和）替换为基于坐标邻域的积分近似（并引入求积权重），可以将多种网络层（如全连接、卷积、GNN、Transformer）扩展为对应的算子层。
4. **架构对应关系**：
* 全连接层对应**积分变换层**。
* 逐元素函数对应**逐点算子层**。
* 卷积层对应**卷积或谱算子层**（如傅里叶神经算子，FNO）。
* 图神经网络对应**图神经算子层**（GNO）。
* Transformer对应**Transformer神经算子层**。
* 编码器-解码器架构对应具有离散化无关潜在接口的**编码器-解码器算子层**。
5. **实证评估**：在不可压缩流体的纳维-斯托克斯方程（Navier-Stokes）任务上进行了实验，比较了不同架构在跨分辨率泛化能力上的差异。结果表明，像FNO和OFORMER这样在域级别定义操作的架构（即神经算子架构）在未见过的分辨率上泛化良好。而像U-Net和Vision Transformer（ViT）这样其感受野或标记化依赖于训练网格的固定离散化神经网络，在远离训练分辨率时性能下降。多分辨率训练可以提高在所见分辨率上的性能，但稳健的跨分辨率泛化最好通过架构本身被构造为明确定义的函数空间操作的离散化来实现。
**讨论与结论总结**
研究人员展示了如何通过简单的修改使流行的神经网络架构对离散化保持无关性，从而催生了神经算子这一用于学习函数空间之间映射的原理性框架。他们定义了通用的设计原则，并论证了卷积神经网络、图神经网络、Transformer和编码器-解码器架构的离散化无关版本如何为神经算子提供通用的构建模块。
其实际意义在于，算子学习无需与架构设计的进展分离。通过用坐标感知的连续算子替换基于索引的操作、在求和近似积分时引入求积权重、并确保潜在接口独立于输入观测所用的离散化，可以将流行的架构扩展到函数空间。这一框架在用于说明思想的基准PDEs之外同样有用：神经算子已在大量应用中得到了使用。其共同主线在于，输入和输出本质上是场，而实际数据是在可能因模拟、仪器或分辨率而异的网格或点云上观测到的。
由于神经算子设计仍是一个新兴领域，许多研究方向仍然开放。例如，在实践中量化和控制离散化误差、开发具有正确归纳偏置的架构以在固定分辨率上获得更优性能、为复杂几何和自适应离散化设计算子架构、开发高分辨率下的高效注意力机制、以及建立能更好预测架构选择何时能跨分辨率迁移的理论等。
**研究结论翻译：** 我们的工作提供了通用指南，以帮助从业者理解设计原则并为其应用开发专门的神经算子。尽管神经算子已在各种应用中取得了巨大成功，但我们相信，它们有潜力在更广泛的领域中加速进展并促进突破。在函数空间中进行设计，使得科学机器学习能够继承深度学习的架构进展，同时不牺牲连续统结构。
