神经计算作为基于测度的算子理论学习

《Neural Networks》：Neural Computation as Operator-Theoretic Learning on Measures

　　摘要
本文将神经计算定义为作用在函数和测度上的算子的有限维表示。密集层、卷积、注意力机制、图网络、神经场和神经算子被视为基于核的变换的实例，这些变换通过采样、投影、求积或基函数截断等方法进行评估。目的是将学习的算子与用于计算它的特定数组表示分开。这种分离使得架构设计成为一个近似问题：必须选择适合目标算子的测度空间、函数空间、核类、拓扑结构和离散化方案。数值分析提供稳定性和求积工具；近似理论给出表示速率；谐波分析识别适应结构的基函数和变换；信号处理提供高效的有限表示；测度理论处理经验数据、弱收敛性、传输和分布函数。结果是对神经架构作为一种在结构化域上可计算算子表示的统一描述。

引言
神经计算通常通过有限数组实现。激活值被存储为向量，权重被存储为矩阵，图像被存储为采样网格，图被存储为邻接矩阵，令牌序列被存储为嵌入的有限列表。这些数组是具有额外结构的对象的计算表示。采样图像表示网格上的函数。点云表示经验测度。图信号表示顶点上的函数。令牌序列表示具有位置信息的特征承载经验测度。神经层通过核函数、投影、非线性更新和有限积分规则作用于这些表示的对象。本文发展了这种观点的算子理论表述。设 (??,??,??) 为测度空间，u: X?→?E 为定义在有限维特征空间 E 上的函数场。一大类神经层可以表示为 ????+1?(??)=Γ???(??,?????(??),∫???????(??,??,????)?Ψ???(?????(??))?d??????(??))。核函数 Kl 指定域内的相互作用，Ψl 在聚合前对特征进行变换，Γl 更新 x 处的状态。测度 μl 可以是固定的、经验的、采样的、学习的或由当前状态诱导的。在通过有限表示（如样本、求积节点、基系数、图顶点、傅里叶模式或令牌）评估该算子后，就会出现有限神经计算。

文献中的几个方向已经使用了这部分语言。神经场模型将神经活动视为由积分或积分-微分方程控制的连续状态（Amari, 1977）。经典的前馈网络近似理论研究有限维非线性映射及其近似属性（Hornik 等, 1989）。核均值嵌入通过再生核希尔伯特空间的元素表示概率测度，并提供一种通过测试函数比较分布的严谨方法（Muandet 等, 2017）。深度集通过经验聚合和逐点特征映射描述排列不变函数（Zaheer 等, 2017）。宽神经网络的平均场分析用参数上的概率测度描述训练和表示（Mei 等, 2018）。神经常微分方程将深度解释为时间，将残差更新解释为离散化流（Chen 等, 2018）。神经算子（包括 DeepONet 和傅里叶神经算子）学习函数空间之间的映射，并将目标算子与特定的离散化分开（Li, Kovachki, Azizzadenesheli, Liu, Bhattacharya, Stuart, Anandkumar, 2021, Lu, Jin, Pang, Zhang, Karniadakis, 2021）。散射变换和谐波架构使用结构化变换、多尺度表示和群对称性来构造稳定特征（Mallat, 2012）。

本文将这些想法纳入以作用在函数和测度上的算子为中心的单一框架中。当 X 是具有计数测度的有限集时，会出现密集层。当 X 具有平移结构且核函数依赖于差异时，会出现卷积。当核函数受邻接性、边权重或图拉普拉斯算子的限制时，会出现图神经网络。当域保持连续时，会出现神经场。当学习的映射在函数空间之间作用并通过离散输入和输出场进行评估时，会出现神经算子。当表示的对象是概率测度且输出是分布函数时，会出现核均值方法。这种表述区分了在有限神经实现中经常混淆的三个对象：首先是算子类，它决定了架构可用的变换；其次是表示的对象，如函数、测度、图信号、令牌测度或场；第三是有限的计算方案，如矩阵乘法、求积、投影、采样、谱截断、低秩近似或消息传递。这种分离使我们能够根据它们近似的算子和用于近似的数值方案来比较架构。即使对于普通的有限维数据，这种区分也是有用的。向量 ??∈??? 可以视为坐标集 {1,?,??} 上的标量场。因此，密集层是有限测度空间上的核算子。表格核方法是训练样本上的经验测度算子。PCA 模型是到经验谱子空间的投影。Nystr?m 方法是核算子的有限秩近似。图像分类器作用于网格上的采样场，而卷积、DCT 截断、PCA 截断和完整核函数评估给出了同一底层图像场问题的不同有限表示。该框架还阐明了近似的作用。架构设计变成了选择适合目标算子的测度空间、函数空间、核类、拓扑结构和离散化方案的问题。数值分析提供求积、投影和稳定性估计。近似理论为有限维近似提供表示速率。谐波分析提供适应平移、尺度和对称性的基函数和变换。信号处理提供高效的有限表示。测度理论提供经验测度、弱收敛性、传输距离、核嵌入和分布函数。

当前框架旨在组织近似问题，而不是为这里考虑的所有架构断言一个单一的通用近似定理。这样的定理必然取决于额外的选择和假设，包括域和测度、输入和输出函数空间、测量近似的拓扑结构、目标类的规则性或紧凑性以及核函数和非线性映射的参数化。这些假设在有限集、欧几里得域、图、经验测度和函数空间算子之间存在实质性差异。因此，必须为特定的算子类和表示制定密度结果和定量近似速率。本文的贡献是提供了识别可以从中得出特定于架构结果的对象、误差源和假设的通用表述。

本文的结构如下：第 2 节将神经层定义为作用在函数和测度上的算子，并展示如何从经验表示产生有限数组。第 3 节从域、测度、核函数和表示的选择中推导出密集层、卷积、注意力机制、图网络、图子层和神经场。第 4 节研究投影、求积、近似误差、稳定性、拓扑结构和计算结构。第 5 节将框架扩展到高维坐标场、乘积域、图像、点云、图、令牌测度和神经算子。第 6 节对表格数据和图像数据进行了有限维实验，比较了原始坐标表示、PCA 和 DCT 截断、经验核均值分类器、Nystr?m 近似和精确的 RBF 核方法。

**神经层作为作用在函数和测度上的算子**
设 (??,??) 为可测度空间，E 为有限维范数向量空间。用 ?+?(??) 表示 X 上的有限非负测度，???(??)??+?(??) 表示概率测度，??(??;??) 表示有限的 E-值测度。如果 ??∈?+?(??)，则 ???????(??;??) 表示相对于 μ 的 E-值的 p-可积函数空间。神经层将视为其输入为函数 u: X?→?E、测度 ??∈?+?(??) 或 ??(??;??) 中的特征承载测度的算子。在...

**标准架构作为特例**
第 2 节中开发的算子形式通过指定域、测度、核函数、特征空间和离散化来恢复标准神经架构。在每种情况下，有限的计算是通过对方程进行积分运算或将连续算子投影到有限维表示上来获得的。

**近似、稳定性和计算**
只有在选择了有限维表示后，算子表述才成为计算。这个选择包括三个部分：表示状态的有限空间、近似积分的规则以及算子的有限参数化。所得到的架构是作用在函数或测度上的算子的可计算近似。

**高维扩展**
算子表述可以直接扩展到高维数据，通过改变底层域、测度、核函数类和近似方案。数据点不再被视为孤立的向量。它被视为在结构化高维域上的场、测度或算子输入的有限表示。

**实验**
我们在有限坐标场、图像场、经验核表示和低秩核近似上评估了算子理论表述。实验使用了四个标准的分类数据集。Iris 被表示为完整的四维坐标场。Wine 被表示为十三维坐标场。Breast Cancer 被表示为三十维坐标场。Digits 被表示为 8?×?8 的图像场，等价于...

**讨论**
前面的章节将神经架构描述为作用在函数和测度上的算子的有限维计算。网络操作的数组通常是更结构化对象的表示。向量可以是有限坐标集上的函数。图像可以是采样场。点云可以是经验测度。图信号可以是具有由边确定的交互作用的顶点上的函数。令牌序列可以是具有...

**CRediT 作者贡献声明**
王明书（Míngshū Wáng）：撰写 – 审稿与编辑，撰写 – 原始草稿，可视化，验证，方法论，调查，形式分析，数据管理，概念化。

**利益冲突声明**
作者声明他们没有已知的可能会影响本文报告工作的利益冲突或个人关系。