《Neurocomputing》：Making Gaussian kolmogorov–arnold networks reliable and accurate
编辑推荐：
Kolmogorov–Arnold网络（KANs）以可学习的单变量边缘函数替代固定激活，其行为在很大程度上取决于所选基函数。高斯径向基函数（RBF）为样条提供了一种简单高效的替代方案，但其精度和稳定性对尺度参数σ高度敏感，而该参数尚未被系统研究。研究人员通过第
Kolmogorov–Arnold网络（KANs）以可学习的单变量边缘函数替代固定激活，其行为在很大程度上取决于所选基函数。高斯径向基函数（RBF）为样条提供了一种简单高效的替代方案，但其精度和稳定性对尺度参数σ高度敏感，而该参数尚未被系统研究。研究人员通过第一层特征矩阵的几何结构与条件数来分析这种依赖性。由于第一层直接定义在输入域上，该层引入的任何特征可区分性损失都会传播至整个网络。基于此分析，研究人员确定了一个实用的操作区间（其中g为高斯中心数量）。该区间被提出作为一种稳定的设计规则，而非通用最优值。在函数逼近和物理信息问题上的大量实验证实了其在不同配点密度、网格分辨率、架构和输入维度下的可靠性。研究人员还展示了同一原理如何支持固定尺度选择、变尺度模型、对σ的约束优化以及利用早期训练误差进行高效尺度搜索。这些结果将尺度选择确立为构建可靠且准确的高斯KAN的核心设计原则。代码与实现细节可在https://github.com/AmirNoori68/Gaussian-KAN获取。
**研究背景与问题**
Kolmogorov–Arnold网络（KANs）以可学习的单变量边缘函数替代固定节点激活，为经典多层感知机（MLPs）提供了一种结构化替代方案。高斯径向基函数（RBF）因光滑性、局部性和解析形式简单，成为替代样条的有吸引力的基函数。然而，高斯KAN的精度和稳定性对尺度参数σ高度敏感：σ过小会使基函数过于局部化，σ过大则导致特征矩阵病态甚至秩亏。经典RBF插值理论表明，尺度参数同时控制逼近能力与数值稳定性，选择不当会造成弱逼近或严重数值病态。现有高斯KAN研究通常依赖启发式固定σ、试错法或直接令σ可训练，缺乏对其作用机制的系统理解。因此，有必要系统研究σ的选取规则，以提升高斯KAN的可靠性与精度。
**研究内容与结论**
研究人员提出从第一层特征矩阵的几何与条件数入手分析σ的影响。由于第一层直接作用于原始输入域，该层特征可区分性的任何损失都会被后续层继承并放大，故第一层是尺度选择的关键层。通过分析第一层特征矩阵的数值秩与谱条件数，他们确定了实用操作区间[1/(2g), 7/g]，其中g为每个坐标方向的高斯中心数。该区间被作为稳定设计规则而非通用最优值。大量函数逼近与物理信息问题实验证实，该区间在不同配点密度、网格分辨率、网络架构和输入维度下均能定位低误差区域。同等可训练系数预算下，适当选择σ的高斯KAN可达到与Chebyshev KAN相当乃至更优的精度。这项工作将尺度选择确立为可靠准确高斯KAN的核心设计原则，论文发表在《Neurocomputing》。
**主要关键技术方法**
研究人员将高斯KAN层写成有限维高斯特征映射加线性系数映射的复合形式，从而将第一层特征矩阵作为分析核心；利用谱条件数与浮点容差定义数值秩损失，建立第一层条件数诊断准则；通过扫描条件数阈值对应的σ并用幂律拟合简化上界，得到实用区间[1/(2g), 7/g]。实验采用自生成的合成数据集，训练与验证点均由Halton低差异序列生成，无外部样本队列。基准目标函数F1–F4涵盖光滑多峰、周期振荡、尖锐峰和间断振荡；物理信息测试采用Helmholtz方程与Black–Scholes数字期权问题；采用全批量AdamW优化器，多随机种子重复实验。
**研究结果**
**3.1 第一层特征映射与诱导核（First-layer feature map and induced kernel）**
给出第一层高斯特征映射的堆叠形式，并证明第一层诱导核为各坐标一维核之和，经验核矩阵等于各坐标Gram矩阵之和。
**3.2 第一层作为表征瓶颈（The first layer as a representational bottleneck）**
提出命题2，证明当σ→∞时第一层特征矩阵、经验核矩阵与隐表示均趋于秩一极限，说明第一层特征坍缩是最终误差的主要来源。
**3.3 实验设置与基准目标函数（Experimental setup and benchmark target functions）**
描述网络架构[2,16,16,1]、对数间隔的σ扫描、全批量AdamW训练、Halton采样以及F1–F4四个基准函数。
**3.4 第一层主导地位的数值验证（Numerical verification of first-layer dominance）**
通过逐层改变σ与逐层强制坍缩实验，表明仅改变第一层σ的误差曲线接近全层共享σ的曲线，且坍缩第一层造成的误差最大，证实第一层是尺度敏感的主要瓶颈。
**4.1 第一层特征矩阵的条件数诊断（Conditioning diagnostics for the first-layer feature matrix）**
定义谱条件数κ(F)与数值秩容差τ，证明Gram矩阵使特征矩阵的病态性平方化，故采用κ(F)作为主要诊断量。
**4.2 实用高斯尺度区间的推导（Derivation of a practical Gaussian scale interval）**
结合相邻中心间距h/2与条件数阈值确定上下界，通过幂律拟合得到σ_ub ≈ 7/g，并给出与Chebyshev KAN的对比，证明匹配系数预算下高斯KAN可达到相当或更优精度。
**4.3 配点密度的影响（Effect of collocation density）**
在不同Halton配点数下扫描σ，发现误差曲线保持U型；增大配点数降低整体误差，且光滑目标收敛约O(N
-1/2)，而非光滑目标约O(N
-1/4)。
**4.4 高斯中心数量的影响（Effect of the number of Gaussian centers）**
发现固定σ时不同网格分辨率的误差曲线差异显著，而随g增大，低误差区向更小σ移动并变宽，说明σ必须随中心间距调整。
**4.5 网络架构的影响（Effect of network architecture）**
在固定g下测试多种宽度与深度，所有架构均呈U型误差曲线；增大宽度或深度主要从右侧扩大可用σ范围，而左侧由第一层几何决定，不随架构移动。
**4.6 输入维度的影响（Effect of input dimension）**
对1D至4D光滑目标扫描σ，发现低误差区仍位于同一条件数区间附近；最小误差随维度增加而增大，但σ选择主要由第一层几何而非环境维度决定。
**4.7 共享中心变尺度高斯KAN（Gaussian KAN with shared centerwise variable scales）**
为每个中心分配随机尺度并全网络共享，表明变尺度模型可优于单尺度模型，但仅作为初步演示，尚未优化。
**4.8 基于训练MSE的区间内尺度搜索（Training-MSE-based scale search within the admissible interval）**
比较早期训练MSE与最终验证RMSE，发现训练早期的低误差区与最终验证的低误差区基本一致，因此可在区间内用短扫掠定位σ。
**4.9 Helmholtz问题的物理信息验证（Helmholtz problem: physics-informed validation）**
在二维Helmholtz方程中测试区间；对三个波数k与两个精确解，最低误差区均位于或靠近条件数区间，说明规则在PDE残差损失下仍然有效。
**4.10 Black–Scholes数字期权问题（Black–scholes digital option problem）**
将区间用于带间断支付的数字期权定价，比较三种高斯网格；误差随σ增大先降后升，最低误差区仍接近预测区间。
**4.11 Matérn基的实用尺度区间（Practical scale interval for Matérn bases）**
将相同方法扩展到Matérn-5 KAN，由相邻重叠水平与第一层条件数确定区间；实验显示最佳精度出现在下重叠尺度与条件数边界之间，且Matérn基在更大σ下仍保持良态。
**讨论总结**
论文指出，深层仍可能因变换坐标与固定中心不对齐而病态，但改进深层条件数不一定提高精度。未来工作包括将尺度规则推广到分类、算子学习与更多物理信息问题，用区间约束可学习的σ以避免不稳定优化，深入探索变尺度模型与不同尺度分布，以及测试更多PDE和更大规模问题。
**研究结论翻译**
本研究从核特征与条件数视角研究高斯KAN，特别关注高斯尺度参数σ的作用。结果表明，适当选择σ对数值稳定性和逼近精度均至关重要。在每边可训练系数数量匹配的情况下，适当缩放的高斯KAN可达到与对应Chebyshev KAN相当、且在若干情形下更优的精度。该对比旨在证明：当尺度被正确选择时，高斯KAN具有竞争力，而非在不同基族之间提供最终基准。分析将第一层确定为尺度选择的关键层，因为它直接构造在输入域上，该层引入的任何特征可区分性损失都会传播至剩余网络。据此，主要稳定性量为第一层特征矩阵。基于其数值秩与条件数，研究人员确定了实用区间[1/(2g), 7/g]，其中g为高斯中心数。数值实验显示误差对σ呈清晰U型依赖，最优性能区域位于该区间内或附近。该规则在不同目标函数、配点密度、网格大小、网络架构、输入维度以及物理信息Helmholtz与数字期权问题中均保持有效。Matérn KAN中也观察到类似的条件数驱动行为。逐层实验进一步表明，仅改变第一层尺度产生的行为接近全共享尺度模型，而仅改变深层尺度的影响较弱；此外，跨层使用独立尺度并不能显著改善最佳可达精度。因此，在所有层使用一个经妥善选择的尺度是一种简单有效的设计选择。实验还阐明了配点数与中心数的影响。增大配点数通常能在σ选择适当时改善可达精度；增大中心数主要使可用尺度区间移向更小值并拓宽容许范围，但并不必然大幅降低最小误差。因此，相对较小的中心数可能以更低的计算成本提供几乎相同的精度。除固定尺度选择外，所提区间还支持变尺度构造、对σ的约束优化以及高效尺度搜索。特别是，早期训练均方误差可在无法获得精确解时作为识别合适尺度的有效代理。总体而言，高斯尺度参数不应被视为任意超参数，而应作为一项核心设计量，可系统地选择以提升稳定性、精度和计算效率。
