单位分解高斯Kolmogorov–Arnold网络（PU-GKAN）：面向径向基函数KAN的Shepard型归一化框架

《Neurocomputing》：Partition-of-unity Gaussian kolmogorov–arnold networks

　　

高斯基函数（Gaussian basis functions）为Kolmogorov–Arnold网络（KANs）中的样条激活（spline activations）提供了一种高效且灵活的替代方案，但其性能对高斯尺度参数（Gaussian scale parameter）敏感。研究人员引入单位分解高斯KAN（partition-of-unity Gaussian KAN, PU-GKAN），这是一种基于核的归一化框架，将Shepard单位分解（partition-of-unity）原理迁移到可训练的KAN边函数（edge functions）。每个高斯边基（Gaussian edge basis）通过其在固定中心（fixed centers）上的局部和进行归一化，从而保持标准边架构（edge-based architecture）以及与GKAN基本相同的可训练系数结构。所得特征映射（feature map）在边级别精确再现常数，并允许显式归一化有限特征核（normalized finite-feature kernel）解释。数值实验表明，PU-GKAN降低了对尺度参数的敏感性，改善了大多数光滑与中等非光滑目标的验证精度，并提供更稳定的训练行为。这些优势在样本量、中心数量、高维架构以及Matérn径向基函数（radial basis function, RBF）基的变化下持续存在。PU-GKAN还改进了用于Helmholtz与波动方程的物理信息神经网络（physics-informed neural networks, PINNs），验证误差降低最高可达（原文此处数值缺失）。这些结果确立了单位分解归一化作为一种数学上有依据且广泛适用的框架，用于提高径向基函数KAN（radial basis function KANs, RBF-KANs）的可靠性与精度。实现代码见 https://github.com/AmirNoori68/PU-GKAN。

研究背景方面，Kolmogorov–Arnold网络（KANs）作为经典多层感知机（multilayer perceptrons, MLPs）的结构化替代方案，用边上的可学习一元函数取代固定节点激活。原始KAN使用B-spline基，后续研究探索了Chebyshev基、Jacobi与rational Jacobi基、Fourier基、ReLU基、自适应分段基、小波基、有限基和多项式表述等。高斯径向基函数（radial basis function, RBF）因光滑、局部且解析形式简单而具有吸引力。FastKAN将高斯基引入KAN，作为样条激活的高效替代；随后出现残差架构、算子学习、可学习高斯基、复值高斯KAN等。尽管有这些优势，高斯KAN仍保留经典RBF对尺度参数的敏感性：小尺度导致基过度局部化，大尺度导致基近乎平坦且病态。条件数可用于诊断这种精度–稳定性权衡。已有分析给出与高斯中心数相关的实际尺度上界参考，该选择在函数逼近和微分方程问题中常接近完整尺度扫描所得精度。Shepard型归一化是改善RBF稳定性与精度的经典方法，其通过局部权重之和进行归一化并形成单位分解。与域分解单位分解方法不同，本文的归一化直接施加于每个KAN边内的高斯基函数，不使用子域或局部子网络。因此，研究人员提出PU-GKAN，以研究这种归一化对鲁棒性和实际精度的影响。

研究人员开展的核心工作是引入单位分解高斯KAN（PU-GKAN），将Shepard单位分解原理迁移到KAN可训练边函数。每个高斯边基值在固定中心上除以其局部和，形成归一化基，同时保留标准边架构以及与GKAN基本相同的可训练系数结构。所得特征映射在边级别精确再现常数，并具有显式归一化有限特征核解释。研究人员从有限特征和加性核视角表述GKAN与PU-GKAN，并采用基于相邻中心重叠和第一层条件数的实用尺度区间。数值实验覆盖不同样本量、中心数、高维架构、Matérn RBF基以及Helmholtz和波动方程物理信息神经网络。结论表明，PU-GKAN降低尺度敏感性，改善大多数光滑和中等非光滑目标的验证精度，训练行为更稳定；其收益扩展到Matérn基和PINNs；不连续目标仍是改进不一致的主要情形。其意义在于为RBF-KAN提供数学上有依据、广泛适用的归一化框架，连接Shepard近似、单位分解、有限特征核与现代边基神经架构。

关键技术方法方面，本文未涉及样本队列；数值实验数据由解析目标函数、偏微分方程精确解、Halton序列和均匀网格生成。主要方法包括：在固定中心上对高斯边基执行Shepard型单位分解归一化；保持边基KAN架构与可训练系数结构；用有限特征和加性核视角建立GKAN/PU-GKAN的核解释；以第一层特征矩阵条件数确定实用尺度区间；以均方根误差（root-mean-square error, RMSE）评估精度，使用AdamW优化边系数，并对尺度参数进行对数扫描；进一步扩展到Matérn-5基、维度–架构设置以及PINNs的Helmholtz与波动方程。

4.1 Target functions（目标函数）：研究人员考虑七个二维目标函数，定义在归一化区间或相应物理区间中，并包含一个不连续目标。该部分为后续尺度敏感性、样本量、中心数和PDE实验提供统一测试对象。

4.2 Experimental setup and error metric（实验设置与误差度量）：所有输入先仿射归一化，高斯中心固定于归一化区间，误差在原物理坐标中评估；除非特别说明，仅优化可训练边系数，尺度参数在每次训练中固定。采用AdamW优化器，尺度扫描采用对数间隔值，训练点由Halton序列生成，二维函数逼近验证在均匀网格上进行。误差采用RMSE，最优尺度为最小验证RMSE对应值，百分比改进为正表示PU-GKAN更准确。

4.3 Representative error curves and computational time（代表性误差曲线与计算时间）：对四个代表性目标，验证RMSE随尺度呈预期敏感性，极小和极大尺度通常不利。对光滑与中等非光滑目标，Shepard归一化在相关范围内多数区间误差更低，通常最小值也更低；对不连续目标改进较不均匀。计算开销方面，两种模型使用相同高斯基函数和系数收缩，PU-GKAN仅增加基值求和与归一化，因此渐近结构相同，常数成本略高；原文报告前向时间、训练步时间和总时间比均仅适度增加，但具体数值缺失。

4.4 Effect of the sample size（样本量影响）：固定尺度并改变训练样本量，样本量包括5000、15000和20000。对于F₁–F₆等光滑与中等规则目标，PU-GKAN在大多数目标和样本量下取得更低RMSE，部分改进达78.2%。不连续目标F₇较不一致：在5000与15000时标准GKAN更好，而在20000时PU-GKAN更好。训练曲线显示归一化模型通常收敛至更低误差，且多数训练过程中低于标准高斯KAN，但不连续目标改善较弱。

4.5 Effect of the number of centers（中心数影响）：固定尺度并改变高斯中心数，中心数包括14、18和22。对F₁–F₆，PU-GKAN在所有测试中心数下均取得更低RMSE，且随中心数增加收益保持明显，说明归一化优势不限于小特征字典。对不连续目标F₇，标准高斯KAN在所有测试中心数下更好。

4.6 Extension to Matérn bases（扩展到Matérn基）：研究人员使用Matérn-5基检验归一化是否适用于高斯基之外。下参考尺度由与高斯情形相同的相邻中心重叠规则选择，上参考尺度由第一层条件数边界确定。结果表明，归一化Matérn模型通常降低光滑与中等规则目标的误差，而不连续情形仍较不均匀，说明Shepard型归一化的收益不限于高斯基。

4.7 Higher dimensions and different architectures（高维与不同架构）：研究人员考虑维度依赖测试问题，并在四组维度、样本量和架构组合下比较。验证RMSE随尺度呈U形，过小和过大尺度均不利。PU-GKAN在所有测试设置中均取得更低最小RMSE，改进范围介于61.5%与77.0%之间，说明归一化收益不限于低维例子。

4.8 Physics-informed Helmholtz problem（物理信息Helmholtz问题）：研究人员考虑二维Helmholtz问题，带齐次Dirichlet边界条件和给定参考解，并在固定参数下比较尺度扫描。归一化模型取得更低最小验证RMSE，在有用尺度范围内更有利。扩展到五组参数时，PU-GKAN在所有情形下均降低RMSE和最大绝对误差；原文报告了最小与最大降低幅度，但具体数值缺失。

4.9 Physics-informed wave equation（物理信息波动方程）：研究人员考虑一维空间–时间域上的波动方程，带齐次Dirichlet边界条件和初始条件，并采用满足方程的精确解。尺度扫描显示两种模型均在某个尺度附近形成低误差区，但归一化模型达到更低最小误差。训练曲线显示归一化模型收敛到更小误差并保持更有利训练轨迹，与回归和Helmholtz结果一致。

讨论与结论方面，研究人员引入PU-GKAN，将经典Shepard单位分解原理迁移到KAN可训练边函数。通过在每个固定中心上归一化每个高斯基，PU-GKAN构造单位分解特征映射，同时保留标准边架构和与GKAN基本相同的可训练系数结构。所得表示在边级别精确再现常数，且无需子域、局部子网络或额外可训练参数块。研究人员从有限特征和加性核视角表述GKAN与PU-GKAN，建立核近似与KAN架构之间的直接联系；结合第一层条件数分析，该表述支持实用尺度范围。该上端点常达到接近完整尺度扫描最佳结果的精度，从而无需昂贵参数搜索。数值结果表明精度和尺度鲁棒性均有显著改进。PU-GKAN将验证误差降低最高可达（原文此处数值缺失），在样本量和中心数变化下表现一致，并在高维问题中有效。其优势还扩展到Matérn RBF基以及用于Helmholtz和波动方程的物理信息神经网络，表明归一化原理不限于高斯函数逼近。不连续目标仍是改进不够均匀的主要情形。总体而言，PU-GKAN为基于核的KAN提供数学上有依据且广泛适用的归一化框架。它将Shepard近似、单位分解方法、有限特征核与现代边基神经架构联系起来，同时提高RBF-KAN的实际可靠性。未来工作可考虑自适应归一化尺度、高阶单位分解构造、算子学习和时间依赖偏微分方程。作者为Amir Noorizadegan。