Sinc Kolmogorov-Arnold网络及其在求解具有奇点的偏微分方程(PDEs)中的应用
《Neural Networks》:Sinc Kolmogorov-Arnold Network and Its Application for Solving PDEs with Singularities
【字体:
大
中
小
】
时间:2026年04月27日
来源:Neural Networks 6.3
编辑推荐:
本文提出基于辛插值的SincKANs网络,通过替换传统KANs中的样条插值,有效解决奇异问题与谱偏置,提升复杂PDE和函数逼近性能。实验验证其在光滑、非光滑及高维数据上的优越性。
余天池|邱景伟|杨江|伊万·奥塞莱杰茨
俄罗斯斯科尔科沃科学技术研究院人工智能中心
摘要
在本文中,我们提出在Kolmogorov-Arnold网络的背景下使用Sinc插值方法。Kolmogorov-Arnold网络是一种具有可学习激活函数的神经网络,最近作为多层感知器的替代方案受到了关注。尽管已经尝试了许多不同的函数表示方法,但我们证明了Sinc插值是一种可行的选择,因为在数值分析中已知Sinc插值能够有效表示平滑函数和具有奇点的函数。这不仅对于函数逼近很重要,对于使用具有物理信息意识的神经网络求解偏微分方程也非常重要。通过一系列实验,我们展示了SincKAN在几乎所有考虑的示例中都提供了更好的结果。代码可在以下链接公开获取:
https://github.com/DUCH714/SincKAN。
引言
多层感知器(MLP)是一种由全连接层组成的经典神经网络,这些层使用选定的非线性激活函数,而这种激活函数是简单函数的叠加。经典的Kolmogorov-Arnold表示定理(Arnol’d,1959年;Kolmogorov,1961年)指出,每个函数都可以表示为最多两个变量的函数的叠加,这激发了对可学习激活函数的研究。
Kolmogorov样条网络(KSN)(Igelnik和Parikh,2003年)是一个使用样条作为可学习激活函数的两层框架。最近,Kolmogorov-Arnold网络(KANs)(Liu等人,2024b年)通过提出KSN的多层变体,重新引起了人们对这些方法的关注。基本上,任何成功的表示单变量函数的基础都可以提供KAN的新变体。已经研究了许多众所周知的方法,包括小波(Bozorgasl和Chen,2024年);Seydi(2024b年),傅里叶级数(Xu等人,2024年),有限基(Howard等人,2024年),Jacobi基函数(Aghaei,2024a年),多项式基函数(Seydi,2024a年),有理函数(Aghaei,2024b年)以及切比雪夫多项式(Shukla等人,2024年);SS(2024年)。
我们提出使用Sinc插值(Sinc函数在公式(12)中定义),这是一种非常高效且研究充分的函数插值方法,尤其是在一维问题中(Stenger,2016年)。据我们所知,它尚未在KANs的背景下被研究过。我们认为,KANs中使用的三次样条插值应该被Sinc插值取代,因为样条特别适合表示平滑函数,而MLP也擅长这一点;同时,Sinc方法在处理奇异问题、边界层问题以及无限或半无限范围的问题时表现出色(Stenger,2012年)。在这里,利用Sinc函数可以提高KANs的准确性和泛化能力,使其在解决机器学习中的上述数学问题时更具区分性和竞争力。
具有物理信息意识的神经网络(PINNs)(Lagaris等人,1998年;Raissi等人,2019年)是一种通过将物理定律与神经网络结合来求解偏微分方程(PDEs)的框架。在PINNs中使用Kolmogorov-Arnold网络(KANs)已被探索,并被称为具有物理信息的Kolmogorov-Arnold网络(PIKANs)(Rigas等人,2024年;Wang等人,2025年)。由于KAN和MLP之间的高度相似性,PIKANs继承了PINNs的几个优点,例如克服维数灾难(CoD)(Han等人,2018年;Wojtowytsch和Weinan,2020年),处理不完美数据(Karniadakis等人,2021年),灵活处理复杂几何形状(Kashefi,2025年),以及执行插值(Sliwinski和Rigas,2023年)。因此,PIKANs也适用于PINNs的应用场景,包括流体动力学(Kashefi和Mukerji,2022年;Raissi等人,2020年);量子力学系统(Jin等人,2022年),表面物理学(Fang和Zhan,2019年),动态系统(Koenig等人,2024年;Wu等人,2024年),以及生物学(Chen等人,2025年;Yazdani等人,2020年)。另一方面,与PINNs类似,PIKANs也面临一些挑战,如光谱偏差(Huang等人,2025年;Wang、Yu、Perdikaris,2022年;Wang、Siegel、Liu和Hou,2024年),误差估计(Fanaskov等人,2024年)以及可扩展性问题(Yao等人,2023年)。
在本文中,我们介绍了一种名为Sinc Kolmogorov-Arnold网络(SincKANs)的新网络架构。这种方法利用Sinc插值,后者特别擅长表示具有奇点的函数,以替代KANs中的三次插值作为可学习激活函数。处理奇点的能力使SincKAN能够减轻PIKANs中观察到的光谱偏差,从而使PIKANs更加稳健,并能够解决传统PINNs难以处理的PDEs。此外,我们进行了一系列实验来验证SincKAN的插值能力,并评估其作为MLP和KANs在PINNs中的替代方案的性能。我们的具体贡献可以总结如下:
1.我们提出了Sinc Kolmogorov-Arnold网络,这是一种新型且具有竞争力的网络,在处理奇点方面表现出色。
2.我们提出了几种基于经典Sinc方法的技术,以解决SincKAN在机器学习中的挑战。
3.我们进行了一系列实验,以展示SincKAN在函数逼近和具有物理信息意识的机器学习中的性能。
本文的结构如下:第2节中,我们简要回顾了PINNs和KANs,讨论了Sinc数值方法,并详细解释了SincKAN。第3节中,我们将我们的SincKAN与多种具有代表性的竞争网络进行了比较,包括平滑函数、不连续函数和高维函数。第4节中,我们总结了本文并讨论了剩余的局限性和未来研究的方向。
部分摘录
具有物理信息的神经网络
我们简要回顾了Raissi等人(2019年)提出的具有物理信息意识的神经网络(PINNs),用于推断PDEs的解。
通常,我们考虑一个时间依赖的PDE,其解为u,形式为
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号