《Neurocomputing》:Kolmogorov-arnold graph neural network based solid deformation simulation
编辑推荐:
摘要图神经网络(GNN)越来越多地被用于建模物理系统,以降低有限元方法(FEM)所带来的计算复杂度和时间成本。然而,大多数GNN依赖于具有固定激活函数的多层感知器(MLP),这促使我们探索更加灵活且可解释的非线性表示方法。本研究开发了一种Kolmogorov-Arnold图神
摘要
图神经网络(GNN)越来越多地被用于建模物理系统,以降低有限元方法(FEM)所带来的计算复杂度和时间成本。然而,大多数GNN依赖于具有固定激活函数的多层感知器(MLP),这促使我们探索更加灵活且可解释的非线性表示方法。本研究开发了一种Kolmogorov-Arnold图神经网络(KAGNN),通过编码器-处理器-解码器(EPD)架构,将受Kolmogorov–Arnold表示定理启发的非线性模块融入固体变形建模中。在二维梁、三维梁和锤击数据集上,对多种基函数变体与传统基于MLP的GNN进行了对比评估。基于Sin的变体在二维梁上验证损失降低了约16.7%,在锤击数据集上降低了约10.5%。进一步的二维梁评估显示,沿主载荷方向的平均位移RMSE降低了约4.4%,平均归一化Hausdorff距离降低了约6.1%。然而,MLP-GNN在三维梁上的验证损失更低,其他测试变体未优于基线模型。KAGNN提供了一种替代性的非线性参数化方法,其精度提升取决于变形任务和基函数配置。为提高实际应用性,开发了一套网格修复与转换框架,用于处理不适合训练的扫描网格,解决孔洞和三角形面片交叠等问题,将修复后的网格转换为通用文件格式(UNV),并构建了锤击数据集。本研究为固体变形仿真提供了新的见解,并凸显了KAGNN的应用潜力。
引言
在固体力学和材料科学中,复杂物理系统的建模常受限于高维度和多尺度行为 [1]。传统的数值方法,如有限元方法(FEM)和有限体积方法(FVM),在准确性和可靠性方面得到了广泛验证。然而,对于涉及高维参数空间、复杂几何形状或大规模仿真的问题,其计算成本可能变得难以承受,尤其是当需要反复网格加密或大量前向评估时 [2]。为解决这些局限,深度学习近期作为一种建模高维物理系统的有力工具崭露头角,推动了仿真智能范式的发展 [3]。
针对科学和工程应用,各种深度学习架构被相继开发。例如,NormalNet采用卷积神经网络(CNN)进行基于体素的问题分类和检索 [4]。物理信息神经网络(PINN)将控制方程、几何关系和本构定律纳入损失函数,使其在逆分析、缺失边界条件推断以及实验数据与仿真数据的融合中表现出色 [5]。几何和拓扑学习方法进一步将神经网络扩展到以不规则图表示的有限元网格上,使模型能够处理非结构化网格和高阶单元,同时保持插值精度和尺度泛化能力 [6],[7]。在多尺度建模和生成设计领域,变分自编码器(VAE)、生成对抗网络(GAN)和扩散模型也展现出了相当潜力 [8],[9]。尽管这些架构各异,但这些代理模型最终仍以MLP作为其基本的非线性映射模块。
然而,基于MLP的黑箱代理模型在工业应用中仍面临若干关键挑战,特别是在可解释性、守恒性和可扩展性方面 [10]。为缓解这些问题,Kolmogorov-Arnold网络(KAN)近来作为一种替代性的非线性参数化方法被提出 [11]。与在节点处放置固定激活函数的MLP不同,KAN在边上分配可学习的单变量函数,使得函数映射更加明确和可解释。该设计与Kolmogorov-Arnold定理 [12] 所隐含的加性函数分解一致。此外,KAN中基于样条的表示提供了一种便捷的方式来嵌入物理约束,如对齐、零均值或能量相关条件,并在若干PDE基准问题中展现了令人满意的表现 [13]。近期的应用导向研究进一步表明,KAN并不局限于传统的前馈网络设置。例如,KAN已与基于Transformer和卷积的架构结合,用于物联网入侵检测,显示出其不断增长的架构灵活性和应用潜力 [14],[15]。这些发展并不意味着KAN将全面取代MLP;而是表明KAN是科学机器学习中一种有前景且日益适应多种场景的替代方案,尤其是在可解释性和物理一致性至关重要的情况下。
然而,神经网络架构的适用性还取决于目标问题的结构特征。虽然KAN已成功与适用于无序点云数据的架构(如PointNet)结合 [16],但本研究关注的是离散化的计算力学问题,其中邻域交互和网格连接关系起着核心作用。因此,本研究采用GNN作为骨干网络,并将受Kolmogorov–Arnold表示定理启发的非线性模块纳入基于图的框架中。这种组合使模型在保留局部拓扑关系的同时,受益于更具表达力和可解释性的非线性表示。此外,基于KAN的实现方案据报道通过可分离和可堆叠的构造,在高维设置中具有良好的可扩展性,从而减少对大型稠密矩阵乘法的依赖。其稀疏样条核与GPU和TPU架构兼容,支持块稀疏存储和算子融合。已有实现方案还展示了可扩展至数千万参数模型的能力 [17]。
总体而言,深度学习与有限元方法的融合正在重塑物理建模方式,通过数据驱动和物理信息驱动的仿真策略补充传统数值计算 [18]。在此背景下,本研究提出了一种KAGNN,将受K-A定理启发的非线性模块纳入EPD架构中,用于固体变形预测。KAGNN与传统基于MLP的GNN之间的关键区别在于其非线性特征变换方式。基于MLP的GNN通过加权线性组合后接固定激活函数来完成这些变换,而KAGNN则采用不同基展开表示的可学习单变量函数。这些基于KAN的模块编码网格特征,通过消息传递机制更新节点和边的表示,并将所得特征解码为节点位移,同时保留有限元网格的连接性。本研究考察了六种基函数变体,以探究非线性参数化选择对变形预测性能的影响。
章节摘要
相关工作
利用深度学习建模高维物理系统已成为一个活跃的研究领域,特别是在固体力学方面 [19]。在此背景下,CNN在结构化欧几里得数据上表现优异,但其对规则网格的依赖限制了其在非规则计算域上的适用性。相比之下,GNN直接在关系结构上操作,并通过沿实际邻接关系的消息传递实现权重共享 [20]。这一特性使GNN非常适合用于
Kolmogorov-Arnold网络
根据 [12],定义在紧域上的连续多元函数可以表示为有限个连续单变量函数的叠加。具体而言,对于函数 ,Kolmogorov–Arnold表示可以写为:其中, 表示输入维度, 为单变量外层函数, 为实值函数。
然而,式(1)仅提供两层表示,限制了其在深度架构中的直接应用。为扩展这一思想,Liu等人
实验细节
本研究进行了三组实验,每组实验均同时采用基于MLP的GNN(MLP-GNN)和采用多种基函数的改进型KAGNN进行对比。案例1对应于一端固定的二维梁在重力作用下的自然变形;案例2表示一端固定、另一端受外力作用的三维梁的位移响应;案例3描述锤击引起的变形。所有数据集均保持参考
结论
传统数值仿真方法常因计算复杂度而受限,而深度学习的引入开创了智能仿真的新时代。为提高有限元数值仿真器的准确性和可解释性,本研究提出了一种KAGNN框架,通过编码器-处理器-解码器(EPD)架构,将受K-A定理启发的非线性模块纳入有限元变形仿真中。除了模型设计外,还开发了一套网格处理
CRediT作者贡献声明
李东哲:方法论、概念设计。张永刚:项目管理。郭宇泉:数据管理。孙明辉:数据管理、可视化、写作——审阅与编辑。
利益冲突声明
作者声明,不存在已知的可能影响本文所报告工作的竞争性经济利益或个人关系。
李东哲,毕业于中国沈阳建筑大学,获机械设计制造及其自动化专业学士学位。目前是吉林大学软件学院的研究生,主要研究方向为人工智能。
李东哲|张永刚|郭宇泉|孙明辉