SechKAN：基于双曲正割函数的Kolmogorov–Arnold网络

《Neurocomputing》：SechKAN: Kolmogorov–Arnold networks with hyperbolic secant functions

　　

摘要 近年来，Kolmogorov–Arnold 网络（KANs）因其在机器学习和科学计算中的有效性而受到越来越多的关注，为神经网络设计提供了一种新范式。本文提出了 SechKAN，一种基于双曲正割（sech）函数的新型 KAN。我们采用双曲正割基函数，因为其具有平滑的钟形形态、局部化响应以及良好的梯度性质。我们使用一维线性投影来减少参数量，使 SechKAN 的模型规模与多层感知机（MLPs）相当。实验结果表明，SechKAN 在函数拟合、偏微分方程（PDE）代理建模以及图像分类基准（包括 MNIST、Fashion-MNIST、CIFAR-10 和 CIFAR-100）上均表现出有效性。在函数拟合方面，SechKAN 达到了与 MLPs 和代表性 KAN 变体相当的性能。在 PDE 代理建模方面，它优于 MLPs，并达到了与代表性 KAN 变体竞争或更优的性能。在图像分类基准上，SechKAN 在所评估的 KAN 变体中取得了最佳性能，同时与使用可比较参数量级别的 MLPs 相比也保持竞争力。然而，SechKAN 的计算成本仍高于 MLPs 和部分 KAN 变体。我们的源代码已公开提供，地址为 https://github.com/hoangthangta/All-KAN。 引言 数十年来，多层感知机（MLPs）已被广泛应用于神经网络模型中，用于从数据中学习特征。由于其简洁性和速度，MLPs 可作为独立模型使用，也可与 CNN、RNN 和 LSTM 等其他架构结合。然而，MLPs 并非总是最适合建模数据中复杂非线性关系或平滑函数模式的选择，这可能需要替代的模型结构。Kolmogorov–Arnold 网络（KANs）近期引起了相当大的关注，被认为是一种有前景的神经网络架构。其采用多项式基函数进行设计，能够有效捕获多种类型的数据，并在各种数学、AI 和物理任务中表现出色。 尽管 KANs 在许多任务和应用中已被证明有效，但它们仍存在若干局限性，包括其层中的参数量显著大于 MLPs，从而导致更长的训练时间。此外，即使在参数量相同的情况下，在某些任务中其性能有时也不优于 MLPs。KANs 中使用的一些基函数，例如 EfficientKAN [1] 中采用的 B 样条基函数，涉及递归和分段计算，这可能会增加在 GPU 上实现的复杂度。我们的目标是探索具有更简洁公式的替代基函数，与递归样条基函数相比，它们可能减少计算开销并简化实现。此外，我们还旨在开发一种神经网络，使其在保持与 MLPs 大致相同参数量级的前提下，实现具有竞争力或更优的性能。 在本文中，我们引入了 SechKAN，这是一种采用双曲正割（sech）函数作为基函数的新型 KAN。双曲正割提供了一种平滑、局部化且无限可微的基函数，具有均衡的衰减特性，这可能会改善训练稳定性。与其他 KAN 变体类似，这种基函数扩展本身并不会减少参数量。相反，SechKAN 采用轻量级的一维线性投影作为结构瓶颈来聚合基函数响应，从而在保持 KANs 表达能力的前提下减少模型复杂度。最近的研究强调，基于高斯函数的 KANs 对基函数尺度选择的敏感性 [2]、[3]；因此，我们的比较使用 FastKAN、FasterKAN 和其他代表性 KAN 变体的原始或默认配置，仅进行少量修改以实现统一的实验方案。 SechKAN 的有效性在三个任务上进行了评估：函数拟合、PDE 代理建模和图像分类。我们的主要贡献如下： • 我们提出了 SechKAN，一种将双曲正割（sech）基函数与轻量级一维线性投影相结合的新型 KAN，能够在保持与 MLPs 相当模型规模的前提下实现参数高效的非线性表示学习。 • 我们推导了 SechKAN 的参数量和 FLOPs，并评估了其计算效率，包括 GPU 内存消耗、前向和反向执行时间、训练吞吐量以及梯度流动。 • 我们表明 SechKAN 在函数拟合、PDE 代理建模和图像分类中均达到了具有竞争力或更优的性能。特别是，在图像分类上，它始终优于代表性 KAN 变体，同时与 MLPs 保持竞争力。 • 我们对网格大小、激活函数和归一化策略进行了广泛的消融实验，为在不同任务中配置 SechKAN 提供了实用指南。 除了本引言部分之外，本文其余部分的组织如下。第 2 节回顾了 KANs 的相关工作及其在参数效率方面的局限性。第 3 节介绍了 KANs 及若干代表性变体。第 4 节呈现了 SechKAN，包括其设计和参数化，双曲正割基函数与现有 KAN 基函数的比较，以及参数减少的动机。它还比较了 SechKAN 与现有 KAN 变体和 MLPs 的参数量和 FLOPs。第 5 节描述了评估指标、计算复杂度和实验设置，并呈现了函数拟合、PDE 代理建模和图像分类任务的结果。第 6 节呈现了关于 SechKAN 中 sech 基函数和一维投影各自贡献的消融实验，随后对网格大小、激活函数和数据归一化策略进行了分析。第 7 节讨论了所提方法的局限性，并提供了选择网格大小和数据归一化类型的实用指南。最后，第 8 节总结了本文并概述了未来研究方向。附录提供了双曲正割函数与神经网络中其他激活函数的比较、函数拟合和 PDE 代理建模的详细实验设置、额外的图像分类实验，以及对 SechKAN 中梯度流动和饱和的分析。 相关工作 Kolmogorov–Arnold 网络（KANs）由 Liu 等人 [4] 最近引入，通过用 B 样条参数化的可学习单变量函数替代固定激活函数，为神经网络设计提供了新的视角。KANs 基于 Kolmogorov–Arnold 表示定理（KART），该定理与希尔伯特第 13 问题的解密切相关，指出任何连续多元函数都可以表示为一维函数的有限组合和求和 [5]、[6]。 Kolmogorov–Arnold 网络 Kolmogorov–Arnold 网络（KANs）基于 Kolmogorov–Arnold 表示定理（KART），该定理确保在有限定义域上的任何连续多元函数都可以表示为单变量函数的有限和。设 。任何连续函数 可以表示为 [41]： 在此，每个外层函数 聚合内层连续变换的求和 。这种两层分解中，外层函数组合内层单变量映射，构成了架构的基本模式。 架构 如图 2 所示，SechKAN 与其他神经网络类似，由多个层组成。每个 SechKAN 层接收输入并产生输出，该输出随后作为下一层的输入，遵循标准的神经网络架构组合方式。输入可选地经过数据归一化步骤（Norm1），然后经过 sech 基函数获得带有附加网格维度 的标准 KAN 表示。sech 基函数 由 个函数 组成，分布在 位置。 实验与评估 我们在多种任务上将 SechKAN 与若干 KAN 变体和 MLPs 进行评估，包括在 10 个合成基准函数（1D–5D）和两个代表性 AI Feynman 方程上的函数拟合、在 Navier–Stokes 和浅水数据集上的 PDE 代理建模，以及在 MNIST、Fashion-MNIST、CIFAR-10 和 CIFAR-100 上的图像分类。所有实验均在 GeForce RTX 3060 Ti GPU 上完成。所有实验均使用固定随机种子以确保可重复性和一致性。 消融实验 在本节中，我们进行消融实验以分析 SechKAN 的行为。我们首先考察 sech 基函数和一维投影的各自贡献，随后考察网格数量、激活函数以及归一化方法的选择和放置位置的影响。主实验（第 5 节）中使用的配置作为基线设置。对于每项实验，仅改变感兴趣的组件，而其他所有设置保持不变。 讨论 尽管在多个任务上取得了令人瞩目的结果，SechKAN 仍存在若干局限性。首先，其性能尚未在更大范围的 AI Feynman 基准函数或 ImageNet 等大规模数据集上进行评估。其次，没有系统的方法来选择合适的网格数量或归一化策略，这些选择依赖于启发式调优。第三，SechKAN 在图像分类上需要比 MLPs 略长的训练时间，表明在提升训练 方面仍有改进空间。 结论 在本文中，我们提出了 SechKAN，一种采用双曲正割（sech）函数作为局部化基函数的新型 KAN。与许多现有 KAN 变体不同，SechKAN 将轻量级一维线性投影与 sech 基函数扩展相结合，使模型在保持与 MLPs 相当的可训练参数量级的前提下，保留了 KANs 的非线性表示能力。所提出的架构还支持可选的归一化模块、跳跃连接和 利益冲突声明 作者声明他们没有已知的可能影响本文所报告工作的竞争性财务利益或个人关系。 致谢 本研究得到了 VNUHCM 信息科技大学科学研究支持基金的资助。 遵守道德标准 • 本文不包含作者进行的任何涉及人类受试者或动物的研究。 • 所有作者证明他们与本手稿所讨论的主题或材料有财务利益或非财务利益的组织或实体没有任何关联或参与。 Hoang-Thang Ta（或 Ta Hoang Thang）于 2008 年从越南大叻大学获得信息技术工程学士学位，于 2015 年从泰国西那瓦科技大学获得信息技术硕士学位，于 2023 年从墨西哥国立理工学院（IPN）获得计算机科学博士学位。在博士培训期间，他在新加坡科技设计大学（SUTD）完成了研究实习。他目前是 Hoang-Thang Ta 越南胡志明市信息科技大学的一名讲师。