DATCNN：一种兼具KAN所有优势且灵活性更强的新型卷积神经网络

《Neural Networks》：DATCNN: a novel CNN network with all the advantages of KAN while offering greater flexibility

　　

• 我们提出DATCNN，一种新型卷积神经网络架构，继承了KAN的核心优势，同时提供了显著增强的灵活性。• 我们为DATCNN建立了数学理论，从理论上保证其符号回归和可解释性能力。• 大量实验证明，DATCNN在精度和训练延迟方面均优于KAN及其他最先进变体，实现了更高的准确率并降低了训练延迟。

引言

Kolmogorov-Arnold表示定理表明，任何有界多元连续函数都可以表示为单变量函数与加法的有限组合，从而为神经网络的表征能力提供了理论指导（Hornik等人，1989）。多层感知机（MLPs）（Cybenko，1989；Haykin，1998；Hornik、Stinchcombe、White，1989）是现代深度神经网络的基本构建块之一。MLPs催生了众多先进的网络架构，如卷积神经网络（CNNs）（He、Zhang、Ren、Sun，2016；Krizhevsky、Sutskever、Hinton，2012）和transformers（Vaswani，2017），这些架构在计算机视觉和自然语言处理等领域得到了广泛应用。然而，这些模型通常具有复杂且嵌套的结构，导致可解释性较差。模型内部的潜在故障难以提前检测。在某些场景中，它们可能导致灾难性后果，带来法律和伦理风险（Zhang等人，2021）。近年来，研究人员提出了众多与模型可解释性相关的方法，这些方法可以根据生成的解释格式分为四类（Zhang等人，2021）：示例、归因、隐藏语义和规则。基于示例的解释为任何新输入提供额外的支持或反驳示例，例如最相似的示例或每类中的代表性样本集（Bien和Tibshirani；Caruana、Kangarloo、Dionisio、Sinha、Johnson，1999）。基于归因的解释表明每个输入特征对输出的影响，例如显著性图（Selvaraju、Cogswell、Das、Vedantam、Parikh、Batra，2017；Simonyan、Vedaldi和Zisserman；Springenberg、Dosovitskiy、Brox和Riedmiller；Zeiler、Fergus，2014）。基于隐藏语义的解释关注隐藏神经元或层的含义，试图将抽象概念与特定隐藏神经元的激活联系起来（Erhan、Bengio、Courville、Vincent，2009；Simonyan、Vedaldi和Zisserman）。无论是示例、归因还是隐藏语义，对模型的解释都是间接的。相比之下，基于规则的解释通过提供与模型等效的一组规则或决策树，提供了最直接的解释（Setiono、Liu，1995；Wang、Su、Zhang、Hu，2018b）。然而，规则集和决策树的表征能力有限，难以描述数学函数。为了克服这一缺陷，符号回归方法逐渐取代了基于规则的方法，并成为解释方案的主流，因为它们具有更强的表征能力，可以提供数学表达式（Makke、Chawla，2024；Udrescu、Tegmark，2020）。尽管如此，大多数现有符号回归方法都是基于搜索的，直接针对端到端数据，导致随着模型规模增加，搜索空间迅速增长，难以处理复杂模型。

Kolmogorov-Arnold网络（KAN）（Liu等人，2025）是一种支持符号回归并提供良好可解释性的新型网络架构。KAN由许多可学习激活函数组成。在符号回归过程中，KAN可以分别搜索每个激活函数，避免了巨大的搜索空间问题。尽管KAN在许多场景中展现出巨大潜力，但收敛缓慢和训练困难始终是显著缺陷。由于使用可学习激活函数，KAN与MLP及其衍生架构（如CNNs和transformers）存在本质结构差异。因此，KAN缺乏灵活性，即现有加速模型训练的方法难以直接迁移到KAN，且任何迁移方法的有效性缺乏理论和实验保证。

近年来，研究人员提出了新的可学习激活函数以提高KAN的训练速度（Aghaei、Aghaei，2025；SS、AR、KP等）。fKAN（Aghaei，2025）是KAN最先进的变体，用可训练Jacobian基函数替换MLP中的普通激活函数。然而，可学习激活函数的性能与真实值的形式直接相关。每个可学习激活函数都有其特定的应用场景，并不具有普遍优势。此外，这些方法仍存在灵活性不足的缺陷。PowerMLP（Qiu等人，2025）是KAN的一个不同变体，在MLP中使用固定的高阶函数ReLUk作为激活层。虽然这种修改减少了计算开销，但带来了性能权衡。除了修改KAN的可学习激活函数外，研究人员还将KAN广泛应用于各种常见任务，如图像分割（Cen、Li、Hu、Li，2025；Li、Liu、Li、Wang、Liu、Liu、Chen、Yuan，2025）、图像分类（Bodner等人，2024）、时间序列预测（Genet和Inzirillo，2024）和图问题（Bresson、Nikolentzos、Panagopoulos、Chatzianastasis、Pang和Vazirgiannis；Taghizadeh、Zandsalimi、Nabian、Shafiee-Jood、Alemazkoor，2025）。这些方法可以概括为将KAN作为独立模块插入模型，或用KAN替换原始模型中的MLP模块，从而帮助模型更好地区分高度非线性的局部潜在概念（Li等人，2025）。例如，卷积KAN（Bodner等人，2024）用KAN替换卷积层中的广义线性模块，从而提高图像分类性能。然而，这也将KAN的缺陷引入模型，导致训练速度变慢和灵活性降低。

在本文中，我们提出了一种新型卷积神经网络结构，称为密集仿射变换卷积神经网络（DATCNN），以解决KAN与主流CNN架构之间缺乏统一性的问题。每个DATCNN层采用包含骨干网络和残差连接的双路径架构。其骨干网络由堆叠的多个带有批归一化和激活的卷积层组成，后接一个无激活的全连接层。通过应用卷积层中激活函数的仿射变换，DATCNN实现了KAN中可学习激活函数的效果，从而促进符号回归并增强可解释性。与KAN相比，DATCNN通过有效利用现有的CNN理论和经验设计原则，提供了优越的灵活性。总体而言，DATCNN保留了KAN的可解释性优势，同时提供了更大的灵活性。

我们通过数学分析和模拟实验对DATCNN架构进行了理论验证。其性能在多种场景下得到全面评估，包括函数拟合、图像分类和自然语言处理。实验结果表明，DATCNN在精度和训练效率方面均优于KAN及其变体，突显了其灵活性和广泛应用潜力。我们的主要贡献总结如下：

• 我们提出DATCNN，一种新型卷积神经网络架构，继承了KAN的核心优势，同时提供了显著增强的灵活性。• 我们为DATCNN建立了数学理论，从理论上保证其符号回归和可解释性能力。• 大量实验证明，DATCNN在精度和训练延迟方面均优于KAN及其他最先进变体，实现了更高的准确率并降低了训练延迟。

章节片段

Kolmogorov-Arnold网络

KAN的灵感来源于Kolmogorov-Arnold表示定理，该定理指出任何有界多元连续函数都可以表示为单变量函数与加法的有限组合：f(x?,x?,?,x?)=∑(q=1到2n+1)Φq(∑(p=1到n)?q,p(xp))。KAN观察到公式(1)的右侧可以视为堆叠两层，从而将上述表示定理推广到更宽和更深的情形。图1展示了单个KAN层的结构。

方法

本节介绍DATCNN并阐明其理论基础。如下所示，DATCNN源自一种与KAN等效的新型卷积神经网络架构，并进行了特定增强。第3.1节详细介绍了DATCNN的结构。第3.2节分析了KAN中B样条的平移对称性。在第3.2节B样条性质的基础上，第3.3节标准化B函数定义了一个称为标准化B函数的新函数，使计算更加高效。

实验

实验由三个部分组成。在第4.1节中，我们通过数值模拟验证定理2和定理3，以检查理论推导的正确性。在第4.2节中，按照KAN论文的实验设计，我们比较KAN和DATCNN的函数拟合能力。在第4.3.1节中，我们评估DATCNN在常见图像分类和自然语言处理任务中的有效性，展示其灵活性和应用价值。

结论

在本文中，我们提出了DATCNN，这是一种有效的融合KAN核心优势的卷积神经网络架构。通过细化一个在理论上与KAN等效的卷积结构，DATCNN保留了KAN的可解释性和符号回归能力，同时显著增强了架构灵活性。我们通过数学分析为提出的架构提供了理论依据，并通过实验验证了其有效性。

CRediT作者贡献声明

Ruikun Luo：撰写初稿，可视化，软件，方法论，调查，形式分析，数据整理，概念化。Nan Su：撰写审阅与编辑，撰写初稿，验证，监督，方法论，概念化。Yixiang Dai：撰写审阅与编辑，验证。Guosheng Li：验证。Guijin Wang：撰写审阅与编辑，监督，资源，项目管理，概念化。

利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系，这些关系可能影响到本文中报告的工作。

Ruikun Luo | Nan Su | Yixiang Dai | Guosheng Li | Guijin Wang