KAConvNet:用于视觉识别的Kolmogorov–Arnold卷积网络
《Image and Vision Computing》:KAConvNet: Kolmogorov–Arnold convolutional networks for vision recognition
【字体:
大
中
小
】
时间:2026年04月16日
来源:Image and Vision Computing 4.2
编辑推荐:
KANs与CNN融合提出KAConvLayer和KAConvNet,在保持参数效率与可解释性的同时提升计算机视觉任务性能,解决B样条计算效率低和过拟合问题。
刘兆祥|马志成|赵凯凯|王凯|连世国
中国联通数据科学与人工智能研究所,北京,100013,中华人民共和国
摘要
卷积神经网络(CNNs)一直是通用计算机视觉任务中的主导和有效方法。最近,基于Kolmogorov–Arnold表示定理的Kolmogorov–Arnold神经网络(KANs)显示出替代深度学习中的多层感知器(MLPs)的潜力。KANs在边使用可学习的非线性激活函数,在节点上进行简单求和,与MLPs相比具有更少的参数和更高的可解释性。然而,将Kolmogorov–Arnold表示定理与卷积方法结合用于计算机视觉任务的探索仍然有限。现有的尝试仅是将可学习的激活函数替换为权重,这削弱了KANs的理论基础并限制了其潜在的有效性。此外,KANs中使用的B样条曲线存在计算效率低和容易过拟合的问题。在本文中,我们提出了一种新的Kolmogorov–Arnold卷积层,该层将Kolmogorov–Arnold表示定理与卷积深度集成。这种层提供了更强的方法可解释性,因为它基于成熟的数学定理,其设计具有理论上的合理性。在Kolmogorov–Arnold卷积层的基础上,我们设计了一种名为KAConvNet的高效网络架构,其性能优于现有的结合KAN和卷积的方法,并且与主流的ViTs和CNNs相比具有竞争力。我们相信,我们的工作为人工智能领域提供了宝贵的见解,并将激励2020年代更具创新性的CNNs的发展。
引言
深度学习架构的进步加速了计算机视觉的进展。自从LeNet [1] 将卷积神经网络(CNNs)引入图像识别任务以来,CNNs迅速发展,现在在分类、检测和分割等各种视觉任务中占据主导地位。随后,ViT [2] 首次将Transformer [3] 从自然语言处理扩展到计算机视觉领域,研究人员不断对其进行改进。
Kolmogorov–Arnold神经网络(KANs)[4] 最近作为多层感知器(MLPs)在深度学习中的有希望的替代方案出现。与MLPs不同,KANs在边上使用可学习的非线性激活函数,在节点上进行简单求和,从而减少了参数数量并增强了拟合能力。尽管具有潜力,但将KANs与卷积神经网络(KACNNs)结合用于计算机视觉任务的研究仍然有限。
一个值得注意的尝试是CKAN [5],它将KANs集成到卷积层中。然而,在MNIST数据集上的表现不佳。而且CKAN在所有通道上使用相同的可学习激活函数,限制了各个通道表达独特特征的能力。另一项研究KACN [6] 也在所有通道上应用可学习激活函数,导致参数数量显著增加。CKAN和KACN都通过仅将可学习激活函数放在权重上来偏离了原始的Kolmogorov–Arnold表示定理。这种简化方法损害了KANs在基于CNN的架构中的理论基础和潜在有效性。
此外,CKAN和KACN中使用的B样条函数虽然在拟合某些函数方面有效,但引入了两个关键挑战。首先,B样条的参数更新会减慢训练速度,尤其是在间隔更细和阶数更高的情况下。其次,B样条在计算机视觉任务中容易过拟合,导致测试准确率降低,尽管训练损失有所减少,如图2所示。
在本文中,我们通过将KANs与卷积层深度集成,提出了一种新颖且高效的Kolmogorov–Arnold卷积层(KAConvLayer)。我们的方法将Kolmogorov–Arnold表示定理的内层函数应用于每个通道内的信息聚合,将外层函数应用于所有通道之间的有效信息交换。这种设计允许每个通道保持独特的功能映射,同时减少输入元素和可学习函数的总数。因此,我们的方法实现了更快的计算和收敛速度,并提高了表示灵活性,相比现有方法更具优势。鉴于B样条曲线容易过拟合,我们在卷积层节点上使用了分段线性可学习激活函数来防止过拟合。基于这一层,我们设计了一种新的网络架构KAConvNet,在图像分类、检测和分割等计算机视觉任务中表现出色,如图1所示。最后,我们探讨了KAConvLayers的优势和局限性,为它们在计算机视觉中的应用提供了宝贵的见解,并为未来的KAN-CNN集成研究奠定了坚实的基础。我们工作的核心贡献是提出了一种先进的KAN-CNN混合范式,与现有的基于KAN的方法相比,在准确性和推理速度方面实现了显著且一致的改进。
相关工作
相关工作
在本节中,我们总结了Kolmogorov–Arnold表示定理在深度学习中的最新应用,并简要回顾了卷积神经网络的发展。
Kolmogorov–Arnold卷积神经网络
在本节中,我们首先回顾Kolmogorov–Arnold表示定理,并通过将其应用于卷积来提出一个新的Kolmogorov–Arnold卷积层(KAConvLayer)。然后我们提出了一个纯CNN架构KAConvNet,该架构采用了KAConvLayer的设计。
实验
在本节中,我们首先介绍实验设置的实现细节,然后我们在图像分类、对象检测和语义分割任务上评估了我们的KAConvNet。由于KAConvLayers仅使用小核卷积(即3 × 3),因此我们的网络参数较少。因此,本文主要关注与轻量级CNNs和ViTs的比较,以展示KAConvLayers的优越性,而不是针对部署导向的权衡进行优化。
讨论
我们比较了不同基于KA的卷积层之间的推理延迟,张量维度设置为 ,核大小固定为3 × 3。在H800 GPU上测试的推理延迟结果如表7所示。我们的方法实现了比其他竞争方法更快的推理速度,这归因于我们设计中采用的线性可学习的GLinear激活函数和通道级处理机制。
结论
在本文中,我们将Kolmogorov–Arnold表示定理应用于2D卷积,引入了KAConvLayer,该层展示了强大的拟合能力和方法可解释性。在此基础上,我们设计了一种名为KAConvNet的网络架构,在经典计算机视觉任务中表现出色。一方面,我们的结果突显了KAConvLayer相对于标准卷积层的优越拟合能力。另一方面,我们提出了使用
CRediT作者贡献声明
刘兆祥:撰写 – 审稿与编辑、资源、方法论、形式分析。马志成:撰写 – 原始草稿、验证。赵凯凯:撰写 – 原始草稿、软件、调查。王凯:验证、监督。连世国:验证、方法论。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号