VORTEX:通过使用无序和随机化的令牌编码的视觉变换器,在纹理识别方面挑战CNN(卷积神经网络)

《Neurocomputing》:VORTEX: Challenging CNNs at texture recognition by using vision transformers with orderless and randomized token encodings

【字体: 大 中 小 】 时间:2026年05月06日 来源:Neurocomputing 6.5

编辑推荐:

  莱昂纳多·斯卡比尼(Leonardo Scabini)|卡利尔·M·齐林斯基(Kallil M. Zielinski)|埃米尔·科努克(Emir Konuk)|里卡多·T·法雷斯(Ricardo T. Fares)|卢卡斯·C·里巴斯(Lucas C. Ribas)|凯文·史密斯

  
莱昂纳多·斯卡比尼(Leonardo Scabini)|卡利尔·M·齐林斯基(Kallil M. Zielinski)|埃米尔·科努克(Emir Konuk)|里卡多·T·法雷斯(Ricardo T. Fares)|卢卡斯·C·里巴斯(Lucas C. Ribas)|凯文·史密斯(Kevin Smith)|奥德米尔·M·布鲁诺(Odemir M. Bruno)
圣卡洛斯物理研究所,圣保罗大学,邮政信箱369,圣卡洛斯,13560-970,巴西

摘要

近年来,纹理识别领域主要由在ImageNet上进行预训练的深度卷积神经网络(CNN)主导,要获得最先进(SOTA)的性能,需要对其进行专门的修改和特征工程。然而,尽管视觉变换器(ViTs)几年前就已引入,但人们对它们的纹理识别能力知之甚少。因此,在本研究中,我们提出了VORTEX(一种用于纹理识别的无序和随机令牌编码的ViTs),这是一种新的方法,能够有效利用ViTs进行纹理分析。VORTEX从预训练的ViT骨干网络中提取多深度的令牌嵌入,并使用轻量级模块聚合层次特征并进行无序编码,从而为纹理识别任务获得更好的图像表示。这种方法可以与任何具有常见变换器架构的ViT无缝集成。此外,由于这些ViT仅作为冻结的特征提取器使用,因此不需要对骨干网络进行微调,特征直接输入到线性SVM中。我们在九个不同的纹理数据集上评估了VORTEX,证明了其在各种纹理分析场景中达到或超越SOTA性能的能力。通过弥合CNN和基于变换器的架构之间的差距,VORTEX为采用新兴的变换器基础模型铺平了道路。此外,与成本相似的CNN相比,VORTEX在计算效率方面表现出色。该方法实现和实验脚本在我们的在线仓库中公开提供。

引言

几十年来,数字图像中视觉纹理的分析一直是计算机视觉(CV)的一个重要研究领域。虽然CV涵盖了视觉识别的许多方面(例如形状和物体),但专注于纹理使我们能够解决一系列具体且细粒度的问题。从这个意义上看,纹理识别方法已在各种应用中成功使用[1]。从手工设计的方法到基于深度学习的模型,纹理识别的最先进技术(SOTA)多年来一直在不断发展[2]。
最近提出了几种基于深度学习的模型[3]、[4]、[5]、[6]、[7]、[8]、[9]、[10]、[11],这主要是由于深度卷积神经网络(CNNs)的大规模预训练和迁移学习[12]、[13]。然而,这些预训练的CNN需要额外的架构设计或微调才能超越其他纹理识别技术。这种方法是必要的,因为虽然现成的预训练CNN特征可以经过最小修改用于纹理识别,但得到的结果可能不如手工设计的方法[14]。因此,需要额外的特征工程来改进在自然图像上预训练的基础模型(骨干网络),以增强它们区分纹理的能力。这通常是通过使用更复杂的无序操作来改进特征池化、使用来自不同深度的层进行特征聚合以及添加额外的可学习层/模块来实现的。最近的研究探索了领域感知和标签不可知的策略来提高泛化能力,例如领域引导的提示分布学习[15]和无类别提示学习[16]。
另一方面,视觉变换器(ViT)[17]最近在许多CV领域占据了主导地位[18]。它们代表了从CNN设计的范式转变,提出了一种较少受生物学启发的结构,更注重可并行化的操作和更大的感受野,能够更好地捕捉视觉线索之间的远距离关系。然而,人们对它们的纹理识别能力知之甚少。虽然已经证明,当使用现成的特征时,ViT可以与CNN竞争[19],但在某些特定情况下,ViT可能难以超越手工设计的方法。这种行为凸显了需要新的架构调整和特征工程方法来改进基于ViT的骨干网络在纹理识别上的性能。例如,刘等人[9]使用变换器进行纹理识别,但他们仅将其用于CNN骨干网络上的特征工程,而不是ViT骨干网络。
在这项工作中,我们提出了一种新的纹理识别方法,该方法利用了多个基础ViT的优势。我们通过构建一个名为VORTEX的新模块来实现这一点,该模块基于具有无序和随机令牌编码的预训练ViT来提取纹理特征。我们的方法是第一个在ViT骨干网络上进行特征工程的方法,适用于任何具有常见变换器架构的骨干网络。因此,我们使用不同大小和预训练的多种骨干网络来评估VORTEX。此外,由于VORTEX不向ViT骨干网络添加新的可训练参数,而只是使用冻结的骨干网络进行特征提取,因此不需要进行微调。VORTEX的整体结构如图1(c)所示,其中给定输入纹理图像和ViT骨干网络后获得图像表示。然后使用这些表示来训练一个简单的线性分类器,使其在小数据集上也更加可行和高效。我们使用九个纹理数据集评估了所提出的方法,并将其结果与文献中的CNN和ViT技术进行了比较。VORTEX模块代码和实验脚本在我们公共的GitHub仓库中提供2。

章节摘录

背景

本节介绍了纹理分析和ViT的基本原理,并指出了这些领域中的差距,这些差距为所提出的VORTEX方法铺平了道路。

提出的方法:VORTEX

考虑到纹理识别和ViT领域的文献差距,我们提出了一种名为VORTEX的新方法。在本节中,我们详细描述了所提出的方法,展示了如何将其与不同的ViT骨架结合,从中提取改进的图像描述符,并将其与线性分类器结合用于纹理识别。
图1展示了所提出的VORTEX框架的流程。首先根据视觉变换器骨架将输入图像划分为小块,并进行映射

实验与讨论

本节提供了所有技术细节,并展示了实验结果,以验证所提出的VORTEX方法及其与SOTA技术的比较。

结论

在这项工作中,我们介绍了VORTEX,这是一种新的纹理识别方法,它利用预训练的ViT作为特征提取器,而无需进行微调。通过聚合多深度的令牌嵌入并在冻结的ViT上使用无序随机编码,VORTEX捕获了层次特征,增强了输入到线性SVM进行训练和推理的纹理表示。在九个不同的数据集上的广泛实验证明了其SOTA性能。VORTEX还证明了其高度

CRediT作者贡献声明

莱昂纳多·斯卡比尼(Leonardo Scabini):写作——审稿与编辑,撰写——初稿,可视化,验证,软件,方法论,调查,概念化。卡利尔·M·齐林斯基(Kallil M. Zielinski):写作——审稿与编辑,撰写——初稿,验证,方法论,调查,概念化。埃米尔·科努克(Emir Konuk):写作——审稿与编辑,撰写——初稿,验证,方法论,调查。里卡多·T·法雷斯(Ricardo T. Fares):写作——审稿与编辑,撰写——初稿,可视化,

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

L. 斯卡比尼(L. Scabini)感谢圣保罗研究基金会(FAPESP)(资助编号#2023/10442-2和#2024/00530-4)的支持。K. M. 齐林斯基(K. M. Zielinski)感谢FAPESP(资助编号#2022/03668-1)和高等教育人员改进协调委员会(CAPES)(资助编号#88887.631085/2021-00)的支持。R. T. 法雷斯(R. T. Fares)感谢FAPESP(资助编号#2024/01744-8)的支持。L. C. 里巴斯(L. C. Ribas)感谢FAPESP(资助编号#2023/04583-2、#2025/14029-8和#2025/27044-5)的支持。
莱昂纳多·斯卡比尼(Leonardo Scabini)拥有圣保罗大学圣卡洛斯物理研究所的计算物理学博士学位,并在2018年获得了计算物理学硕士学位。他还在南马托格罗索联邦大学获得了计算机科学学士学位(2015年)。2022年1月至2023年1月期间,他在比利时根特大学的知识系统(KERMIT)研究单位实习。他的研究兴趣包括计算机视觉、网络科学,
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号