边缘AI图像分类模型的回顾与优化

《Nano Convergence》:Review and optimization of image classification models for edge AI applications

【字体: 大 中 小 】 时间:2026年09月23日 来源:Nano Convergence 13.8

编辑推荐:

  图像分类在边缘设备上的应用要求模型在降低推理成本的同时保持准确性。本文回顾了从卷积神经网络到视觉Transformer(Vision Transformer)模型的图像分类模型发展,并考察了它们与边缘人工智能应用的关联。为了在不重新设计骨干网络的情况下提高视觉

  
图像分类在边缘设备上的应用要求模型在降低推理成本的同时保持准确性。本文回顾了从卷积神经网络到视觉Transformer(Vision Transformer)模型的图像分类模型发展,并考察了它们与边缘人工智能应用的关联。为了在不重新设计骨干网络的情况下提高视觉Transformer的推理效率,本研究提出了一种选择性令牌合并方法,该方法识别低显著性图像令牌,并主要对这些令牌进行令牌合并。在CIFAR-10上使用ViT-Tiny的实验结果表明,与标准令牌合并(Token Merging)相比,所提出的方法改善了准确率-吞吐量权衡。具体而言,采用按层调度的方式选择性地合并最不显著令牌组,达到了97.41%的准确率和19.04 images/s,而标准令牌合并为97.22%的准确率和18.97 images/s。在ImageNet-1 K上使用ViT-Tiny、ViT-Small和ViT-Base的进一步评估表明,在浅层窗口中进行选择性合并比标准ToMe保留了更多基线准确率,同时保持了推理加速效果。这些结果表明,令牌显著性可以指导面向边缘图像分类的更准确且更高效的令牌缩减。
本文首先回顾了从基于CNN的架构到基于ViT的架构的代表性图像分类模型,并进一步考察了先前面向高效边缘AI推理的研究工作。基于图像令牌对分类贡献不均的观察,作者提出了一种选择性令牌合并方法,在基本保留原始ViT骨干网络的同时进一步优化用于边缘AI应用的ToMe。随后对多种选择性合并配置进行了评估,结果表明,合并分类相关性最低的令牌可以在比原始ToMe更好地保持准确率的同时提升吞吐量。

在模型回顾部分,本文系统梳理了图像分类模型的发展脉络。基于CNN的模型中,AlexNet作为现代图像分类的里程碑式架构,通过大规模深度卷积神经网络在ImageNet规模数据上显著超越了以往方法,其五个卷积层和三个全连接层结合ReLU激活、最大池化、数据增强、Dropout及GPU训练展示了深度特征学习的实用性。ResNet通过残差学习解决了深层网络退化问题,使得训练ResNet-50、ResNet-101和ResNet-152等超深架构成为可能。MobileNet系列则面向移动和嵌入式视觉应用,MobileNetV1采用深度可分离卷积(depthwise separable convolution)分解标准卷积,并引入宽度和分辨率乘子来调节模型规模;MobileNetV2通过倒残差块(inverted residual block)和线性瓶颈(linear bottleneck)进一步改进紧凑CNN设计;MobileNetV3结合平台感知神经架构搜索和NetAdapt细化,将移动端延迟作为显式设计目标。

在视觉Transformer模型方面,ViT将图像划分为固定大小的块,每个块线性嵌入为令牌,添加位置嵌入后由标准Transformer编码器处理,并附加可学习的类别令牌用于分类。Transformer编码器由多头自注意力(multi-head self-attention,MHSA)和前馈网络(feed-forward network,FFN)(通常实现为多层感知机)组成,通过残差连接和层归一化稳定优化。ViT的主要局限性在于其计算和内存成本,注意力计算和注意力内存占用为\(O\left(h{N}^{2}\right)\)量级,投影和FFN层则贡献\(O\left(N{d}^{2}\right)\)量级的计算和内存开销。MobileViT将卷积和Transformer表示相结合,使用卷积层提取局部特征、Transformer层学习全局表征,在MobileViT块中将特征图经卷积处理后展开为块表示,经过Transformer层后再折叠融合,从而在移动规模模型预算下实现全局自注意力并保留CNN式空间归纳偏置。

在优化方面,令牌合并(Token Merging,ToMe)通过在现有Transformer块内逐步合并且相似令牌来减少ViT计算,而非直接删除令牌,从而避免令牌剪枝固有的信息损失。ToMe通过将令牌分为两组并基于令牌相似性进行二部软匹配来确定合并对象,尽管相比全配对匹配将计算复杂度降低了约4倍,但相似性矩阵乘法对边缘设备推理仍成本较高。

令牌显著性估计借鉴了ViT-ToGo方法,利用MHSA注意力概率中类别令牌对应的行作为图像令牌的显著性指标,同时排除类别令牌的自注意力项,并通过各注意力头中类别令牌的自注意力概率估计头重要性,较小值表示更具信息量的头。图6中的可视化结果显示,低显著性令牌大多对应背景主导的块,而目标区域令牌被保留,支持了基于注意力导出的令牌显著性用于识别低显著性令牌的有效性。

作者提出的选择性令牌合并策略根据令牌显著性而非整个令牌序列应用ToMe。两种策略中,Plan-A仅对最不显著令牌(least significant tokens,LSTs)应用ToMe,保持最显著令牌(most significant tokens,MSTs)不变;Plan-B分别对MST和LST组应用ToMe。在Transformer块内,注意力路径在MHSA阶段计算\(Q{K}^{\top }\)并通过softmax获得注意力概率后进行注意力值乘法,作者重用这些注意力概率通过令牌选择器(Token Selector,ToSel)计算令牌重要性并识别LST。ToSel增加了排序开销,约\(O\left(hN+N\text{log}N\right)\),但由于令牌匹配阶段与候选令牌数量呈二次方关系,将ToMe限制在更小的令牌组可降低匹配计算量。若令牌均匀分为LST和MST两组,Plan-A将二部匹配矩阵从标准ToMe的\(O\left({\left(N/2\right)}^{2}d\right)\)降至\(O\left({\left(N/4\right)}^{2}d\right)\),Plan-B则降至\(2\cdot O\left({\left(N/4\right)}^{2}d\right)\)。

实验设置在CIFAR-10上使用ViT-Tiny作为基线模型,通过timm库微调,在资源受限的CPU平台(Intel Core i5-1035G7,1.20 GHz,7 GB可用内存)上模拟边缘AI部署环境。额外实验在ImageNet-1 K上评估了ViT-Tiny、ViT-Small和ViT-Base的timm实现,三者均为12层Transformer,嵌入维度分别为192、384、768,注意力头数分别为3、6、12,输入分辨率均为\(224\times 224\)。对比方法包括无令牌缩减的微调ViT-Tiny基线、标准ToMe以及基于注意力导出重要性的ViT-ToGo风格令牌剪枝基线。

实验结果显示,Plan-A在准确率-吞吐量权衡上优于Plan-B。Plan-A以\(\left[0.3\right]*6+\left[0.0\right]*6\)配置达到97.41%准确率和19.04 images/s,优于标准ToMe的97.22%和18.97 images/s,说明仅合并分类贡献较弱的LST组比分组合并更有效。在比率调度方面,Plan-B中\(\left[0.5\right]*4+\left[0.3\right]*2+\left[0.5\right]*6\)的调度比率优于均匀的\(\left[0.3\right]*12\)和\(\left[0.5\right]*12\);Plan-A中主要在浅层应用选择性合并(如\(\left[0.3\right]*6+\left[0.0\right]*6\))改善了准确率-吞吐量权衡,表明最优LST比率随层变化。在合并率方面,将\(r=13\)降至\(r=11\)在保持与标准ToMe(\(r=13\))相当吞吐量的同时提高了准确率,Plan-B在\(r=11\)时达到18.73 images/s和97.37%准确率,而标准ToMe在\(r=13\)时为18.97 images/s和97.22%准确率,表明选择性合并可在维持大部分吞吐量增益的同时恢复准确率。

层调度实验使用ImageNet-1 K训练集中每类20张、共20,000张类分层子集进行校准,固定LST选择比率为0.3、每层合并数为13,对连续六层应用选择性合并,并将窗口从第0–5层移动至第6–11层。0–5窗口比标准ToMe低0.225–0.695个百分点,而1–6窗口准确率提高0.395–1.650个百分点,并保持\(1.111\times \)至\(1.343\times \)的加速比,因此选择第1–6层作为操作点。完整验证集扫描显示,将ToMe+ToSel窗口向更深层移动可更好地保持Top-1准确率,但深层合并会减少后续Transformer层利用缩短令牌序列的机会,从而降低吞吐量。所选1–6层窗口在准确率保持和推理加速之间提供了实用折中。与标准ToMe相比,所选配置对ViT-Tiny、ViT-Small和ViT-Base的Top-1准确率分别提高1.246、1.222和0.780个百分点,并相对于相应未合并基线保持\(1.069\times \)、\(1.250\times \)和\(1.349\times \)的加速比。

为量化ToSel相关开销,研究者先在正常模型前向过程中捕获ToSel所需张量,再在独立隔离运行中测量ToSel和基于gather的令牌分组,包括令牌显著性计算、排序、LST/MST索引生成和基于gather的组构建。使用批大小1的ImageNet-1 K验证集输入,在零基索引的第1–6层应用ToSel。对ViT-Tiny、ViT-Small和ViT-Base,聚合ToSel相关延迟分别为0.788、1.399和1.798 ms,分别占批大小1模型前向中位延迟的4.057%、4.198%和2.458%,说明选择和令牌分组在三种模型变体中均仅占推理延迟的一小部分。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号