轻量级深度神经网络架构设计综述

《ACM Computing Surveys》：A Survey on Lightweight Deep Neural Network Architecture Design

　　

摘要

尽管深度神经网络（DNNs）在许多领域取得了显著成就，但参数数量的不断增加和计算复杂性的提升严重限制了其在边缘设备上的部署可行性。在这一背景下，轻量级DNN不仅成为学术研究中的热门话题，也是推动AI普及化和落地实施的关键技术路径。本文聚焦于综述轻量级DNN架构设计方法以实现模型轻量化，旨在为研究人员提供设计轻量级模型架构的有效方案。本文区分了基于卷积和基于Transformer的模型设计框架，深入探讨了若干典型轻量级模型的结构设计、发展路径及其优缺点。通过实验比较不同模型的轻量化指标，本文指出模型选择需要与具体应用场景的约束紧密相结合。最后，本文观察到未来的突破可能在于探索结合卷积与Transformer的混合架构轻量化，以整合局部感知与全局建模的优势，在保持效率的同时进一步增强模型表达力。总之，本文不仅全面综述了轻量级模型结构设计，还强调了其在推动边缘智能落地实施方面的实践指导意义和发展方向。

AI摘要

AI生成摘要（实验性）

本摘要由自动化工具生成，未经论文作者撰写或审阅。其目的是支持检索发现，帮助读者评估相关性，并辅助相邻研究领域的读者理解本工作。本摘要旨在补充作者提供的摘要，后者仍然是论文的权威摘要。完整文章仍然是权威版本记录。点击此处了解更多。

点击此处对摘要的准确性、清晰度和有用性发表评论。这样做将有助于改进和未来的重新生成版本。要查看此AI生成的通俗语言摘要，您必须拥有高级访问权限。

1 引言

自20世纪中期深度神经网络（DNNs）[61, 63]被提出以来，它们经历了从简单感知机[63]到复杂多层感知机[71]，再到卷积神经网络（CNNs）[41]和循环神经网络（RNNs）[109]的发展过程。近年来，随着算力的提升和大数据时代的到来，DNN在许多领域取得了突破性进展，如自然语言处理[17, 20, 100]、图像分类[62, 96, 106]、目标检测[26, 68, 84]、动作识别[11, 12, 21]和语义分割[4, 66]。特别是AlexNet[42]在2012年ImageNet竞赛中的成功应用，标志着深度学习新纪元的开始。此后，ResNet[30]、SAM[39]和3D-CNN[85]等更深更大模型不断涌现，通过增加网络深度和宽度来提升模型性能。

然而，随着DNN模型复杂度和规模的不断增加，它们对计算资源的需求也急剧上升，这对部署在资源受限环境中的边缘设备构成了挑战[104]。边缘设备，如智能手机、智能家居设备、自动驾驶传感器、无人机和物联网（IoT）设备[67]，通常具有有限的计算能力、存储空间和能源供应。因此，对于部署在这些设备上的各种算法模型，轻量化变得至关重要。例如，OmniVec2[77]等深度网络虽然在图像识别任务中表现良好，但参数量大、计算需求高，不适合直接部署在边缘设备上。同时，实时性能和响应速度也是关键考量因素，尤其是在自动驾驶场景[87]中，车辆需要快速准确地做出决策以避免碰撞。这意味着用于目标检测、分类和追踪的DNN模型必须能够快速处理输入数据并输出结果，而不能有显著的延迟。此外，在许多实际应用场景中，获取高质量标注数据极其昂贵且数量非常有限，这使得大规模深度模型的充分训练变得困难，并容易导致过拟合。在这一背景下，设计紧凑且参数高效的轻量级模型不仅有助于降低部署门槛，还能增强模型在数据稀缺条件下的泛化能力，从而成为解决少样本学习[108]挑战的有效途径。在保护用户隐私方面，越来越多的应用倾向于在本地设备上进行数据处理，而不是将数据上传到云端进行分析[86]，这进一步凸显了在边缘设备上部署轻量级模型的重要性。总之，当前边缘设备的广泛应用急需轻量级模型的支持。无论是应对有限的计算资源、满足实时低延迟要求，还是在数据稀疏条件下进行应用，轻量级模型都是实现边缘智能不可或缺的一部分。为此，研究人员正在探索各种模型压缩技术和专门设计的轻量级架构，以开发高效实用的解决方案，更好地服务于边缘计算领域。

如表1所示，尽管已有若干综述文章总结了现有的模型轻量化技术，但大多数工作同时关注模型压缩技术和轻量级架构设计，缺乏对后者——即模型结构本身的轻量级设计——进行系统性和专门性的探索。相比之下，本文是一篇专门聚焦于轻量级模型架构设计的综述，明确将范围限定在通过网络结构创新实现模型轻量化的路径上，不涉及基于压缩的后处理技术。更重要的是，考虑到篇幅限制和聚焦核心设计思想的需要，本综述明确将范围限定为从轻量级架构设计发展历程中选出的七个代表性CNN架构模型和六个Transformer架构模型，系统梳理其设计动机、模块构建、演化逻辑和性能特征。本文不仅详细分析了各模型的结构设计方法和核心创新，还阐明了其轻量级设计的发展脉络，总结了不同架构在效率、精度和硬件适配性方面的设计规则和性能权衡，并进一步分析了各种方法的应用场景和局限性。

表1. 模型轻量化综述及其关注领域

| 综述 | 关注领域 | 年份 |
|------|----------|------|
| [18] | 航空场景分类的轻量化方法 | 2025 |
| [7] | 架构设计和模型压缩 | 2024 |
| [51] | 轻量级模型设计、压缩方法和硬件加速策略 | 2024 |
| [60] | 目标检测的轻量级骨干网络 | 2024 |
| [49] | 模型压缩技术介绍 | 2023 |
| [45] | 人脸识别的量化方法和相关数据集 | 2023 |
| [25] | 轻量级模型架构设计 | 2023 |
| [76] | 探索如何通过数据并行和模型并行在分布式处理中优化深度学习任务 | 2023 |
| [38] | 轻量级卷积网络和单发检测器系统在目标检测中的应用 | 2022 |
| [91] | 深度学习中轻量级网络结构设计的潮流方法 | 2021 |
| [47] | 目标检测中的模型轻量化方法 | 2018 |

因此，本文不仅弥补了现有综述在纯"架构轻量化"方向上的深度不足，还为主要读者群体提供了实用价值：一方面，工程实践者可以基于本文的比较分析快速选择适合其部署平台的轻量级模型；另一方面，研究人员可以总结设计范式，并从下一代高效神经架构的构建中获得启发。这种聚焦性、系统性和实用性构成了本文区别于现有综述的核心贡献。本文的调研方法如下：

— 我们的文献检索涵盖了ACM数字图书馆、Elsevier ScienceDirect、SpringerLink、IEEE Xplore，以及计算机视觉和人工智能领域的旗舰会议如CVPR、ICCV和ECCV，同时纳入预印本平台arXiv.org以确保及时跟踪最新研究成果。检索时间窗口设定为2016年1月至2026年5月，以充分涵盖轻量级DNN架构研究从出现到最新进展的关键时期。

— 在关键词策略方面，我们采用一组核心术语及其同义词进行组合检索，主要包括"轻量级神经网络"、"高效深度学习"、"边缘计算"和"神经网络设计"。初步检索结果的纳入标准要求文献必须提出以架构设计为核心的新型轻量级神经网络模型，在标准视觉基准上报告可量化的性能指标，并在公共代码仓库中有其官方或社区维护的开源实现，以支持后续实验的复现和横向比较。

— 当同一模型家族存在多个分支时，我们在选择代表性工作时优先选择由原始架构提出团队发布的后续演化版本，因为它们在设计理念和技术路线上通常具有更强的连贯性和连续性。在此基础上，如果某个变体虽然并非来自原始作者，但在架构设计上展现出显著创新或对轻量级范式产生了广泛影响，则也纳入本综述的分析范围。

本文其余部分组织如下。第2节将介绍模型轻量化的基本理论；第3节将详细讨论几种典型的轻量级卷积架构；第4节将主要介绍Transformer架构的轻量级设计；第5节总结两类轻量级模型的设计原则和性能比较，探索轻量级模型的潜在未来方向，并讨论本文的局限性。最后，第6节对全文进行总结。

2 模型轻量化的基本理论

"轻量级"一词通常指在参数量、计算成本、内存使用、推理延迟和能耗等方面显著低于传统大型模型的模型，能够满足典型边缘设备的严格资源约束[94]。为实现这一目标，研究人员主要采用两种方法：深度模型压缩技术[5]和轻量级架构设计。深度模型压缩技术通过对现有大型模型进行剪枝[92]、量化[89]、低秩分解[2]和知识蒸馏[24]等操作来减少计算和存储需求。相比之下，轻量级架构设计从模型构建的初始阶段就考虑资源限制，通过创新的网络结构和模块构建提出高效紧凑的轻量级模型架构方案。尽管轻量级架构设计和深度模型压缩技术在降低DNN模型资源需求这一目标上存在交集，但它们采用了完全不同的方法和策略。这两种互补的方法共同推动了DNN向更高效、更实用的方向发展。

2.1 模型压缩技术

模型压缩技术旨在优化现有大型模型以降低其计算复杂度和存储需求，使这些模型能够在资源受限的环境中高效运行[14]。此类技术主要包括剪枝[3, 19, 54, 78, 101]、量化[43, 50, 70, 83, 105]、低秩分解[99]和知识蒸馏[13, 23, 31, 59, 64]等方法，每种方法都有其独特的特点和应用场景。这四种模型压缩技术的概念如图1所示。

图1. 四种模型压缩技术的概念。

尽管模型压缩技术在降低计算资源需求方面取得了显著进展，但也存在一些缺陷。首先，过度压缩可能导致性能下降，尤其是在极端压缩条件下，模型可能无法捕获足够的信息进行准确预测。其次，某些压缩技术（如无结构剪枝和量化）可能需要额外的优化步骤才能在特定硬件平台上取得良好效果。例如，使用无结构剪枝修剪的模型通常需要专用硬件支持才能实现加速，量化过程中的量化误差也需要通过复杂的补偿机制来最小化。此外，模型压缩技术更依赖原始模型的固有属性[55]。这意味着如果原始模型不够强大或存在过拟合问题，即使经过压缩，最终模型的性能可能仍然不尽如人意。

2.2 轻量级架构设计

轻量级架构设计旨在从模型设计的初始阶段就考虑资源限制，通过精心设计的网络结构实现高效计算和低资源消耗，而非对现有大型模型进行压缩。与深度模型压缩技术相比，这种方法并非简单地减少现有模型的冗余或精度，而是从根本上构建更高效的神经网络。

轻量化架构设计主要关注以下几个方面：——轻量化架构设计通常采用特定的模块或层设计来增强效率，例如使用深度可分离卷积替代标准卷积[44]，这显著减少了计算复杂度和参数量。它还可能引入倒置残差块[93]，以使信息流更加高效。这些创新设计不仅减少了计算量，而且保持甚至提升了模型性能。——轻量化架构设计强调对不同任务需求的适应性。通过灵活调整网络宽度、深度和分辨率等超参数，确保在给定的资源预算内实现最佳性能。与模型压缩技术不同，模型压缩主要关注减小现有模型的尺寸，而轻量化架构设计从设计之初就着手创建更适合资源受限环境的模型。——轻量化架构设计还关注实际部署时的硬件兼容性和推理速度[28, 56]。例如，针对不同硬件平台（如CPU和GPU）优化网络结构，通过利用硬件特性进一步加速计算过程。相比之下，虽然某些模型压缩技术也能提高推理速度，但它们通常需要额外的优化步骤才能在特定硬件上取得良好效果。3 卷积架构轻量化模型设计3.1 SqueezeNet系列SqueezeNet[35]是研究人员较早提出的一种轻量级CNN架构。其设计的核心理念是利用Fire模块缩放通道尺寸，从而减少参数量。如图2(a)所示，SqueezeNet的核心模块是Fire模块，由两部分组成：压缩层和扩展层。压缩层使用1×1卷积核压缩输入特征图，减少通道数量。扩展层则通过使用1×1和3×3卷积核的混合来扩展特征图的维度。SqueezeNet在保持空间分辨率的同时，通过将传统的3×3卷积替换为1×1卷积，实现了参数量减少九倍的目标。同时，该模型通过使用压缩层减少输入到3×3卷积的通道数量，进一步降低了计算复杂度，使其在ImageNet数据集[15]上以AlexNet 1/500大小的体积达到了AlexNet级别的准确率。然而，SqueezeNet并非仅通过通道缩放就实现了如此小的参数量，如其标题"SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZE"所暗示的那样。实际上，它更多依赖INT8量化技术[36]来显著减少参数量。图2. SqueezeNet的核心模块。SqueezeNext[22]在SqueezeNet的设计理念基础上进行了多项改进，特别是在硬件适配方面进行了显著优化。如图2(a)所示，其架构同样基于模块化设计，但引入了可分离卷积，即深度卷积（DWConv）和逐点卷积的组合，进一步减少了参数量与计算开销。此外，SqueezeNext采用了低秩滤波器[37]，将标准卷积分解为更小的卷积步骤以降低计算需求。它还添加了快捷连接[72]以有效缓解深度网络训练中的梯度消失问题。与SqueezeNet不同，SqueezeNext更关注硬件实现效率。例如，它调整了网络各层中块的分布以提高硬件推理速度，并避免了在部分移动处理器平台上效率较低的可分离卷积。这种结合软硬件考量的设计方法，体现了SqueezeNext对实际应用场景的深入思考，延续并深化了SqueezeNet的轻量化理念。然而，尽管SqueezeNet及其后续模型SqueezeNext在模型压缩和参数效率方面取得了显著进展，但它们的设计仍存在若干结构性局限。首先，这些以Fire模块或两级压缩单元为核心的架构虽然在参数数量上取得了有效缩减，但严重依赖大量1×1卷积和非标准卷积组合，这限制了其表达能力，使其在相同计算成本下难以与现代轻量模型的精度水平相匹配。其次，低秩分解或自定义可分离结构的使用虽然在特定仿真平台上展现出能效优势，但在主流移动处理器或神经网络加速器上缺乏高效支持，限制了实际部署的通用性。SqueezeNet系列模型的实验结果列于表2。表2. ImageNet数据集上SqueezeNet系列的实验结果模型参数量(M)计算量(M)Top-1准确率(%)Top-5准确率(%)SqueezeNet_32bit4.8-57.580.3SqueezeNet_8bit0.66-57.580.3SqueezeNet_6bit0.47-57.580.3SqueezeNext_1_230.7228258.9882.33SqueezeNext_1_23_v20.7422858.5582.09SqueezeNext_1_23_v30.7422858.1881.96SqueezeNext_1_23_v40.7722859.0982.41SqueezeNext_1_23_v50.9422859.2482.41SqueezeNext_2_232.474967.1888.17SqueezeNext_2_23_v42.5670866.9587.89SqueezeNext_2_23_v53.2370867.4488.20SqueezeNet系列模型在ImageNet数据集上的实验结果其中，SqueezeNet_Xbit表示量化位宽，SqueezeNext_X_Y_vZ表示扩展因子X、模块数量Y以及模型的不同版本Z。3.2 ShiftNetShiftNet[97]采用了与CNN类似的结构，但创新性地用移位操作替代传统卷积操作来实现高效特征提取。如图3所示，它是ShiftNet的核心模块。模型的整体架构由多个阶段组成，每个阶段包含若干基于移位操作的核心模块。这些模块逐步处理输入数据的不同尺度特征，并通过残差连接等机制增强性能。其模块如Conv-Shift-Conv（CSC）和Shift-Conv-Shift-Conv（SC2），结合了移位操作和逐点卷积的优势，在保持计算效率的同时提升了信息融合能力。图3. ShiftNet的核心模块。ShiftNet的创新之处在于引入了零参数、零FLOP的移位操作，通过简单的空间移位来重新分配特征图中的信息，从而避免了传统卷积带来的高计算成本和大量参数。然而，模型的表达能力受限于固定的预定义空间移位模式，缺乏传统卷积核对于局部结构的自适应建模能力。此外，Shift的有效性严重依赖于通道数量以覆盖整个感受野，在极轻量级设置下难以充分发挥其优势。同时，其理论效率增益依赖于特定的硬件优化，在通用推理框架中不一定会转化为实际的加速效果。与依赖深度可分离卷积的轻量模型相比，Shift避免了低算术强度导致的I/O瓶颈，但牺牲了特征学习的灵活性。该模型的实验结果列于表3。表3. ImageNet数据集上ShiftNet的实验结果模型参数量(M)Top-1准确率(%)Top-5准确率(%)ShiftNet-A4.170.189.7ShiftNet-B1.361.283.6ShiftNet-C0.7858.882.0ShiftNet在ImageNet数据集上的实验结果在ShiftNet-X中，X表示ShiftNet的不同版本。3.3 MobileNet系列MobileNetV1[33]是专门为移动和资源受限环境设计的CNN。其架构由一系列重复的层序列组成，每个序列由一个或多个相同的层构成，且序列内所有层的输出通道数相同。如图4(a)所示，MobileNetV1的核心模块是深度可分离卷积。该模型的关键创新在于引入了深度可分离卷积，在保持良好模型性能的同时大幅提高了效率。因此可以说，这种设计非常适合需要高效计算的场景。图4. MobileNetV1、V2和V3的核心模块，其中(a)为MobileNetV1，(b)为MobileNetV2，(c)为MobileNetV3。MobileNetV2[69]在前代MobileNetV1的基础上做出了显著改进，主要通过引入线性瓶颈和倒置残差结构。如图4(b)所示，与传统残差块不同，倒置残差块首先通过1×1的扩展卷积增加通道数，然后应用DWConv提取特征，最后通过另一个1×1卷积减少通道数。这种方法使模型能够在内部扩展到更高维的空间，从而在不显著增加计算成本的情况下增强非线性变换的表达能力。MobileNetV2的另一个关键特征是在瓶颈层中移除非线性激活函数以保持表达能力，这有助于防止信息丢失并确保模型能有效学习复杂模式。MobileNetV3[32]首次引入了神经架构搜索（NAS）技术[1, 95]来自动化搜索最优网络配置，从而通过几项关键改进共同提升模型的性能和效率。首先，该模型引入了新的激活函数以平衡非线性表达能力和计算开销：Hard Swish（H-Swish）实现了平滑的非线性映射，与ReLU系列相比，它在保持低计算复杂度的同时更精细地捕捉数据特征。Hard Sigmoid（H-Sigmoid）简化了传统Sigmoid操作[29]，专门用于Squeeze-and-Excitation（SE）模块[34]中的门控机制。其次，在结构方面，MobileNetV3重构了瓶颈模块并嵌入SE模块以增强特征选择，显著提升了对通道间信息相关性的建模能力。此外，网络末端的Last Stage通过移除冗余卷积层进行精简，实现了轻量化设计，在几乎不损失准确率的情况下显著减少了推理时间，从而实现了在移动设备上的更高效部署。MobileNetV3的核心模块如图4(c)所示。MobileNetV4[65]代表了MobileNet系列的最新一代，其核心聚焦于围绕关键组件和优化策略构建模型，如通用倒置瓶颈（UIB）、Mobile MQA以及优化的NAS方法。核心模块UIB集成了倒置瓶颈结构、ConvNext模块[53]、前馈网络（FFN）以及一种新颖的Extra Depthwise（ExtraDW）变体。通过在传统倒置瓶颈的基础上增加两个可选的DWConv层，显著增强了网络结构的灵活性。这种设计允许在不同阶段动态调整空间和通道混合比率、扩展感受野并提高计算效率。考虑到移动设备的计算特性，MobileNetV4引入了Mobile MQA注意力机制，通过在所有注意力头之间共享Key和Value参数来减少内存访问需求和计算复杂度，相比传统多头自注意力（MHSA）机制实现了高达39%的推理加速。尽管MobileNet系列在推动高效视觉架构方面取得了显著进展，但其设计本质上是模型表达能力与计算效率之间的权衡。从V1到V4，该系列持续优化了参数利用率和硬件兼容性，但始终面临若干结构性局限。首先，逐点通道卷积和线性瓶颈结构的使用以压缩计算量为代价削弱了跨通道信息交互能力，这在极低维表示中尤为容易导致特征表达退化，影响模型的泛化性能。其次，在追求低FLOPs过程中过度依赖下采样策略，导致高分辨率语义信息的过早丢失，限制了其在小目标检测或密集预测任务中的表现。这些权衡表明，虽然MobileNet系列实现了极致轻量化，但不可避免地牺牲了部分模型容量和任务适应性。MobileNet系列四个模型的实验结果列于表4。表4. MobileNet系列模型在ImageNet数据集上的实验结果模型参数量(M)计算复杂度Top-1准确率(%)MobileNet_0.250.541M Mult-Adds50.6MobileNet_0.51.3149M Mult-Adds63.7MobileNet_0.752.6325M Mult-Adds68.4MobileNet_14.2569M Mult-Adds70.6MobileNetV2_13.4300M Mult-Adds72.0MobileNetV2_1.46.9585M Mult-Adds74.7MobileNetV3_Large_0.755.4219M Mult-Adds73.3MobileNetV3_Large_14.0155M Mult-Adds75.2MobileNetV3_Small_0.752.444M Mult-Adds65.4MobileNetV3_Small_12.966M Mult-Adds67.4MobileNetV4_Conv_S3.80.2G MACs73.8MobileNetV4_Conv_M9.21.0G MACs79.9MobileNetV4_Hybrid_M10.51.2G MACs80.7MobileNetV4_Conv_L315.9G MACs82.9MobileNetV4_Hybrid_L35.97.2G MACs83.4MobileNet系列模型在ImageNet数据集上的实验结果表中，MobileNet_X、MobileNetV2_X和MobileNetV3_Large_X中的X表示扩展因子，MobileNetV4_Y_Z中的Y表示所使用的核心模块类型，Z表示尺寸变体。3.4 EfficientNet系列EfficientNet[79]的设计理念源于对现有轻量级CNN架构的深入研究，尤其继承了MobileNetV2的倒置残差块设计理念。如图5所示，EfficientNet的核心模块是MBConv模块，主要由四部分组成：首先，使用1×1卷积层扩展通道数。然后，使用3×3深度可分离卷积对每个输入通道执行空间卷积操作以提取特征。接着，SE块自适应地重新校准通道特征。最后，使用1×1逐点卷积调整通道数，构建倒置瓶颈结构。与MobileNetV3相比，尽管两者都采用了类似的MBConv结构，但EfficientNet更侧重于系统化的模型缩放策略，而MobileNetV3则更依赖于人工设计与自动化搜索相结合来优化网络架构。此外，EfficientNet采用了DropConnect技术[102]，这是Dropout的改进版本，它随机丢弃整个块的输入连接而非单个神经元的输出。

这有助于防止过拟合。

图5. EfficientNet的核心模块。

EfficientNetV2 [80] 在EfficientNet的核心思想基础上进一步对其架构进行了优化。EfficientNetV2的核心模块引入了Fused-MBConv结构，将MBConv中的1×1卷积和深度可分离卷积合并为标准卷积操作。这一改动在某些场景下提升了计算效率，并使EfficientNetV2能够更好地利用GPU和TPU等现代硬件加速器，因为这些加速器通常对标准卷积操作的支持优于深度可分离卷积。EfficientNetV2的一项关键创新是引入了渐进式学习策略，该策略根据图像尺寸动态调整正则化强度。这意味着在训练初期使用较小的图像尺寸和较弱的正则化，随着训练的进行，图像尺寸逐渐增大，正则化也逐渐加强。这种方法在加速训练过程的同时保持了高准确率。

EfficientNet系列通过复合缩放策略在准确率和模型规模之间实现了出色的平衡，但其设计涉及若干关键权衡。为了在ImageNet上追求高准确率，EfficientNetV1采用逐步增加输入分辨率的方式进行缩放，这导致高阶变体在训练和推理过程中内存使用量急剧增加，计算延迟显著增大，使其难以在资源受限的设备上部署。同时，其重度依赖深度可分离卷积，虽然降低了FLOPs，但由于内存访问效率低以及对硬件优化支持的敏感性，在GPU和TPU上的训练速度较慢。EfficientNetV2通过引入Fused-MBConv模块和限制最大图像尺寸来缓解了其中一些问题，并通过渐进式学习和大规模蒸馏改善了训练效率。然而，其高性能仍然高度依赖于ImageNet-21k或JFT等大型预训练数据集，在小样本或分布偏移场景下泛化能力有限。EfficientNet系列模型的实验结果如表5所示。

表5. EfficientNet系列模型在ImageNet数据集上的实验结果

| 模型 | 参数量(M) | FLOPs(B) | Top-1准确率(%) | Top-5准确率(%) |
|------|-----------|----------|----------------|----------------|
| EfficientNet-B0 | 5.3 | 0.39 | 77.1 | 93.3 |
| EfficientNet-B1 | 7.8 | 0.7 | 79.1 | 94.4 |
| EfficientNet-B2 | 9.2 | 1.0 | 80.1 | 94.9 |
| EfficientNet-B3 | 12 | 1.8 | 81.6 | 95.7 |
| EfficientNet-B4 | 19 | 4.2 | 82.9 | 96.4 |
| EfficientNet-B5 | 30 | 9.9 | 83.6 | 96.7 |
| EfficientNet-B6 | 43 | 19 | 84.0 | 96.8 |
| EfficientNet-B7 | 66 | 37 | 84.3 | 97.0 |
| EfficientNetV2-S | 22 | 8.8 | 83.9 | - |
| EfficientNetV2-M | 54 | 24 | 85.1 | - |
| EfficientNetV2-L | 120 | 53 | 85.7 | - |
| EfficientNetV2-S (21k) | 22 | 8.8 | 84.9 | - |
| EfficientNetV2-M (21k) | 54 | 24 | 86.2 | - |
| EfficientNetV2-L (21k) | 120 | 53 | 86.8 | - |
| EfficientNetV2-XL (21k) | 208 | 94 | 87.3 | - |

EfficientNet系列模型在ImageNet数据集上的实验结果

在表5中，EfficientNet-BX表示不同的模型配置，其中X代表模型版本。EfficientNetV2-Y(21k)表示不同大小的模型，其中Y代表尺寸变体，21k表示模型在ImageNet21k数据集上进行预训练。

3.5 RepViT

RepViT [90] 是一种新颖的轻量级CNN，通过借鉴Vision Transformer（ViT）[16]的设计概念对传统CNN模型进行了优化。RepViT的整体架构基于MobileNetV3-Large [32] 并进行了若干改进。

整体结构方面的调整包括：通过用两个步长为2的3×3卷积替换原始复杂结构来简化Stem设计；通过添加RepViT模块来加深下采样层，从而进一步深化下采样过程并增加特征提取的深度；以及通过将原始复杂分类器结构替换为全局平均池化层后接线性层来简化分类器设计，从而降低计算负担和延迟。

在基础模块设计方面，RepViT引入了Token Mixer与Channel Mixer分离的概念，这是借鉴自轻量级ViT的设计理念。如图6所示，在RepViT模块内，空间信息首先通过3×3深度可分离卷积（Token Mixer）进行处理，然后通过1×1卷积（Channel Mixer）进行通道间的交互。

图6. RepViT的核心模块。

尽管RepViT在移动设备上实现了准确率与延迟之间的出色平衡，但其设计仍存在若干关键局限性。作为一种纯卷积架构，它通过结构重参数化以及受ViT启发的宏观设计提升了效率，但无法像自注意力机制那样显式地建模长程依赖关系。此外，该模型高度依赖重参数化策略，即训练与推理之间不一致，这不仅增加了训练复杂度和内存开销，还对部署工具链提出了特定要求。基于此，RepViT在硬件通用性与全局建模能力之间做出了明确的权衡：以牺牲部分表达能力为代价，换取在iOS等高度优化生态下的极致推理速度。从表6的实验结果可以看出，该模型在ImageNet数据集上达到了超过80%的Top-1准确率。

表6. RepViT在ImageNet数据集上的实验结果

| 模型 | 参数量(M) | MACs(G) | Top-1准确率(%) | 推理延迟(ms) |
|------|-----------|---------|----------------|--------------|
| RepViT-M0.9 | 5.10 | 0.8 | 78.7 | 0.9 |
| RepViT-M1.0 | 6.81 | 1.0 | 80.0 | 1.0 |
| RepViT-M1.1 | 8.21 | 1.3 | 80.7 | 1.1 |
| RepViT-M1.5 | 14 | 2.3 | 82.3 | 1.5 |
| RepViT-M2.3 | 22.9 | 4.5 | 83.3 | 2.3 |

RepViT在ImageNet数据集上的实验结果

在RepViT-MX中，X表示约X毫秒的推理延迟，使用的推理设备为Nvidia RTX3090 GPU。

3.6 GhostNet系列

GhostNet [27] 主要由一系列Ghost瓶颈层组成，其整体架构基于MobileNetV3架构，用Ghost瓶颈层替换了原始的瓶颈块。如图7所示，Ghost模块是Ghost瓶颈层局部结构的核心，它将一个普通卷积层拆分为两个部分：首先生成少量内在特征图，然后应用一系列廉价的线性操作来生成更多的幽灵特征图。这种方法在不改变输出特征图尺寸的情况下，显著减少了所需参数数量和计算复杂度。

图7. GhostNet的核心模块。

GhostNetV2 [82] 引入了一种硬件友好的注意力机制，称为解耦全连接（DFC）注意力，旨在以较低的计算复杂度捕获长程依赖关系，同时保持高效的推理性能。DFC注意力的设计灵感来源于全连接层的功能，其核心思想是将全连接层操作分解为水平和垂直两个方向，分别对特征图中的像素信息进行聚合，从而降低计算复杂度。图8展示了水平方向的聚合过程，对每一行的像素进行聚合，其公式可以表示为：

$$a_{h\omega}^{\prime} = \sum_{h^{\prime}} F_{h,h^{\prime}}^{H} \odot z_{h^{\prime}\omega}, \quad h=1,2,\ldots,H, \; \omega=1,2,\ldots,W,$$

其中$F^H$表示水平方向的变换权重，$a_{h\omega}^{\prime}$表示水平聚合后的中间结果。图8展示了垂直方向的聚合过程，对每一列的像素进行聚合，其公式可以表示为：

$$a_{h\omega} = \sum_{\omega^{\prime}} F_{\omega,\omega^{\prime}}^{W} \odot a_{h\omega^{\prime}}, \quad h=1,2,\ldots,H, \; \omega=1,2,\ldots,W,$$

图8. DFC注意力的工作机制。

其中$F^W$表示垂直方向的变换权重，$a_{h\omega}$表示最终生成的注意力值。通过独立地聚合并行和列，DFC注意力的复杂度从原来全连接层的复杂度$O(H^2W^2)$降低到了$O(H^2W+HW^2)$。然而，尽管GhostNet模块中没有显式的全连接层，DFC注意力仍然可以与GhostNet模块结合使用，成为与现有硬件工具兼容的高效实现方法。

C-GhostNet [28] 和G-GhostNet [28] 是分别为CPU和GPU设备专门设计的轻量级模型。从图中可以看出，C-GhostNet针对CPU的硬件特性进行了特别优化。由于CPU通常存在与内存访问速度相关的性能瓶颈，且与GPU相比，CPU的内存带宽较低，频繁的内存访问会导致显著延迟。因此，C-GhostNet大量使用逐点卷积，这是一种减少特征图空间维度变化的操作，从而减少大规模内存访问的需求。同时，C-GhostNet中的廉价操作主要依赖于逐通道变换或线性操作，这些操作可以直接映射到CPU的SIMD（单指令多数据）指令集。这些操作只需访问少量数据，从而避免大规模的全局读写操作，这与CPU缓存的局部性原理高度契合，进一步提高了缓存命中率。

G-GhostNet充分利用了GPU强大的并行计算能力。模型架构设计中使用的廉价操作和mix操作使模型在处理批次数据时能够更高效地访问内存，从而最大限度地减少串行依赖并最大化并行操作的利用率。特别是mix操作，它将中间层的信息以累加方式聚合到幽灵特征中，避免了多次重复的内存读写需求。这确保了更加连续和高效的内存访问模式，从而进一步提升了GPU运算速度。此外，G-GhostNet针对现代CNN架构中存在的显著特征冗余问题，提出了G-Ghost阶段。该阶段分析卷积结构中跨层的特征冗余性，并将输出特征拆分为两部分。通过减少通道数量并使用廉价操作生成特征，有效避免了GPU在冗余计算上浪费的时间。

尽管GhostNet系列模型通过引入廉价操作生成幽灵特征图，在显著降低计算开销的同时保持了高准确率，但其设计中仍存在若干固有局限性。首先，原始的Ghost模块依赖局部线性变换来生成冗余特征，缺乏有效建模长程空间依赖关系的能力，这可能会限制模型在复杂视觉任务中的表达能力和泛化性能。其次，与非轻量级模型相比，GhostNet架构在极低FLOPs场景下准确率下降更快，表明其"廉价操作"的收益存在容量瓶颈，难以完全替代标准卷积的非线性表达能力。GhostNet系列模型的实验结果如表7所示。

表7. GhostNet系列模型在ImageNet数据集上的实验结果

| 模型 | 参数量(M) | FLOPs(M) | Top-1准确率(%) | Top-5准确率(%) |
|------|-----------|----------|----------------|----------------|
| GhostNet_0.5 | 2.64 | 266 | 66.2 | 86.6 |
| GhostNet_1 | 5.21 | 417 | 73.9 | 91.4 |
| GhostNet_1.1 | 5.91 | 687 | 74.5 | 92.0 |
| GhostNet_1.3 | 7.32 | 267 | 75.7 | 92.7 |
| GhostNet_1.4 | 8.22 | 647 | 76.1 | 92.9 |
| GhostNet_1.7 | 11.0 | 378 | 77.2 | 93.4 |
| GhostNetV2_1.0 | 6.11 | 677 | 75.3 | 92.4 |
| GhostNetV2_1.3 | 8.92 | 697 | 76.9 | 93.4 |
| GhostNetV2_1.6 | 12.3 | 399 | 77.8 | 93.8 |
| C-GhostNet_0.5 | 2.64 | 266 | 66.2 | 86.6 |
| C-GhostNet_1 | 5.21 | 417 | 73.9 | 91.4 |
| C-GhostNet_1.3 | 7.32 | 267 | 75.7 | 92.7 |
| G-GhostNet_w/o_mix | 14.3 | - | 72.8 | 90.0 |
| G-GGhostNet_w/_mix | 14.6 | - | 73.1 | 91.2 |

GhostNet系列模型在ImageNet数据集上的实验结果

在GhostNet_X、GhostNetV2_X和C-GhostNet_X中，X表示模型的扩展因子。在G-GhostNet_w/o_mix中，"w/o"表示没有mix操作，而在G-GhostNet_w/_mix中，"w/"表示存在mix操作。

3.7 ShuffleNet系列

ShuffleNet [107] 的整体架构主要分为三个阶段。在每个阶段内部，除了步长（stride）以外，超参数保持不变，而每个阶段中的第一个块具有步长为2，并且输出通道数在下一阶段翻倍。ShuffleNet的核心模块是它对逐点分组卷积和通道混洗的创新性使用。逐点分组卷积用于降低1×1卷积的计算复杂度，而通道混洗则促进不同特征通道之间的信息流动，解决了分组卷积导致的通道间信息隔离问题。

ShuffleNetV2 [56] 的整体框架采用了更加简洁的设计，取消了分组卷积，而是使用了一种新的双分支结构。如图9所示，在该结构中，输入被分为两部分：一部分通过深度可分离卷积进行处理，另一部分则直接作为捷径路径传递下来。这一设计不仅避免了分组卷积可能带来的高内存访问开销（MACs），还简化了网络结构并增加了并行性，从而加速了模型推理过程。ShuffleNetV2的创新之处在于提出了四条高效网络设计的实用准则，强调输入输出通道宽度相等可以降低MACs，过多的分组卷积会增加MACs，网络碎片化会降低并行性，以及逐元素操作的影响不可忽略。

图9. ShuffleNetV2的核心模块。

尽管ShuffleNet系列在计算效率和参数压缩方面取得了显著进展，但其设计仍存在若干固有局限性。首先，为了在极低FLOPs预算下维持模型容量，ShuffleNet V1依赖密集分组卷积和瓶颈结构，这不仅增加了MACs，还引入了通道间信息隔离的问题。虽然通道混洗缓解了这一问题，但难以完全消除特征冗余和表达能力损失。尽管ShuffleNet V2通过通道拆分和均衡卷积改进了这一问题，并明确优化了实际推理延迟，但其静态架构仍然无法适应输入复杂度的变化，在高精度任务中其泛化能力明显弱于大型非轻量级模型。此外，该系列模型对硬件内存带宽更为敏感，在某些嵌入式平台上的实际加速比远低于理论FLOPs优势。

ShuffleNet 系列中两个模型的性能列于表 8。

**表 8.** 模型 FLOPs (M) Top-1 准确率 (%) GPU 上的推理速度 (批次/秒)
| 模型 | FLOPs (M) | Top-1 准确率 (%) | GPU 上的推理速度 (批次/秒) |
| :--- | :--- | :--- | :--- |
| ShuffleNet_0.5(g=4) | 38 | 58.4 | - |
| ShuffleNet_0.5(shallow, g=3) | 40 | 57.2 | - |
| ShuffleNet_1(g=8) | 140 | 67.6 | - |
| ShuffleNet_1.5(g=3) | 292 | 71.5 | - |
| ShuffleNet_1.5(g=3) | 524 | 73.7 | - |
| ShuffleNet_1.5(with SE, g=3) | 527 | 75.3 | - |
| ShuffleNetV2_0.5 | 41 | 60.3 | 417 |
| ShuffleNetV2_1 | 146 | 69.4 | 341 |
| ShuffleNetV2_1.5 | 299 | 72.6 | 255 |
| ShuffleNetV2_2 | 591 | 74.9 | 217 |
| ShuffleNetV2_2(with SE) | 597 | 75.4 | 161 |

ShuffleNet 系列模型在 ImageNet 数据集上的实验结果，其中 ShuffleNet_X (g=Y) 和 ShuffleNetV2_X 中，X 代表扩展因子，Y 代表分组数

### 3.8 模型讨论

在讨论轻量级卷积架构时，我们可以总结以下两个核心观点：

首先，轻量级卷积模型的整体架构呈现出系统性的发展趋势。如图 10 所示，该图描绘了轻量级卷积模型的演化谱系，可以看出，除了通过通道缩放实现模型轻量化的 SqueezeNet 系列 [22, 35] 之外，大多数轻量级设计都基于卷积结构的改进。在这方面，MobileNet 系列 [32, 33, 65, 69] 尤为突出。第一代 MobileNet 系列，即 MobileNetV1，首次引入了深度可分离卷积，随后的模型提出了线性瓶颈和倒残差等创新设计。这些策略使模型在显著降低计算复杂度和参数数量的同时，保持了高准确性和效率。由于其成功的设计理念，许多后续的轻量级模型都从 MobileNet 的设计中汲取灵感，并对其进行进一步优化和发展。例如，EfficientNet 系列 [79, 80] 参考了 MobileNetV2 的架构，而 RepViT [90] 和 GhostNet 系列 [27, 28, 82] 参考了 MobileNetV3 的架构。GhostNet 系列的另一个特点是使用廉价的运算替换大量的逐点卷积，从而显著降低计算复杂度。ShuffleNet 系列 [56, 107] 添加了通道混洗机制，以增强通道之间的信息交换。

**图 10.** 轻量级卷积模型的演化谱系，其中实线箭头表示继承和发展关系，虚线箭头表示参考和发展关系。

其次，如表 9 所示，当比较不同轻量级模型的实验结果时，我们可以清楚地看到它们性能上的差异。较小的模型，如 SqueezeNet_8bit，适用于资源受限的设备。虽然它们的准确率相对较低，但计算复杂度和权重非常低。中等性能和效率的模型，如 MobileNetV2_1 和 GhostNetV2_1.0，在准确率和计算复杂度之间取得了良好的平衡，适用于移动设备或边缘计算环境。高性能模型，如 EfficientNet-B0 和 EfficientNetV2-M，展现了非常高的准确率，但需要大量的计算资源，适用于服务器端或高性能计算场景。特别是 RepViT-M1.0，不仅保持了适度的计算复杂度，还实现了高准确率。总体而言，选择合适的模型应基于应用场景的具体需求，包括设备性能、准确率要求和计算资源限制。

**表 9.** 模型 参数 (M) 计算复杂度 Top-1 准确率 (%) 数据集
| 模型 | 参数 (M) | 计算复杂度 | Top-1 准确率 (%) | 数据集 |
| :--- | :--- | :--- | :--- | :--- |
| SqueezeNet_8bit [35] | 0.66 | — | 57.5 | ImageNet |
| 1.0_SqueezeNext_23 [22] | 0.72 | 282M MAC | 58.98 | ImageNet |
| ShiftNet-A [97] | 4.1 | — | 70.1 | ImageNet |
| MobileNet_1 [33] | 4.25 | 69M Mult-Adds | 70.6 | ImageNet |
| MobileNetV2_1 [69] | 3.4 | 300M Mult-Adds | 72.0 | ImageNet |
| MobileNetV3_Large_1 [32] | 4.0 | 155M Mult-Adds | 73.3 | ImageNet |
| MobileNetV4_Conv_M [65] | 9.2 | 1.0G MAC | 79.9 | ImageNet |
| EfficientNet-B0 [79] | 5.3 | 0.39B FLOP | 77.1 | ImageNet |
| EfficientNetV2-M [80] | 54 | 24B FLOP | 85.1 | ImageNet |
| RepViT-M1.0 [90] | 6.8 | 1.1G MAC | 80.0 | ImageNet |
| GhostNet_1 [27] | 5.2 | 141M FLOP | 73.9 | ImageNet |
| GhostNetV2_1.0 [82] | 6.1 | 167M FLOP | 75.3 | ImageNet |
| C-GhostNet_1 [28] | 5.2 | 141M FLOP | 73.9 | ImageNet |
| G-GhostNet_w/_mix [28] | 14.6 | - | 73.1 | ImageNet |
| ShuffleNet_1(g=8) [107] | — | 140M FLOP | 67.6 | ImageNet |
| ShuffleNetV2_1 [56] | — | 146M FLOP | 69.4 | ImageNet |

经典卷积结构模型的性能对比

表中列出的模型均为这些模型的无扩展或压缩版本。在 SqueezeNet_8bit 中，8bit 指数据类型。1.0_SqueezeNext_23 表示无扩展版本，由 23 个模块组成。ShiftNet-A 表示其 A 类型。MobileNetV4_Conv_M 表示卷积版本，属于中等规模。EfficientNet-B0 表示最小的基础模型。EfficientNetV2-M 表示中等规模版本。RepViT-M1.0 表示无扩展的中等规模版本。G-GhostNet_w/_mix 表示具有混合操作的版本。ShuffleNet_1(g=8) 表示通道被分为 8 组。

然而，值得注意的是，在当前研究中，卷积架构的轻量级模型局限于由深度卷积和逐点卷积组成的深度可分离卷积的范围。尽管出现了线性瓶颈、倒残差、通道混洗机制以及使用廉价运算替换逐点卷积等创新，但研究人员在设计模型主干架构时的起点仍然是深度卷积和逐点卷积的不同组合。这表明当前轻量级模型的设计仍然主要依赖于基本卷积操作的优化和重组，尚未完全突破这一基本框架。未来的研究可能需要探索更多样的卷积结构或全新的计算范式，以进一步提升轻量级模型的性能和效率。这种探索不仅有助于推动轻量级模型的发展，还将为更广泛的应用场景提供更强大的支持。

## 4 Transformer 架构轻量级模型设计

### 4.1 PoolFormer

MetaFormer [103] 是从 Transformer [88] 的核心结构抽象而来的。从 Transformer 抽象出 MetaFormer 的过程本质上是对 Transformer 核心结构的高层次提炼。如图 11 所示，Transformer 最初由两个主要部分组成：用于混合信息的注意力机制和带残差连接的 MLP。在高度概括 Transformer 架构的过程中，注意力机制被视为 token 混合器的特定形式，即用于在不同 token 之间传递信息的组件。通过忽略其具体实现细节，Transformer 架构可以被抽象成一种更通用的形式，即 MetaFormer。从图 11 可以看出，MetaFormer 保留了 Transformer 的基本结构，包括归一化层、token 混合器和 MLP 层，但没有指定 token 混合器的具体实现。这种抽象允许研究人员在不受传统自注意力机制限制的情况下探索不同的 token 混合器设计。

**图 11.** 比较了三种架构的主要结构：Transformer、MetaFormer 和 PoolFormer。最上面是 Transformer 的结构，中间是 MetaFormer 的主要结构，最下面是 PoolFormer 的主要结构。

PoolFormer [103] 实际上是 MetaFormer 概念的具体实现。它使用极其简单的无参数空间池化操作作为 token 混合器，验证了即使在 MetaFormer 架构的支持下，最基础的信息混合方法也能取得良好的效果。查看图 11 中 PoolFormer 的结构，其核心部分由两个子模块组成。第一个子模块是 token 混合器，使用平均池化或最大池化操作。目的是让每个 token 从相邻 token 中提取特征。第二个子模块是带有激活函数的两层 MLP，负责对所提取特征进行非线性变换。为了保持输入和输出尺寸一致，专门设置了池化核和填充。

PoolFormer 的创新在于它挑战了常规观念，即 ViTs 的成功主要归功于基于自注意力的 token 混合器模块。相反，PoolFormer 证明了整体架构设计的重要性。通过采用极其简单的空间池化算子作为 token 混合器，PoolFormer 不仅实现了与更复杂模型相当的性能，还显著降低了计算复杂度和参数数量。因此，PoolFormer 不仅是对 MetaFormer 理论的有效验证，还为未来视觉模型的设计提供了新的思路和方向。

然而，这种方法也有其明显的缺点。PoolFormer 作为 MetaFormer 系列模型的代表，通过放弃复杂的注意力机制显著降低了计算成本和参数数量。然而，其依赖静态池化操作作为 Token 混合器本质上缺乏建模长距离依赖和内容自适应交互的能力。这一局限性限制了其在需要强上下文理解任务中的泛化能力。实验结果列于表 10。

**表 10.** 模型 参数 (M) MACs (G) Top-1 准确率 (%)
| 模型 | 参数 (M) | MACs (G) | Top-1 准确率 (%) |
| :--- | :--- | :--- | :--- |
| PoolFormer-S12 | 12 | 1.9 | 77.2 |
| PoolFormer-S24 | 21 | 3.5 | 80.3 |
| PoolFormer-S36 | 31 | 5.1 | 81.4 |
| PoolFormer-M36 | 56 | 9.0 | 82.1 |
| PoolFormer-M48 | 73 | 11.8 | 82.5 |

PoolFormer 在 ImageNet 数据集上的实验结果，其中 PoolFormer-XY 表示具有 X 比例和 Y 个基本模块的模型

表中列出的模型均为这些模型的无扩展或压缩版本。在 SqueezeNet_8bit 中，8bit 指数据类型。1.0_SqueezeNext_23 表示无扩展版本，由 23 个模块组成。ShiftNet-A 表示其 A 类型。MobileNetV4_Conv_M 表示卷积版本，属于中等规模。EfficientNet-B0 表示最小的基础模型。EfficientNetV2-M 表示中等规模版本。RepViT-M1.0 表示无扩展的中等规模版本。G-GhostNet_w/_mix 表示具有混合操作的版本。ShuffleNet_1(g=8) 表示通道被分为 8 组。

### 4.2 Mobile-Former

Mobile-Former [10] 是一个高效的神经网络模型，结合了 MobileNet 和 Transformer，旨在充分利用卷积操作在局部特征提取方面的优势以及 Transformer 在全局建模方面的能力。该模型以并行设计连接这两个模块，并使用双向桥接使局部特征和全局特征之间能够进行交互。如图 12 所示，Mobile-Former 的基本模块是 Mobile-Former 块，由四部分组成：Mobile 子块、Former 子块以及双向的轻量级交叉注意力。

**图 12.** Mobile-Former 的核心模块。

查看 Mobile-Former 块的具体结构，Mobile 子块基于 MobileNet 系列模型 [69] 的倒残差瓶颈结构，使用深度可分离卷积高效提取局部特征。Former 子块是标准的 Transformer 模块 [88]，包含多头注意力和 FFN。为了降低计算成本，FFN 的扩展比设置为 2 而不是传统的 4。

轻量级交叉注意力是 Mobile-Former 的核心创新之一，用于在 Mobile 和 Former 之间进行高效的特征融合。

在 Mobile→Former 的方向上，轻量级交叉注意力的作用是将信息从局部特征图转移到全局 token。输入包括局部特征图 \(X \in \mathbb {R}^{H \times W \times C}\) 和全局 token \(Z \in \mathbb {R}^{M \times d}\)，其中 \(M\) 是 token 的数量，\(d\) 是 token 的维度。具体公式为：
\begin{equation*}
A_{X\text{→}Z} = [Attn(\tilde{z}_i {W}_Q^i, \tilde{x}_i), \tilde{x}_i)]_{i=1}^hW_O ,
\end{equation*}
其中 \(\tilde{x}_i\) 和 \(\tilde{z}_i\) 是多头注意力机制中第 \(i\) 个头的局部特征和全局 token；\({W}_Q^i\) 是第 \(i\) 个头的查询投影矩阵；\(W_O\) 是用于合并多头输出的权重矩阵；\(Attn(Q,K,V)\) 是标准注意力函数。优化点在于从 Mobile 模块中去除了键和值的投影矩阵 \(W_K\) 和 \(W_V\)，仅保留 Transformer 模块中的查询投影矩阵 \(W_Q\)。由于 \(W_K\) 和 \(W_V\) 的投影操作通常涉及高维特征图且计算昂贵，去除它们显著降低了计算成本。

在 Mobile←Former 的方向上，轻量级交叉注意力的作用是将信息从全局 token 反馈到局部特征图。输入再次包括局部特征图 \(X \in \mathbb {R}^{H \times W \times C}\) 和全局 token \(Z \in \mathbb {R}^{M \times d}\)。具体公式为：
\begin{equation*}
A_{Z\text{→}X} = [Atn(\tilde{x}_i,\tilde{z}_i{W}_k^i, \tilde{z}_i{W}_V^i)]_{i=1}^h ,
\end{equation*}
其中 \(\tilde{x}_i\) 和 \(\tilde{z}_i\) 是多头注意力机制中第 \(i\) 个头的局部特征和全局 token；\(W_K^i\) 和 \(W_V^i\) 是第 \(i\) 个头的键和值投影矩阵。优化点在于从 Mobile 模块中去除了查询投影矩阵 \(W_Q\)，仅保留键和值投影矩阵 \(W_K\) 和 \(W_V\)。这种设计进一步降低了计算成本，因为查询矩阵的投影操作通常涉及高维特征图。

然而，尽管由 Mobile-Former 代表的混合架构通过并行结合 CNN 和极简 Transformer 在低 FLOPs 下实现了比纯 CNN 更高的准确率，但其全局建模能力受限于极少的可学习 token，难以捕捉复杂的空间关系，导致在细粒度识别或高分辨率任务中的泛化能力降低。此外，这些模型通常依赖于特定的硬件友好算子，如深度可分离卷积或轻量级交叉注意力，这在通用 GPU 或未优化的推理引擎上不一定能提供理论上的延迟优势。Mobile-Former 在 ImageNet 数据集上的实验结果列于表 11。

**表 11.** 模型 参数 (M) MAdds (M) Top-1 准确率 (%)
| 模型 | 参数 (M) | MAdds (M) | Top-1 准确率 (%) |
| :--- | :--- | :--- | :--- |
| Mobile-Former-26 | M3.22 | 664.0 |
| Mobile-Former-52 | M3.55 | 268.7 |
| Mobile-Former-96 | M4.69 | 672.8 |
| Mobile-Former-15 | M7.61 | 5175.2 |
| Mobile-Former-21 | 4M9.42 | 1476.7 |
| Mobile-Former-29 | 4M11.4 | 29477.9 |

Mobile-Former 在 ImageNet 数据集上的实验结果，其中 Mobile-Former-XY 表示具有 X 比例和 Y 个基本模块的模型

### 4.3 MobileViT 系列

在其整体架构设计中，MobileViT [57] 采用基于倒残差块和 Transformer 模块的集成设计理念。模型首先通过一系列标准卷积层对输入图像进行下采样，以提取低级空间特征。

随后，这些特征被送入由多个MobileViT块组成的骨干网络，每个MobileViT块负责进一步增强特征表示能力。最后，经过全局平均池化和全连接层处理后输出最终预测结果。如图13所示，MobileViT的核心组件是MobileViT块。

图13. MobileViT的核心模块

值得注意的是，MobileViT在训练过程中引入了多尺度采样器作为重要组件。该技术使模型能够在不同尺度下进行训练，从而增强其鲁棒性和泛化能力。如图14所示，多尺度采样器动态调整输入图像的分辨率或时间长度，使模型能够在不同尺度上学习特征。这对于视频动作识别等任务尤为重要。

图14. 多尺度采样器

MobileViTV2 [58] 是基于MobileViT改进的轻量级ViT模型。在整体架构方面，MobileViTV2继承了MobileViT的设计理念，并在原有基础上做出了若干改进。

具体而言，MobileViTV2用可分离自注意力机制取代了原始的MHA机制，从而显著降低计算复杂度并提高运行效率。如图15所示，这种新机制引入潜在节点L来捕获全局上下文信息。每个输入token与这一潜在节点进行交互，而非像传统方法那样成对交互。潜在节点L通过线性变换和聚合操作从输入token生成，从而确保全局信息的有效表示并解决传统MHA中的瓶颈问题。此外，MobileViTV2采用标准的n×n卷积层以及前述可分离自注意力方法对不同尺度的特征图进行处理。这不仅降低了计算成本，还保持了对局部空间信息的敏感度。

图15. 可分离自注意力的处理方式

表12中的实验结果表明，MobileViTv2是MobileViT的重要演进。该模型不仅提升了准确率，还加快了不同设备上的推理速度。这证明了所提方法的有效性，使MobileViTV2成为更适合移动应用的更高效模型。

表12. MobileViT系列模型在ImageNet数据集上的实验结果
| 模型 | 参数量(M) | FLOPs(G) | Top-1准确率(%) | 推理延迟(ms) |
|---|---|---|---|---|
| MobileViT-XXS | 1.3 | 0.4 | 69.0 | 4.8 |
| MobileViT-XS | 2.3 | - | 74.8 | - |
| MobileViT-S | 5.6 | 2.0 | 78.4 | 3.4 |
| MobileViTv2-0.5 | 1.4 | 0.5 | 70.2 | 1.6 |
| MobileViTv2-1.0 | 4.9 | 1.8 | 78.1 | 3.4 |
| MobileViTv2-1.5 | 10.6 | 4.0 | 80.4 | 5.1 |
| MobileViTv2-2.0 | 18.5 | 7.5 | 81.2 | 7.5 |

在MobileViT-X中，X表示模型的不同规模；在MobileViTv2-X中，X表示模型扩展的尺寸。实验中使用V100 GPU进行推理操作。

然而，MobileViT系列模型依赖于固定分辨率输入和静态位置编码，这限制了其对任意尺度图像的适应能力。此外，这些模型对训练策略高度敏感：较小的版本在标准数据增强下表现良好，而较大的版本则需要RandAugment和MixUp等复杂增强技术才能充分收敛，反映出其泛化能力对训练配置的强烈依赖性。

### 4.4 EfficientFormer系列

在传统ViT [16]设计中，频繁在不同维度的数据表示之间进行转换使reshape操作不可避免。然而，reshape操作不仅会引入额外的计算开销，还会导致内存访问效率低下，严重影响模型在资源受限移动设备上的推理速度和能效 [48]。为了解决这一问题，EfficientFormer [48] 引入了维度一致设计，在网络的不同阶段采用不同的分区策略，从而在保持低计算延迟的同时高效捕获局部信息。

图16展示了EfficientFormer的核心模块MB4D和MB3D。在EfficientFormer的设计中，4D分区（由MB4D块组成）是关键组件，主要依靠基于卷积的模块从图像中提取低层特征。每个MB4D块由简单的池化混合器和卷积操作组成，非常适合处理4D张量格式的数据。通过这种方式，MB4D可以在保持计算效率的同时高效捕获局部特征。此外，由于池化操作天然适配4D张量格式且不需要频繁的reshape操作，MB4D在移动设备上实现了更快的推理速度。这种基于卷积的设计不仅简化了模型结构，还减少了不必要的计算开销，这也是EfficientFormer在前端阶段实现高效特征提取的重要原因。随后，随着网络进入更深层，模型过渡到3D分区（由MB3D块组成），此时采用MHSA机制来捕获全局信息。MB3D部分的结构与传统ViT类似，但仅在最后两个阶段启用。这是因为一方面MHSA的计算成本随token长度呈二次增长，过早引入会显著增加计算负担；另一方面全局信息在特征提取的后端阶段通常更为重要。因此，该设计在控制资源消耗的同时保证了性能。过渡层位于MB4D和MB3D之间，其作用是将特征图从4D格式转换为3D格式。尽管该过程涉及reshape操作，但由于它仅在网络的特定过渡点发生，而非在整个网络中反复出现，因此对整体延迟的影响微乎其微。

图16. EfficientFormer的核心模块，上方为MB4D，下方为MB3D

EfficientFormerV2 [46] 的架构设计继承并发展了EfficientFormer的核心思想。首先，EfficientFormerV2引入了细粒度搜索空间机制，不仅搜索每个阶段的深度和宽度，还允许独立配置每个FFN的扩展比。这种细粒度搜索空间使得每个阶段内的计算和参数能够灵活分配，从而更精确地控制模型的资源消耗。与传统粗粒度搜索策略相比，该方法能够更好地适应不同硬件平台的需求，确保模型在各种设备上达到最佳性能。其次，EfficientFormerV2提出了一种名为"尺寸与速度联合优化"的新方法，引入了联合约束尺寸与速度的搜索目标函数——移动效率得分（MES）。目标函数定义为：

$$MES = Score \cdot \prod_i \left(\frac{M_i}{U_i}\right)^{-\alpha}$$

其中 $i \in \{\text{size}, \text{latent}, ...\}$，$\alpha_i \in (0, 1]$ 表示对应的权重。$M_i$ 和 $U_i$ 分别表示指标值及其单位。基分$Score$为简便起见设为100。通过该公式，EfficientFormerV2能够综合考虑模型准确率、延迟和参数量等多种因素，从而更准确地评估模型在移动设备上的整体性能。

在结构设计方面，EfficientFormerV2采用深度可分离卷积取代传统的平均池化层作为token混合器。该方法不仅避免了额外的延迟开销，还提升了模型性能。此外，EfficientFormerV2将局部信息注入MHSA机制，并通过全连接层实现注意力头之间的通信（Talking Head），从而进一步增强模型的表示能力。为解决高分辨率特征输入带来的计算负担，EfficientFormerV2提出将查询、键和值下采样到固定分辨率，再插值回原始分辨率。这使得注意力机制得以应用，而不会显著增加延迟。

尽管EfficientFormer系列模型在移动推理速度与模型准确率之间取得了显著平衡，但其设计仍面临若干固有局限。首先，该系列严重依赖特定硬件平台的延迟建模和架构搜索，使其"高效性"难以推广到未覆盖的边缘设备或异构计算环境。其次，为避免MHSA在高分辨率特征图上带来的计算开销，模型仅在较深阶段引入注意力机制，前端则严重依赖局部池化或卷积操作。虽然这提升了推理效率，但削弱了早期全局上下文建模能力，可能会影响对细粒度结构或长程依赖敏感的任务表现。EfficientFormer系列模型在ImageNet数据集上的实验结果列于表13。

表13. EfficientFormer系列模型在ImageNet数据集上的实验结果
| 模型 | 参数量(M) | MACs(G) | Top-1准确率(%) | 推理延迟(ms) |
|---|---|---|---|---|
| EfficientFormer-L1 | 12.3 | 1.3 | 79.2 | 1.6(NPU)，11.5(CPU)，6.2(A100) |
| EfficientFormer-L3 | 31.3 | 3.9 | 82.4 | 3.0(NPU)，28.2(CPU)，13.9(A100) |
| EfficientFormer-L7 | 82.1 | 10.2 | 83.3 | 7.0(NPU)，67.7(CPU)，30.7(A100) |
| EfficientFormerV2_S0 | 3.5 | 0.4 | 75.7 | 0.9(iPhone 12)，20.8(Pixel 6)，6.6(A100) |
| EfficientFormerV2_S1 | 6.1 | 0.65 | 79.0 | 1.1(iPhone 12)，33.3(Pixel 6)，8.8(A100) |
| EfficientFormerV2_S2 | 12.6 | 1.25 | 81.6 | 1.6(iPhone 12)，57.2(Pixel 6)，14.5(A100) |
| EfficientFormerV2_L2 | 6.1 | 2.56 | 83.3 | 2.7(iPhone 12)，117.7(Pixel 6)，22.5(A100) |

EfficientFormer-LX表示不同配置的模型，其中L代表Large，X表示不同的模型配置。EfficientFormerV2-YZ表示具有不同规模和配置的模型，其中Y表示模型规模，Z表示不同配置。

### 4.5 SwiftFormer

SwiftFormer [74] 的整体架构包括Patch嵌入层、四个不同尺度的阶段以及高效加性注意力模块。在模型处理过程中，每个阶段首先使用卷积编码器块提取空间特征，随后通过SwiftFormer编码器块学习局部-全局信息。如图17所示，这是SwiftFormer的核心模块。

图17. SwiftFormer的核心模块，上方为卷积编码器，下方为SwiftFormer编码器

在核心模块结构中，有效卷积编码器使用3×3深度可分离卷积，随后是批归一化（BN）、两个逐点卷积和GeLU激活函数。该设计使网络在不增加参数量或延迟的情况下保持信息流并提升性能。SwiftFormer编码器初始块由3×3深度可分离卷积和逐点卷积组成，使模块能够学习空间信息并编码局部表示。随后是高效加性注意力模块，旨在在每个输入尺度上学习上下文信息。最后，输出的特征图被送入线性块以生成非线性特征。

高效加性注意力机制是SwiftFormer的主要创新设计。该机制提出了一种计算自注意力的新方法，通过消除昂贵的矩阵乘法操作来显著降低模型的计算复杂度。具体而言，它将查询矩阵$Q$与可学习参数向量相乘来学习查询矩阵的注意力权重，得到全局注意力查询向量。然后，查询矩阵基于这些学习的注意力权重进行池化，产生单一的全局查询向量$q$。接下来，全局查询向量$q$与键矩阵$K$进行逐元素相乘以形成全局上下文。这种方法避免了复杂的矩阵乘法操作，转而使用更简单的逐元素运算，从而显著加快推理速度。与传统乘法运算不同，高效加性注意力利用可学习注意力权重进行逐元素运算来建模查询与键之间的交互，使模型能够在所有阶段一致地学习局部-全局表示。

SwiftFormer完全摒弃了传统自注意力中的键-值交互，改用线性层替代，这削弱了其建模复杂长程依赖的能力。其次，与其他混合架构相比，尽管SwiftFormer避免了昂贵的矩阵乘法，但也牺牲了注意力机制的表达灵活性。SwiftFormer在ImageNet数据集上的实验结果列于表14。

表14. SwiftFormer在ImageNet数据集上的实验结果，其中SwiftFormer-X表示不同规模的不同模型变体，推理工具为A100 GPU
| 模型 | 参数量(M) | MACs(G) | Top-1准确率(%) | 推理延迟(ms) |
|---|---|---|---|---|
| SwiftFormer-XS | 3.5 | 0.6 | 75.7 | 0.7 |
| SwiftFormer-S | 6.1 | 1.0 | 78.5 | 0.8 |
| SwiftFormer-L1 | 12.1 | 1.6 | 80.9 | 1.1 |
| SwiftFormer-L3 | 28.5 | 4.0 | 83.0 | 1.9 |

### 4.6 CF-ViT

CF-ViT [9] 基于两个重要观察设计：第一，粗粒度图像块切分可以定位输入图像的信息区域；第二，大多数图像可以通过使用短token序列的ViT模型良好地识别。CF-ViT以两阶段方式执行网络推理。在粗推理阶段，将输入图像切分为短图像块序列以进行计算经济性的分类。如果未被良好识别，则定位信息丰富的图像块并以更精细的粒度重新切分。

在粗推理阶段，输入图像被切分为较短的图像块序列进行分类。如果初始识别不理想，则通过全局类别注意力识别信息最丰富的区域，并将其重新切分为更精细的图像块。为确保精细处理过程中保留原始信息的重要部分，CF-ViT设计了特征复用模块。

该模块通过多层感知器（MLP）层处理粗推理阶段的输出token序列，从而实现灵活的变换。这些变换后的token随后被复制四份以模拟上采样过程，对应于细粒度patch的token被选取作为最终输出，构成细推理阶段的输入。CF-ViT的创新之处在于其两阶段推理过程，包括粗推理和细推理，实现了高效计算。此外，通过使用全局类别注意力来评估每个patch的重要性，并仅对显著贡献于分类的区域执行细粒度分割，避免了不必要的整幅图像精细处理，节省了计算资源。特征复用机制确保了即使在精细处理过程中，原始信息的重要部分也能得以保留，增强了模型的表达能力。

然而，以CF-ViT为代表的动态粗到细推理架构虽然能够显著减少FLOPs并提高吞吐量，但严重依赖分类置信度和类别注意力机制，在没有全局类别token的情况下难以推广到密集预测任务。此外，这些方法通常会在推理路径中引入不确定性，导致延迟波动，不利于具有严格实时要求的嵌入式系统。CF-ViT的实验结果列于表15。

表15. CF-ViT在ImageNet数据集上的实验结果

| 模型 | FLOPs (G) | Top-1 Acc. (%) |
|------|-----------|----------------|
| CF-ViT_DeiT-S_0.5 | 1.8 | 79.8 |
| CF-ViT_DeiT-S_0.75 | 2.6 | 80.7 |
| CF-ViT_DeiT-S_1.0 | 4.0 | 80.8 |
| CF-ViT_LV-VIT-S_0.63 | 3.1 | 83.3 |
| CF-ViT_LV-VIT-S_0.75 | 4.0 | 83.5 |
| CF-ViT_LV-VIT-S_1.0 | 6.1 | 83.6 |

在CF-ViT_X-S_Y中，X表示所使用的基线模型，Y表示模型缩放大小。

**4.7 模型讨论**

通过研究几种基于Transformer结构的经典轻量级模型，本文总结了以下发现：

首先，如图18中轻量级Transformer模型的发展谱系所示，大多数轻量级Transformer模型并不纯粹依赖Transformer架构，而是与卷积结构相结合。这种混合设计是因为卷积结构可以有效捕获局部特征，而Transformer结构擅长处理全局信息。例如，Mobile-Former [10]整合了MobileNet和Transformer的优势，通过并行设计和双向桥接实现了局部与全局特征的有效融合。这些轻量级Transformer模型的设计方法表明，"卷积+Transformer"组合的进一步探索和优化将是未来轻量级模型研究的重要方向。

图18. 轻量级Transformer模型的发展谱系。实线箭头表示继承和发展。

其次，如图18所示，与轻量级卷积模型的体系化发展相比，轻量级Transformer模型的设计缺乏明确且普遍遵循的范式。大多数轻量级Transformer模型是由研究人员根据特定任务需求定制的。这表明轻量级Transformer的设计更多依赖于特定应用场景的需求和研究人员自主创新，而非固定模式。

最后，如表16列出的实验结果所示，不同轻量级Transformer模型之间性能差异显著。PoolFormer-M36具有82.1%的较高Top-1准确率和相对较大的9.0G MACs计算复杂度。相比之下，Mobile-Former-26M虽然准确率较低（64.0%），但其计算复杂度仅为26M MAdds，参数量仅为3.2MB，使其适合资源极其有限的设备。MobileViT-S和MobileViTv2-1.0在准确率和计算复杂度之间取得了良好平衡，Top-1准确率分别为78.4%和78.1%，计算复杂度分别为2.0G FLOPs和1.8G FLOPs。两个模型在V100 GPU上的推理延迟均为3.4ms，非常适合移动设备或边缘计算环境。EfficientFormer-L1在NPU、CPU和A100上的推理延迟分别为1.6ms、11.5ms和6.2ms，Top-1准确率为79.2%，计算复杂度为1.3G MACs。其在不同硬件平台上相对平衡的性能，特别是在NPU上1.6ms的低延迟，使其成为高性能计算场景的理想选择。相比之下，EfficientFormerV2_S0在iPhone 12、Pixel 6和A100上的推理延迟分别为0.9ms、20.8ms和6.6ms，Top-1准确率为75.7%，计算复杂度为0.4G MACs，尽管准确率略低，但仍适合对延迟要求极其严格的移动应用。SwiftFormer-L1在A100上的推理延迟为1.1ms，Top-1准确率为80.9%，计算复杂度为1.6G MACs。这使其能够在保持高准确率的同时提供非常快的推理速度，特别适合需要快速响应的应用场景。

表16. 经典Transformer模型性能对比

| 模型 | 参数量(M) | 计算复杂度 | Top-1 Acc. (%) | 推理延迟(ms) |
|------|-----------|-----------|----------------|-------------|
| PoolFormer-M36 [103] | 56 | 9.0G MACs | 82.1 | - |
| Mobile-Former-26M [10] | 3.2 | 26M MAdds | 64.0 | - |
| MobileViT-S [57] | 5.6 | 2.0G FLOPs | 78.4 | 3.4 (V100) |
| MobileViTv2-1.0 [58] | 4.9 | 1.8G FLOPs | 78.1 | 3.4 (V100) |
| EfficientFormer-L1 [48] | 12.3 | 1.3G MACs | 79.2 | 1.6 (NPU) 和 6.2 (A100) |
| EfficientFormerV2_S0 [46] | 3.5 | 0.4G MACs | 75.7 | 0.9 (iPhone 12) 和 6.6 (A100) |
| SwiftFormer-L1 [74] | 12.1 | 1.6G MACs | 80.9 | 1.1 (A100) |
| CF-ViT_DeiT-S_1.0 [9] | - | 4.0G FLOPs | 80.8 | - |
| CF-ViT_LV-VIT-S_1.0 [9] | - | 6.1G FLOPs | 83.6 | - |

表中所列模型均为未进行扩展或压缩的版本。在PoolFormer-M36中，M36表示使用36个基本模块的中规模版本。在Mobile-Former-26M中，26M表示计算复杂度为26M MAdds的版本。在MobileViT-S中，S表示小版本。在EfficientFormer-L1和SwiftFormer-L1中，L1表示第一个大版本。在EfficientFormerV2_S0中，S0表示小版本0。在CF-ViT_DeiT-S_1.0和CF-ViT_LV-VIT-S_1.0中，DeiT-S_1.0和LV-VIT-S_1.0表示分别以DeiT-S和LV-VIT为基线模型的未扩展版本。

此外，在轻量级Transformer模型的设计过程中，NAS技术[98]发挥了重要作用。它可以在满足特定硬件资源约束的同时，自动化搜索最优模型架构，从而最大化模型性能。例如，在设计EfficientFormerV2时，NAS技术的使用帮助研究人员找到了"卷积+Transformer"的最佳组合。它自动调整了网络深度、宽度以及注意力机制的具体形式，使模型能够高效处理局部和全局信息，同时适应不同的计算资源限制。因此，通过NAS技术，可以在资源约束下优化模型设计，弥补手动设计难以达到的性能极限。这促进了更高效轻量级Transformer模型版本的发展，为各种应用场景提供了更强的支持，也为设计更高效、更灵活的Transformer模型提供了新的可能性。因此，NAS技术不仅是未来轻量级模型研究的重要工具，还在推进轻量级Transformer模型的发展中发挥着关键作用。

综上所述，轻量级Transformer模型展示了多种有效的优化策略和技术路径。它们在显著降低计算复杂度和存储需求的同时，在实际应用中展现出优异的性能。尽管尚未建立此类模型设计的统一范式，但对其性能的深入分析可以为未来研究提供重要指导。未来探索可以继续聚焦于如何更好地结合卷积和Transformer的优势，开发更高效、更灵活的轻量级模型，以满足不断增长的应用需求。

**5 讨论**

**5.1 比较与分析**

**5.1.1 实验结果比较**

图19展示了各代表性轻量级模型在原论文中报告的最佳实验结果，旨在反映各模型在其作者建立的理想训练和评估条件下所达到的准确率-参数量权衡。需要强调的是，图中的数据仅代表各工作在其特定实验配置下可实现的性能上限，而非统一基准下的横向对比。在此前提下，某些基于Transformer的轻量级模型在中等参数量规模下实现了较高的准确率，这可能归因于其自注意力机制在全局上下文建模方面的能力；而经典卷积模型则通常通过深度可分离卷积和通道混洗等设计实现更低的参数量。尽管如此，此类观察受限于各研究之间实验设置的差异，不应直接外推至其他数据集或部署环境。

图19. 经典轻量级卷积模型与经典轻量级Transformer模型的性能比较。图中绘制的模型均为未进行扩展或压缩的版本。方块代表卷积结构模型，圆形代表Transformer结构模型，每种颜色代表一系列模型。由于ShuffleNet和CF-ViT在论文中未指明参数量，这些模型未在图中绘制。

因此，为了更客观地评估这些模型的实际部署潜力，我们在统一的硬件平台——即NVIDIA RTX 4090 GPU上，对三个典型视觉任务进行了端到端测试，包括图像分类（输入尺寸为1×3×224×224，输出1000个类别）、目标检测（使用单阶段检测策略，输入尺寸为1×3×640×640，输出80个类别的置信度分数和4个边界框坐标）以及语义分割（输入尺寸为1×3×512×512，输出尺寸为21×512×512，其中21表示类别数），并测量其FLOPs和推理延迟。同时，为提供参考，我们还纳入了ResNet、ViT和Swin Transformer（SwinT）作为非轻量级基线。如表17所示，参数量相近的模型在实际运行时效率方面可能存在显著差异：MobileNet系列和ShuffleNetV2系列不仅计算开销极低，而且推理延迟短，表现出优秀的硬件友好性；而PoolFormer、EfficientNetV2和SwiftFormer虽然在准确率方面表现突出，但伴随着沉重的计算负担和较长的延迟，难以满足智能手机等典型移动边缘设备的实时性和能效约束，更适合部署在计算资源更丰富的边缘服务器上。此外，G-GhostNet凭借其硬件感知设计理念，在保持低计算复杂度的同时实现了毫秒级延迟，进一步印证了网络架构与目标硬件协同优化的重要性。这些实测指标为开发者在准确率、效率和资源约束之间的系统级权衡提供了可量化的依据。

表17. 本文讨论的经典轻量级模型和三个基线模型在图像分类、目标检测和语义分割任务上FLOPs和推理延迟的实验结果比较

| 模型 | 图像分类 FLOPs(G) | 图像分类 推理(ms) | 目标检测 FLOPs(G) | 目标检测 推理(ms) | 语义分割 FLOPs(G) | 语义分割 推理(ms) |
|------|-------------------|-------------------|-------------------|-------------------|-------------------|-------------------|
| ResNet-50 [42] | 4.1 | 9.5 | 73.4 | 13.2 | 122.1 | 31.2 |
| ResNet-101 [42] | 7.8 | 13.6 | 96.4 | 24.0 | 741.6 | 316.68 |
| SqueezeNet_8bit [35] | 0.36 | 4.5 | 9.3 | 4.2 | 32.0 | 31.2 |
| 1.0_SqueezeNext_23 [22] | 3.2 | 25.3 | 92.6 | 45.8 | 417.3 | 06.17 |
| ShiftNet-A [97] | 0.68 | 3.5 | 55.8 | 23.3 | 43.9 | 83.1 |
| MobileNet_1 [33] | 0.59 | 3.5 | 65.1 | 55.9 | 63.5 | 53.9 |
| MobileNetV2_1 [69] | 0.30 | 10.9 | 72.8 | 21.8 | 32.0 | 69.2 |
| MobileNetV3_Large_1 [32] | 0.22 | 11.3 | 42.0 | 81.8 | 20.1 | 59.1 |
| MobileNetV4_Conv_M [65] | 0.85 | 8.9 | 87.1 | 01.4 | 75.4 | 80.9 |
| EfficientNet-B0 [79] | 0.39 | 21.8 | 03.5 | 11.7 | 192.5 | 00.1 |
| EfficientNetV2-M [80] | 5.36 | 57.3 | 04.4 | 07.3 | 709.2 | 86.0 |
| RepViT-M1.0 [90] | 1.14 | 14.6 | 59.6 | 21.4 | 56.4 | 14.1 |
| GhostNet_1 [27] | 0.15 | 11.9 | 41.5 | 81.9 | 051.2 | 72.2 |
| GhostNetV2_1.0 [82] | 0.19 | 21.2 | 61.8 | 52.4 | 321.4 | 42.6 |
| G-GhostNet_w/_mix [28] | 0.10 | 5.7 | 31.1 | 35.1 | 30.9 | 84.6 |
| ShuffleNet_1(g=8) [107] | 1.19 | 9.3 | 310.1 | 11.6 | 26.7 | 28.9 |
| ShuffleNetV2_1 [56] | 0.15 | 7.7 | 91.5 | 97.8 | 51.2 | 77.5 |
| ViT-Base [16] | 16.86 | 11.7 | 613.8 | 43.3 | 688.3 | 51.8 |
| ViT-Large [16] | 59.69 | 22.6 | 548.6 | 47.9 | 122.3 | 53.5 |
| SwinT-Small [52] | 8.53 | 25.3 | 172.1 | 42.9 | 034.8 | 92.5 |
| SwinT-Base [52] | 15.16 | 35.4 | 212.7 | 89.3 | 807.8 | 59.3 |
| PoolFormer-M36 [103] | 8.76 | 16.1 | 271.8 | 53.2 | 346.2 | 49.6 |
| Mobile-Former-26M [10] | 0.49 | 8.8 | 26.8 | 19.9 | 83.8 | 48.4 |
| MobileViT-S [57] | 1.42 | 11.1 | 611.7 | 31.2 | 097.7 | 61.1 |
| EfficientFormer-L1 [48] | 5.09 | 6.6 | 642.6 | 97.6 | 827.1 | 17.2 |
| EfficientFormerV2_S0 [46] | 0.44 | 10.7 | 44.4 | 41.1 | 092.9 | 31.1 |
| SwiftFormer-L1 [74] | 5.28 | 15.1 | 647.4 | 17.3 | 233.0 | 01.4 |
| CF-ViT_LV-VIT-S_1.0 [9] | 2.85 | 5.7 | 324.3 | 41.1 | 981.5 | 68.0 |

推理延迟是在20张图像的预热测试后，对10张图像进行正式测试所得到的均值。

**5.1.2 模型性能分析**

在轻量级卷积架构的发展过程中，我们可以观察到一个体系化的趋势，大多数模型通过改进卷积结构实现轻量化。例如，MobileNet系列引入了深度可分离卷积、线性瓶颈和倒置残差，在保持高精度和效率的同时显著降低了计算复杂度和参数量。MobileNet的设计理念不仅深刻影响了后续轻量级模型，还被EfficientNet、RepViT和GhostNet等多个系列借鉴和发展，以进一步优化模型性能。例如，GhostNet用低成本操作替换了大量逐点卷积，而ShuffleNet则增加了通道混洗机制以增强信息交换。从实际应用角度来看，各种轻量级模型在准确率、计算复杂度和权重方面存在显著差异，因此根据具体应用场景选择合适的模型至关重要。从部署角度来看，不同架构在准确率、硬件兼容性和内存使用方面表现差异显著，决定了它们最适合的应用生态系统。ShuffleNet和GhostNet系列模型凭借其极低的内存使用和延迟，在ARM架构智能手机[56]和异构边缘设备[82]上相较于类似模型展现出卓越的部署效率。SqueezeNet系列模型虽然FLOPs较高，但凭借其极低的参数量和全卷积结构，可以完全存储在片上存储器中，特别适合无外部存储支持的嵌入式系统（如FPGA或微控制器）[40]，能够在早期低功耗IoT设备中实现高效部署。相比之下，MobileNetV1/V2/V3在ARM移动平台和EdgeTPU上表现出优异的硬件亲和力[75]，成为移动视觉和嵌入式机器人感知领域工业部署的主流模型。ShiftNet通过几乎无参数的空间移位操作显著降低了内存使用和模型分发大小，适合对绝对准确率容忍度较高的任务，如人脸验证或终端图像分类[97]。

然而，一些较新的模型，如MobileNetV4和RepViT，尽管在精度上有所提升，但已超出边缘设备典型的内存约束，更适合部署在内存带宽强大的中高端边缘服务器或专门优化的iOS/Android设备上[73]。EfficientNet系列凭借其复合缩放策略，在中高端边缘设备上实现了精度与效率的良好平衡，并已广泛集成到官方的TensorFlow和PyTorch库中，服务于移动端视觉搜索和云端视觉API[8]。尽管有这些创新，当前轻量级模型的设计仍然主要依赖于深度卷积和逐点卷积的不同组合，尚未突破这一基本框架。未来的研究需要探索更多样化的卷积结构或全新的结构范式。

在Transformer架构方面，对经典Transformer结构的若干轻量级模型研究表明，大多数轻量级Transformer模型并非单纯依赖纯Transformer结构，而是结合卷积结构以同时捕获局部和全局特征。例如，Mobile-Former的设计就证明了这种组合的有效性。与轻量级卷积模型的体系化发展不同，Transformer的轻量级设计更多基于具体任务需求和研究者的创新，缺乏统一的范式。这些模型的实验结果也显示，不同轻量级Transformer在精度、计算复杂度和推理延迟方面存在显著差异，使其适用于从资源受限设备到高性能计算场景的多样化需求。值得注意的是，不同的轻量级策略在实际部署中呈现出显著的权衡关系。MobileViT因其简洁的结构，在资源严格受限且任务固定的嵌入式视觉系统中表现优异（如简单分类或纹理检测）[6]，但其缺乏动态特征交互能力，难以应对复杂场景理解任务。与此同时，基于自适应计算的CF-ViT架构由于其动态推理路径对硬件调度提出了更高要求，更适合部署在延迟抖动容忍度较高、以分类为主要任务的服务器端高吞吐量场景中，例如大规模图像检索的预筛选[9]，而非资源受限或对延迟确定性要求高的边缘实时系统。同样，Mobile-Former通过极小的token空间实现高效的全局建模，在25–500M FLOPs范围内实现了精度与效率的独特平衡，特别适合对延迟和能耗高度敏感的平台，如智能手机、无人机或AR眼镜[10]。然而，尽管PoolFormer和SwiftFormer在ImageNet精度上领先，其极高的FLOPs和延迟已远超边缘设备的实用阈值，仅适用于高性能边缘节点或作为离线模型使用[81]。EfficientFormer系列通过避免传统ViT中频繁的张量重塑和非标准算子，在Core ML/TensorRT上实现了良好的部署效率[48]，成为移动端ViT的折中选择。总体而言，尽管轻量级Transformer的设计尚未形成固定模式，但其多样化的优化策略和技术路径不仅显著降低了计算和存储需求，而且在实际应用中表现出色，为未来研究提供了重要指导。

## 5.2 未来展望

未来研究可以从以下几个方面继续推动轻量级DNN的发展：

首先，进一步探索卷积+Transformer结构的框架设计将是一个重要的研究方向。鉴于卷积结构擅长捕获局部特征，而Transformer结构能够更好地处理全局信息，未来的轻量级模型设计可以更多地关注两者的有机结合。

其次，轻量级架构设计可以与模型压缩技术形成闭环协同。目前，架构设计与后训练压缩往往被分开处理，而实际上两者在目标上高度一致，可以在过程中深度整合。未来的工作可以探索在模型构建的早期阶段就考虑模型对量化鲁棒性、结构稀疏性或蒸馏兼容性的支持，从而实现端到端的高效优化。

同时，通用设计范式的建立、针对特定硬件的定制优化以及自动化NAS工具的开发将继续为这一领域提供动力。只有通过跨学科协作——整合系统、算法、硬件和应用需求——才能真正推动轻量级模型从"实验室效率"走向"现实可用性"。

最后，轻量级模型在隐私敏感和分布式学习场景中的作用日益凸显。在联邦学习或边缘协作学习的框架下，设备端模型需要在有限的通信带宽、异构数据分布和严格的隐私约束下高效运行。轻量级架构不仅能够降低本地计算和通信成本，还可以结合差分隐私和安全聚合等机制，构建兼顾效率与隐私的边缘智能系统。

## 5.3 本研究的局限性

最后，尽管本文系统地回顾并实证评估了当前主流的轻量级卷积和Transformer架构，但仍有几点局限性需要说明：

— 首先，受篇幅和综述重点的限制，本文并未穷尽所有已发表的轻量级模型；而是基于模型影响力、架构代表性及开源可复现性等标准，有选择性地纳入了某些经典或具有范式代表性的作品。因此，某些尚未获得广泛共识的新兴轻量级方法可能未被涵盖。

— 其次，图19中呈现的精度-参数关系源自各模型原始论文中报告的最佳实验结果。尽管此类跨论文比较不可避免地引入了实验设置的差异，但其价值在于对比各模型在其作者构建的理想条件下所能达到的理论性能上限。然而，必须强调，由此得出的任何相对优劣结论都高度依赖于原始实验环境，不应直接推广到统一基准或其他部署场景。

— 第三，本文进行的统一硬件基准测试基于NVIDIA RTX 4090 GPU平台。尽管这能有效反映模型在通用计算环境中的FLOPs和推理延迟趋势，但该平台的计算特性与典型的边缘设备存在显著差异。因此，实验结果可以为模型的计算复杂度和运行时效率提供相对排序参考，但不能直接外推到真实移动或嵌入式场景中的能耗、内存访问效率或硬件加速兼容性。

— 第四，为便于公平的跨模型比较，本文在统一输入张量维度下进行了端到端测试。然而，某些原始模型代码对输入形状存在硬编码约束；为此，我们对相关张量形状处理逻辑进行了必要且最小化的自适应修改，而未改变其核心架构设计意图。尽管此类调整是必要的并最大程度保留了原始设计意图，但仍可能对非标准输入下的原始优化效果产生轻微影响，从而在评估结果中引入潜在偏差。

## 6 结论

本文专注于仅架构层面的轻量级设计范式，分别系统地调研了轻量级CNN和Transformer模型的设计原理、演化轨迹及性能特征。在统一硬件基准下进行了多任务对比评估，以区分这两类轻量级模型的设计理念和适用边界。我们的核心结论总结如下：(1) 在卷积架构中，主流模型已建立起完整的演化框架，其核心优化策略依赖于深度可分离卷积的变体重构与组合优化。此类模型提供了出色的硬件适应性和低推理延迟，但本质上受限于全局特征建模能力较弱。(2) 在Transformer架构领域，大量设计已解决了原生ViT高计算开销的缺陷，形成了卷积-Transformer混合融合的主导设计趋势。即便如此，部分混合模型的硬件通用性和实时推理效率仍需要进一步改进。(3) 从整体实用性能来看，轻量级卷积模型更适合需要低算力、低延迟和高操作稳定性的嵌入式边缘部署场景。相比之下，轻量级卷积-Transformer混合架构在预测精度优先且计算资源相对充足的边缘服务场景中表现更佳。

未来，以"卷积+Transformer"架构为中心的设计范式、架构设计与模型压缩的协同优化，以及硬件感知的轻量级设计将成为轻量级DNN架构的发展方向，能够持续推动边缘智能技术的民主化和高性能迭代。