对更高精度卷积神经网络（Convolutional Neural Networks, CNN）的需求，导致模型日益加深且计算代价日益高昂。这些架构在实际部署时面临限制性的部署与资源约束。静态 CNN 模型以相同计算密度处理所有输入样本。鉴于真实世界数据的变异性，这些模型效率低下。动态推理（dynamic inference）方案通过按输入样本生成计算图（computational graph）来应对该挑战。这使得效率–精度权衡（efficiency–accuracy trade-off）能够得到显著优化。本综述对 CNN 中的动态推理方案进行结构化综合，将其分布于三个架构维度：深度（depth）、宽度（width）与空间分辨率（spatial resolution）。针对每个方面，研究人员介绍代表性模型及其训练策略，并考察其实际约束与性能权衡。研究人员进一步介绍基于组合这些方面以实现累积效率增益的多维混合架构（multi-dimensional hybrid architectures）。通过批判性分析每种方法及其挑战——包括硬件限制、训练不稳定性与受限的部署范围——本文为优化深度学习建模（deep learning modelling）的未来工作提供路线图。
1. Introduction
论文指出卷积神经网络（Convolutional Neural Networks, CNN）在图像分类、目标检测和语义分割中表现突出，但高精度伴随高计算、内存带宽和推理延迟，限制其在移动计算、物联网（Internet of Things, IoT）和自主系统中的部署。静态压缩生成固定小网络，对所有输入同样计算；动态推理按输入生成计算图，沿深度、宽度、空间分辨率三轴组织，并关注多维混合与硬件效率差距。文献收集非系统综述，以相关性为主。
2. Background and Preliminaries
2.1. Static Versus Dynamic Inference
静态推理计算图固定，对所有输入执行全部卷积、激活和全连接层，即“one-size-fits-all”；动态推理在运行时按输入调整计算负载，选择所需操作并保持精度。
2.2. Accuracy–Efficiency Trade-Off
目标为优化效率–精度曲线，使不同输入运行在曲线不同点。评价含浮点运算次数（FLOPs）、乘加运算（multiply–accumulate operations, MAC）、推理延迟、Top-1/Top-5 或平均精度均值（mean Average Precision, mAP）、能耗。给定 x ∈ ?
H×W×C，策略 p(x) 选择路径 C
p(x)，需最小化 Cost(C
p(x)) 且性能不低于 f
static(x)?ε；该式未显式包含路由、内存和硬件开销。三维度非互斥，DDI 表明多轴组合增益更大。
2.3. Design Aspects of Dynamic Inference
动态深度按输入调整层数，包括早退出（early exiting）和层跳过（layer skipping）；动态宽度选择性激活滤波器或通道，如 LC-Net 与动态卷积（dynamic convolution）；动态空间分辨率针对空间冗余，包括输入分辨率缩放和空间稀疏计算。
2.4. Training Challenges and Respective Solutions
路由决策离散不可微。方法有强化学习（Reinforcement Learning, RL）、Gumbel–Softmax、混合学习和多退出训练中的梯度均衡与知识蒸馏（knowledge distillation）。RL 高方差、样本效率低；Gumbel–Softmax 可微且稳定；混合策略复杂但结合政策质量与监督热启动。
3. Dynamic Depth Inference
3.1. Early Exiting
在中间层加辅助分类器，置信度超阈值则提前返回，适合 anytime prediction。BranchyNet 在 AlexNet 和 LeNet 上实现，MNIST 上超 75% 输入第二分支退出并减少一半以上计算；MSDNet 以多尺度架构服务预算分类和 anytime 预测。训练难点为梯度冲突，可用梯度均衡和知识蒸馏。
3.2. Adaptive Layer Bypassing and Routing
允许非顺序路由，每块独立决定执行或跳过。BlockDrop 用 RL 决定 ResNet 残差块执行或丢弃，ImageNet 上平均加速 20%、最高 36%，保持 76.4% top-1。SkipNet 用循环神经网络（Recurrent Neural Network, RNN）门控决定是否执行下一层，混合监督与 RL，减少 30% 至 90% 计算。ConvNet-AIG 构建输入相关计算图，学习类别相关路径，比 ResNet 少 20%/33% 计算且精度更高。DynaLay 让每层估计自身效用决定是否执行。
3.3. Comparative Analysis of Dynamic Depth Methods
早退出简单、易集成、适合 anytime，但顺序结构可能冗余；自适应跳过与路由控制更细、效率更高，但训练需 RL 或混合学习，路由开销需被跳过节省抵消。
4. Dynamic Width Inference
4.1. Dynamic Width Concept
宽度为输出滤波器数量，决定表示能力与计算量。动态宽度是通道或内核级自适应。滤波器门控调节活动宽度，动态卷积以输入相关注意力调权而不改变活动通道数。简单输入只需少量滤波器，静态网络却计算全部。
4.2. Dynamic Width Inference Architectural Strategies
4.2.1. Filter and Channel Gating
LC-Net 由 L-Net 与轻量 C-Net 组成，C-Net 生成二值掩码决定激活哪些滤波器；CIFAR-10 上 FLOPs 降低达 11.9 倍，ImageNet 上 1.4 倍。Runtime Neural Pruning 在推理时剪枝，训练常用 Gumbel–Softmax。
4.2.2. Dynamic Convolutions
用 N 个并行滤波器和注意力权重生成输入相关卷积，输出为加权和，提升表示能力而不改变结构维度，FLOPs 约同单核层，仅增注意力开销；可提升 MobileNet 精度，且支持标准反向传播。
4.2.3. Alternative Techniques
MetaPruning 等神经架构搜索（Neural Architecture Search, NAS）方法训练 PruningNet 并为候选剪枝结构搜索，但部署时静态；Slimmable ConvNeXt 将动态宽度扩展到 ConvNeXt。
4.3. Comparative Critical Analysis
滤波器门控提供通道级稀疏，动态卷积以可微注意力调权更稳定。核心挑战是 FLOPs 降低与实际延迟不符：每输入通道掩码造成不规则内存访问，GPU 难并行；GPU 延迟不随 FLOPs 线性变化，深度卷积可能受内存带宽限制。动态宽度与深度互补，DDI 与 OFA 显示多轴复合增益。
5. Dynamic Spatial Resolution
5.1. Spatial Adaptivity Framework
图像信息空间分布不均，语义核心局部集中。目标是将计算聚焦信息区域，灵感来自中央凹高分辨率与周边低分辨率。动机包括高分辨率简单物体冗余和卷积特征图激活稀疏。
5.2. Architectural Design Approaches
5.2.1. Input Resolution Scaling Strategies
在早期决定全网络分辨率，降低分辨率可二次减少 FLOPs。RANet 从粗到细，简单样本低分辨率退出，复杂样本进入高分辨率，ImageNet 上平均减少 40% 计算并保持 top-1。AR-Net 扩展到视频，动态决定每帧分辨率。
5.2.2. Sparsity and Adaptive Computation
在中间层特定区域计算。空间门控决定每个区域执行重卷积或绕过，用于姿态估计；随机特征采样与插值在选定区域采样并插值未采样位置，优化分类与分割 FLOPs；SACT 在空间位置引入停止分数，形成按区域的动态深度。
5.3. Comparative Analysis
输入缩放为网络级粗决策，实现简单通用；稀疏与空间自适应更细，但需处理不规则内存访问，标准硬件难加速。RANet 路由开销轻；门控机制开销高，需大量绕过平衡。
5.4. Training Obstacles and Recommendations
挑战与动态宽度类似，核心为不可微决策。RANet 用多退出监督损失，Gumbel–Softmax 提供可微采样，SACT 用辅助损失鼓励早停。空间分辨率方法可实现 30% 至 50% 计算减少，稀疏方法在预定义任务上可达 1.5 至 2 倍实际加速。
6. Multi-Dimensional Hybrid Dynamic Methods
6.1. Collaborative Requirements of Multi-Dimensional Dynamism
三维度非互斥。仅动态深度仍执行所有通道，仅动态宽度仍传播所有层，仅空间分辨率仍均匀深度与宽度。组合可复合节省，但增益取决于模型、任务和部署环境，额外复杂度可能抵消理论增益。
6.2. Architectural Solutions for Hybridization
DDI 结合深度与宽度，学习层策略和通道策略并联合协调。OFA 训练一次大 supernet，部署时按资源提取子网络，但不按输入自适应，是边界案例。GFNet 先低分辨率查看，再用 RL 聚焦小高分辨率块，联合优化分辨率与深度，MobileNet-V3 上约减少 20% 实测延迟。DS-Net 预测每输入瘦身比例并切片连续滤波器，保持密集子网络，采用两阶段解耦训练。Boosted Dynamic Networks 以提升式序列预测器结合集成学习与早退出式计算。
6.3. Challenges of Training and Orchestration
策略互连与冲突、离散决策不可微、损失平衡困难、门控与路由成本复合。DS-Net 解耦训练更稳定但耗时，DDI 联合训练更快但对损失权重敏感。策略包括渐进硬化、解耦路径搜索与权重训练、一次性或 RL 架构搜索、延迟感知优化。
7. Open Challenges and Future Directions
挑战包括理论 FLOPs 与实测延迟差距、不规则计算模式、训练不稳定、应用范围窄和鲁棒性不足。未来需软硬件协同设计、结构化稀疏、将硬件延迟纳入损失、面向神经处理单元（Neural Processing Unit, NPU）和边缘 AI；发展可微 NAS 与协调目标；扩展至 NLP、Transformer、RL、视频、医学影像等；研究对抗鲁棒性和最坏情况保证；建立标准软件包、动态图编译器和全局基准，评估功耗、吞吐量和延迟。
8. Conclusions
动态推理的关键不仅是减少理论计算，而是使自适应计算在真实硬件上产生可测效率。FLOPs 减少不必然带来延迟成比例改善，路由开销、内存访问和硬件利用率影响显著。更强自适应伴随更高优化复杂性；多维方法可复合增益但交互更强。未来需平衡计算节省、精度、训练稳定性和硬件效率，并推动架构、训练、编译器和硬件协同设计。
