早期退出深度神经网络训练策略的权衡优化：多架构跨域基准与混合方法突破

这篇综述首次系统比较了早期退出DNN（Deep Neural Networks）的六种训练策略（Joint/Separate/Branch-wise/Two-stage/Distillation-based/Hybrid），通过CIFAR-10/100、ImageNet-100和ChestX-ray14多数据集验证，结合ANOVA统计检验，揭示混合策略（如Pretrained-branch）在精度与效率的最佳平衡，为边缘计算（Edge-AI）和医疗影像（如X-ray）部署提供实践指南。

　　

亮点与结论

相关研究

早期退出DNN（Deep Neural Networks）自BranchyNet提出后快速发展，在资源受限场景（如移动边缘计算）中展现出显著效率优势。后续研究探索了图结构扩展和医疗影像等跨领域应用，但训练策略的系统性比较仍属空白。

早期退出DNN架构

传统DNN（如图1）采用单一出口设计，而早期退出架构（图2）通过插入中间分类器实现动态推理——简单样本早期退出，复杂样本继续深层计算，显著降低能耗。

训练策略对比

六类策略各具特点：联合训练（Joint）和蒸馏（Distillation-based）泛化性强但计算成本高；两阶段（Two-stage）和分支独立（Branch-wise）易在深层出口过拟合；混合策略（Hybrid）中的预训练分支（Pretrained-branch）实现精度与效率的帕累托最优。

实验结果

在CIFAR和ImageNet-100上，混合策略平均推理速度提升2.3倍（p<0.001），医疗数据集ChestX-ray14中保持98.2%的早期出口准确率。ANOVA检验证实不同策略间存在统计学显著差异（p<0.05）。

大规模跨域验证

ImageNet-100实验显示，混合策略训练时间较联合训练缩短37%，GPU内存占用降低29%；医疗影像任务中，蒸馏策略的AUC达到0.946，但混合策略能耗降低42%。

讨论

表8-9汇总显示，深度与数据复杂度显著影响策略选择：浅层模型适合分支独立训练，而深层架构需依赖知识蒸馏或混合优化。统计检验（Tukey’s HSD）证实混合策略在过拟合抑制方面具有优势（p<0.01）。

局限与展望

当前研究限于图像分类任务，未来需扩展至目标检测（如MS-COCO）和视频识别（Kinetics-400）。非卷积架构（如Vision Transformers）和多模态模型的早期退出训练将是重点方向。

结论

混合训练策略在四项基准测试中均展现出最优的准确率-效率权衡，其核心突破在于通过预训练主干网络（backbone）与分支微调（branch-wise fine-tuning）的协同，将深层过拟合风险降低19.8%，为边缘AI部署提供可靠范式。