PolicyFRZ：基于策略网络的边缘环境深度神经网络训练加速自适应层冻结方法

《Intelligent and Converged Networks》：PolicyFRZ: Adaptive Layer Freezing via Policy Networks for Accelerating DNN Training in Edge Environments

　　

层冻结技术可以显著加速边缘环境中的深度神经网络（deep neural network，DNN）训练。现有冻结策略通常依赖启发式规则或中间模型状态（如激活值、梯度或损失值）来评估参数收敛性。然而，这些方法对训练波动往往表现出较差的鲁棒性，可能导致模型精度下降。本文提出PolicyFRZ，一种基于策略网络的动态层冻结算法，用于加速DNN训练。PolicyFRZ利用强化学习框架中的策略网络，在训练过程中动态确定有效的冻结策略。策略网络利用训练过程中收集的上下文信息进行训练，使其能够做出明智的决策并学习可泛化的冻结模式。此外，设计了一种两阶段训练方案，将学到的冻结模式迁移到不同模型和数据集。在计算机视觉（computer vision，CV）和自然语言处理（natural language processing，NLP）任务上的大量实验表明，PolicyFRZ在不牺牲精度的情况下加速了模型训练，并优于现有的层冻结方法。

一、研究背景与意义

随着数据规模和模型复杂度的持续增长，深度神经网络（deep neural network，DNN）的训练成本急剧上升。已有研究主要利用计算-通信重叠和调度技术提高并行性和流水线效率，但这些方法只能缩短训练时间，收敛所需的总计算量并未减少。在边缘服务器等资源受限环境中，GPU内存有限、互联带宽较低，维护完整梯度张量并进行频繁参数同步会显著拖慢训练，造成严重的资源瓶颈。因此，减少训练过程中的冗余计算与通信成为提升训练效率的关键。层冻结技术通过冻结已经收敛或接近收敛的层参数，使其不参与反向传播和参数更新，从而避免冗余计算、缓解过拟合，适合边缘场景。然而，现有冻结策略主要分为启发式策略和基于中间状态的策略：前者依赖经验规则，需要大量试错且难跨任务泛化；后者使用激活值、梯度或损失值等统计指标并依赖人工设定的阈值，且模型收敛本身具有非单调性，永久冻结可能阻碍参数达到最优值，导致精度下降。因此，需要一种自适应、鲁棒的动态层冻结方法。

二、研究内容与主要结论

研究人员提出PolicyFRZ，一种基于策略网络的自适应层冻结算法。该方法在强化学习框架下，由策略网络根据训练过程中收集的上下文信息动态决定冻结策略。策略网络通过奖励-惩罚函数学习可泛化的冻结模式，该函数在冻结深度带来的加速与预测正确性之间进行权衡。PolicyFRZ采用两阶段训练范式：准备阶段训练策略网络理解不同模型架构和数据集；训练阶段将所学冻结策略迁移到目标模型，实现高效训练。在计算机视觉（computer vision，CV）和自然语言处理（natural language processing，NLP）基准上的大量实验表明，PolicyFRZ在保持精度的前提下实现22%–30%的训练加速，优于现有层冻结方法。该研究的意义在于为边缘环境下的DNN训练提供了一种可跨模型、跨数据集迁移的智能层冻结框架，提升了训练效率和鲁棒性。

三、主要关键技术方法

PolicyFRZ的上下文信息提取利用梯度变化（gradient variation，GV）和梯度平均幅度（average magnitude，AM）刻画层的收敛状态，并按层聚合为GV_L和AM_L作为策略网络的状态输入。策略网络通过近端策略优化（proximal policy optimization，PPO）更新，动作空间为每层分配训练层（TL）、冻结层（FL）或带反向传播的冻结层（FLBP），奖励函数根据冻结深度平方和惩罚因子γ设计。两阶段训练中，准备阶段调整策略网络输入输出维度以适配目标模型层数，训练阶段在学习率衰减后先训练Δt轮以积累上下文。实验覆盖CV任务中的ResNet-50、VGG-16、MobileNet V2在ImageNet-1K、CIFAR-10、CIFAR-100数据集，以及NLP任务中的Transformer在WMT16 EN-DE、Multi30k、IWSLT2016 EN-DE数据集；硬件环境为配备NVIDIA RTX 2080 Ti的边缘服务器。

四、研究结果

（一）与基线方法的性能比较

在CV领域，PolicyFRZ在ResNet-50上平均加速28.8%，分别超过LayerOut和AutoFreeze约8.3%和11.0%，同时精度与全量训练几乎一致；在VGG-16上平均加速22.9%，精度不受影响；在MobileNet V2上平均加速22.0%。相比之下，LayerOut的随机冻结导致明显精度下降，AutoFreeze因计算梯度范数而引入额外开销，且深层长期未冻结，资源利用效率不高。在NLP领域，三个翻译数据集上的结果显示，PolicyFRZ相比LayerOut平均BLEU提高2.17、训练速度提高15.2%；相比AutoFreeze平均BLEU提高0.58、加速提高16.0%。Transformer模型得益于自适应冻结，平均加速27.7%，BLEU分数与全量训练基本持平。整体而言，PolicyFRZ在边缘环境中表现出较好的鲁棒性、泛化性和扩展性。

（二）超参数敏感性分析

研究人员在ResNet-50上使用CIFAR-10、CIFAR-100和ImageNet-1K数据集分析了惩罚因子γ和上下文提取步长Δt的影响。γ增大时，精度先升后降，加速比先升后降；CIFAR-10上γ≥10时达到全训练水平92.0%，CIFAR-100上γ≥9时达到基线76.2%且在γ=11时达到峰值，ImageNet-1K上γ≥6时达到基线75.9%。Δt过小会导致上下文信息不足、精度偏低，中等Δt可获得较高且稳定的精度，过大则会引入过时信息使精度略有下降。CIFAR-10在Δt∈[18,35]时精度高于91%，峰值92.2%；CIFAR-100在Δt∈[15,30]时接近76%，峰值76.3%；ImageNet-1K在Δt∈[20,30]时达到基线精度，峰值76.17%。这表明γ和Δt需要针对不同数据集仔细调节，以平衡加速与精度。

（三）梯度变化与平均幅度指标的有效性

为验证GV和AM作为训练动态指标的有效性，研究人员在ResNet-50和CIFAR-10上比较了全量训练与基于上下文信息冻结的训练，共运行160轮。上下文信息冻结的训练时间减少27.9%，精度为92.1%，与全量训练的92.0%几乎相同。这说明GV和AM能够有效提取上下文信息并指导层冻结，在不牺牲精度的情况下显著降低训练开销。

五、讨论与结论

综合实验结果看，PolicyFRZ通过强化学习利用训练中间状态信息，能够自适应识别稳定层并实施冻结，在训练效率和模型精度之间取得较好平衡，优于启发式策略和基于梯度范数的方法。论文结论可以概括为：PolicyFRZ是一种基于策略网络的自适应层冻结框架，通过训练过程中收集的上下文信息，策略网络能够自适应决定哪些层在何时被冻结，从而减少冗余计算并保持模型精度。两阶段训练方案使得学到的冻结策略能够泛化到不同模型架构和数据集。在CV和NLP基准上的综合实验表明，PolicyFRZ在不降低性能的前提下持续加速训练；与现有的启发式或基于中间状态的冻结方法相比，PolicyFRZ展现出更强的适应性、鲁棒性和可扩展性。