神经网络架构搜索中的双重轻量化：基于自适应模型复杂度的渐进式多任务学习（Dual Lightweighting in Neural Architecture Search: Progressive Multi-Task Learning with Adaptive Model Complexity）

《Algorithms》：Dual Lightweighting in Neural Architecture Search: Progressive Multi-Task Learning with Adaptive Model Complexity

　　

摘要：神经架构搜索（Neural Architecture Search, NAS）是自动机器学习（AutoML）中的核心技术，但其面临计算成本高及候选架构评估效率低的问题。传统NAS方法需对每个候选架构进行完整训练，导致资源消耗巨大且评估耗时较长。本文提出一种四阶段渐进式多任务学习框架，实现从暴力搜索向性能预测的转变。通过从简单合成数据到复杂真实数据的渐进训练，该框架可高效预测架构性能。主要贡献包括：统一的渐进式预测器范式；具备双重轻量化（dual lightweighting）的部署感知多任务预测机制；以及基于NATS-Bench重构与渐进知识蒸馏的基准感知数据与迁移框架。研究人员在15,000个NATS-Bench架构上采用固定训练–验证–测试划分（8:1:1）及一致超参数开展实验，结果显示基于皮尔逊相关系数（Pearson correlation）换算的预测得分达95.56%（Pearson r=0.9556，R2=0.9134），训练效率提升32倍（37.87 s ± 2.1 s vs. 1247.6 s），且在五组随机种子下收敛稳定性达95.7%。通过包括直接第3阶段对照实验在内的消融研究量化了各组件贡献，并与随机森林、XGBoost及多层感知机（Multilayer Perceptron, MLP）在相同数据划分与特征空间下进行了基准对比。

论文解读：神经网络架构搜索中的双重轻量化——基于自适应模型复杂度的渐进式多任务学习

一、研究背景与动机

神经架构搜索（Neural Architecture Search, NAS）已成为自动化神经网络设计的核心方法，但从早期基于强化学习的方法到可微NAS（Differentiable NAS），仍面临根本挑战：为评估候选架构需对其进行完整训练，导致计算负担沉重，限制了其在工业资源受限场景下的应用。此外，现有方法多将架构评估视为单目标优化或采用初等多目标框架，未能充分捕捉准确率、计算效率、内存占用和推理延迟等性能指标间的复杂关联。当前基于代理模型（surrogate model）的性能预测方法多使用静态统一复杂度模型，忽略架构搜索空间中固有的复杂度梯度，且多任务场景下任务间依赖关系未被充分利用。针对传统NAS存在的计算低效、多任务整合不足及缺乏系统性从简到繁的渐进学习机制三大缺陷，研究人员开展了此项研究，提出四阶段渐进式多任务学习框架，发表于《Algorithms》期刊。

二、主要关键技术方法

研究人员以NATS-Bench基准数据集（含15,000个架构样本，按8:1:1固定划分为训练集12,000、验证集1,500、测试集1,500，随机种子42）为实验对象。关键技术包括：（1）四阶段渐进训练策略（Stage 1基础组件模拟3维特征合成数据→Stage 2组件组合建模6维特征→Stage 3整体架构评估9维真实NATS-Bench数据→Stage 4部署适配优化引入设备约束）；（2）双重轻量化（Dual Lightweighting）策略——建立目标架构复杂度C_arch与预测器模型复杂度C_pred的对齐函数C_pred=α·C_arch+β，使预测器容量随目标架构复杂度自适应匹配；（3）NATS-Bench优化——对零值性能目标进行架构驱动重构（基于训练集非零样本最小二乘拟合系数，不泄露验证/测试信息），并将特征空间扩展至9维（结构复杂度3维+计算效率3维+适应性3维）并进行最小–最大归一化；（4）多任务协同学习框架——共享编码器（两层全连接[输入维,64,32]含批归一化、ReLU、0.1丢弃）+三个任务特定头（性能、复杂度、适应性各[32,16,1]）+动态权重控制器（基于不确定性的多任务损失加权）+任务相关性建模模块；（5）渐进知识蒸馏——教师（大容量多任务预测器）向学生（轻量预测器）传递软化对数及可选特征对齐。

三、研究结果

5.1 实验设置（Experimental Setup）

研究人员使用NATS-Bench数据集，固定划分，相同特征预处理（9维扩展特征min-max归一化，统计量仅来自训练集），共享编码器隐藏层维度[输入维,64,32]，任务头[32,16,1]，动态权重控制器[32,3]接Softmax。Adam优化器初始学习率0.001每30轮衰减0.5，批次64，不确定性加权多任务损失，早停监测验证集相关性（耐心20轮），5个随机种子（42–46），NVIDIA RTX 3090 GPU实验环境。

5.2 消融研究（Ablation Study）

通过控制变量移除各组件发现：去除NATS-Bench优化（目标重构+特征扩展）相关性降至0.687（降幅25.3%），说明高质量基准数据预处理至关重要；去除多任务协同学习退化为三个独立单任务预测器相关性降至0.695（降幅24.5%）且训练时间增加；Direct Stage-3-Only（跳过Stage 1–2直接在9维NATS-Bench上训练）相关性0.754（降幅18.0%），证实渐进课程学习提供低阶组件先验促进最终阶段学习；去除知识蒸馏相关性由0.920降至0.832（降幅9.6%）；过度简化网络结构相关性最低至0.623（降幅32.3%）。组件重要性排序为NATS-Bench集成＞多任务学习＞渐进训练课程。

5.3 阶段演进分析（Progressive Stage Evolution Analysis）

四阶段参数量与相关性依次为：Stage 1（3维合成数据，1.2 K参数，训练12.3 s，相关性0.363）→Stage 2（6维组合数据，4.8 K参数，15.7 s，相关性0.512）→Stage 3（9维NATS-Bench真实数据，12.5 K参数，22.1 s，相关性0.920，较Stage 2提升79.7%）→Stage 4（9维+设备约束，8.7 K参数，18.9 s，相关性0.651，反映跨异构硬件部署预测难度）。渐进特征空间扩展与模型容量增长有效缓解维度挑战并实现性能跃升。

5.4 综合性能评估（Comprehensive Performance Evaluation）

与随机森林、XGBoost、支持向量回归（Support Vector Regression, SVR）、多层感知机（MLP）及传统NAS（完整CIFAR-10训练50轮）对比：所提方法Pearson相关预测得分95.56%（r=0.9556，R2=0.9134），较次优XGBoost（88.9%）高6.66个百分点；训练时间37.87 s，较传统NAS（1247.6 s）快32.9倍，也显著快于其他代理预测器；内存占用0.8 GB（较传统NAS节省81%，较基线代理模型节省53%–71%）；收敛稳定性指数（1?std(验证集相关性跨种子)/均值）达95.7%（较基线高19.6个百分点）；推理速度快、参数少。任务级分析显示性能任务相关性0.9997、复杂度任务0.9994（受目标重构影响），适应性任务相关性0.7607（更能反映部署行为预测难度）。五种子下主要指标95%置信区间：预测得分[94.72%,96.40%]，训练时间[35.26 s,40.48 s]，稳定性[93.9%,97.5%]。

四、讨论与结论翻译

讨论指出框架增益源于渐进课程迁移与多任务耦合的互补而非单一模块；适用于有限训练预算下需反复评估架构的场景；局限性在于主要在NATS-Bench验证（虽输入为通用归一化架构特征向量不依赖特定基准，但跨基准泛化需进一步验证NAS-Bench-101等）、零值目标重构可能简化部分预测任务（已通过消融分离）、部署适配阶段用设备约束特征而非真实硬件测量（适应性任务相关性较低提示此方向需强化）。

结论：本文提出一种面向NAS的四阶段渐进式多任务学习框架，解决基于预测器的NAS中计算成本与评估效率约束。三大贡献为：（1）从低维合成组件到9维真实架构预测的渐进式预测器范式；（2）结合共享表示、任务特定头和基于不确定性的动态加权的部署感知多任务机制；（3）融合NATS-Bench目标清洗与渐进知识蒸馏的基准感知数据与迁移流程。在所述设定下，方法取得95.56%基于相关系数的预测得分，较传统NAS完整训练快32倍，同时保持优良内存与推理开销。局限为当前以NATS-Bench为中心验证、重构代理标签可能简化预测问题、部署适配由设备约束特征评估而非直接硬件测量，后续将在多基准测试、更强硬件接地评估及跨域泛化方向拓展验证。