《Electronics》：Interaction-Aware Structured Pruning for Click-Through Rate Prediction Models with Data-Adaptive Noise Gating
编辑推荐：
实时竞价（RTB）系统中的点击率（CTR）预测模型必须在严格延迟预算（模型推理约20 ms）下保持准确。Deep & Cross Network V2（DCN V2）等显式交互架构将大型嵌入表与随输入维度二次增长的交叉层开销结合。研究人员提出交互感知结构化剪枝
实时竞价（RTB）系统中的点击率（CTR）预测模型必须在严格延迟预算（模型推理约20 ms）下保持准确。Deep & Cross Network V2（DCN V2）等显式交互架构将大型嵌入表与随输入维度二次增长的交叉层开销结合。研究人员提出交互感知结构化剪枝（IASP），通过将受Taylor启发的重要性评分（幅值与梯度）与每个维度在交叉网络中的参与度结合来对嵌入维度评分；数据自适应门控的阈值??为交互得分的百分位数，将协同增益限制于具有强交叉层参与度的维度。在Avazu和Criteo数据集上，IASP在DCN和DCN V2最高99%嵌入稀疏度下保持或提升ROC曲线下面积（AUC），并在共享剪枝流程中于90–95%稀疏度下优于基于幅值和梯度的准则。物理移除排名最低的维度（每个字段保留一个维度）使内存占用降低约16×，当每请求对200个候选排序时，DCN V2取得最高6.6×的单线程CPU加速比，而单候选请求的加速比仅为边际水平。
实时竞价（RTB）场景中，点击率（CTR）预测需在OpenRTB全周期100 ms内完成，扣除网络传输与特征抽取后，服务等级协议（SLA）留给模型纯推理的时间不足20 ms。Deep & Cross Network V2（DCN V2）等显式交互模型以矩阵式交叉层建模高阶交互，交叉层计算随拼接输入嵌入维度d呈O(d
2)增长；同时高基数ID特征使超过99%的参数集中于嵌入表，形成“内存墙”，长尾特征冗余导致内存低效并可能过拟合。现有非结构化剪枝产生不规则稀疏，普通CPU难获实际加速；面向卷积网络的结构化剪枝不直接适配CTR；AutoDim、PEP等嵌入压缩方法引入架构搜索或阈值学习，部署重训不便且部分方法不改变张量形状；低秩分解和量化多不缩减交叉层输入维度。为此，研究人员提出IASP，并在共享剪枝流程内比较重要性评分，考察DCN与DCN V2在极端稀疏下的精度、正则化、字段存活和CPU部署表现，意义在于兼顾显式交互保留与SLA合规加速。
关键技术方法概括：研究人员在Avazu（超过4000万样本、23个类别字段）和Criteo（超过4500万样本、39个字段，含13个数值与26个类别字段）上按8:1:1划分，使用DCN与DCN V2。IASP从嵌入层和交叉网络提取权重与梯度，以全局min–max归一化的幅值-梯度加性基线评分，叠加交叉层权重与梯度的L
2范数结构协同，并以交互得分p百分位作为数据自适应门控阈值；通过子采样分位数生成掩码，按指数衰减稀疏计划迭代剪枝和权重回卷；用Optuna框架的树结构Parzen估计器（TPE）调参；在单线程CPU测量推理延迟。
4.1 实验设置：研究人员在两个工业标准CTR基准Avazu和Criteo上，将IASP应用于DCN和DCN V2，在90–99%极端稀疏条件下与基于幅值、基于梯度的准则比较，以AUC和LogLoss评价；主结果采用随机种子42，并针对DCN V2在Avazu的95%稀疏度补充种子43和44；稠密基线取最佳验证检查点，剪枝模型遵循固定迭代剪枝与回卷协议；由于研究旨在共享流程内比较评分准则，未将依赖自身搜索或阈值学习流程的AutoDim、PEP及低秩、量化框架作为实验基线。由此得出，该设置用于隔离重要性评分准则而非比较不同压缩流程。
4.2 性能与稳定性分析：在90%和95%稀疏度下，IASP在四种架构—数据集设置中的AUC均高于幅值和梯度准则，DCN V2在Avazu上差距最大，99%稀疏度下保持可比；该运行中，传统准则在DCN V2/Avazu的90–95%稀疏度下接近或低于稠密基线，而IASP在各稀疏度均高于稠密基线；Criteo上所有准则均超过稠密基线，IASP相对较优传统准则的AUC优势较小。三个随机种子上，IASP在每个种子均超过稠密基线并取得最高AUC和最低LogLoss，种子间标准差最小；配对检验显示其改善具有统计显著性，但三种子统计功效有限。
4.3 正则化效应：在所有四种设置和所有稀疏水平下，IASP的测试LogLoss均低于稠密基线；幅值和梯度准则在多数设置降低损失，但在DCN V2/Avazu的90–95%稀疏度下超过稠密基线，仅99%时低于稠密基线。三个种子下，IASP的LogLoss在每个种子均低于稠密基线，而其他两种准则在三个种子中有两个超过稠密基线。该结果与移除长尾嵌入容量产生正则化效应相一致。
4.4 定性分析：特征存活：在99%剪枝掩码下分析存活参数组成，Avazu上基于幅值的剪枝将较大参数份额分配给device_id（该字段含2,686,408个唯一值，最频繁值占82.5%样本），IASP分配给device_id的份额较小、分配给device_ip和device_model的份额较大；Criteo上基于幅值的剪枝将预算集中于C12，IASP更均匀地分布于C03、C16、C24等顶部字段。该分析描述各准则的字段优先方式，本身不证明参数重分配导致AUC差异。
4.5 消融研究与组件分析：在DCN V2/Avazu/95%稀疏度下，各变体共享剪枝流程而仅改变评分函数。所有剪枝变体均较稠密基线改善AUC和LogLoss，变体间差异较小（AUC最多0.0007、LogLoss最多0.0008）。加性基线与Taylor准则表现相当（AUC 0.7536对0.7532；LogLoss 0.3806对0.3802）；在Taylor评分上加入协同与门控略增AUC至0.7535但LogLoss升至0.3808；在加性基线上仅加入协同而不门控使AUC降至0.7530，与门控动机一致；完整IASP取得最高AUC 0.7537和最低LogLoss 0.3800。单次运行差异与种子间标准差同量级，且小于同种子主运行与消融运行间完整IASP的AUC差0.0026，故不宜解释为某一形式严格优越；结果表明加性代理不降低相对Taylor的精度，主要增益已由基线评分获得，协同和门控提供较小增量；保留加性形式因其分数有界并显式可调幅值与梯度平衡，且不同设置下所选平衡不同。
5.1 理论复杂度与推理加速：DCN交叉层计算随d线性增长，结构化降维可获得线性加速；DCN V2涉及矩阵—向量乘法，计算随d
2增长，结构化降维可获得二次加速。部署时将90%、95%、99%目标稀疏度映射为每个字段保留16维中按IASP得分排序的top-4、top-2、top-1维，并物理移除交叉层矩阵对应行和列；Avazu输入维度降至46和23，Criteo降至65和39。批大小200、99%稀疏度下，Avazu稠密DCN V2延迟6.222 ms，均匀宽度IASP模型延迟1.002 ms，内存由578.95 MB降至36.24 MB（约16×）；DCN V2在Avazu和Criteo分别取得6.2×和6.6×加速，DCN为2.4–2.5×。仅掩码模型不降低延迟或内存，物理提取后才产生效率增益。
5.2 单请求延迟：批大小1、99%稀疏度下，经50次预热后按5组、每组1000次测量，各模型平均延迟为0.40–0.49 ms，P99延迟至多0.55 ms，远低于20 ms SLA；此时均匀宽度IASP相对稠密模型的加速仅0.99–1.13×，远低于批大小200时的2.4–6.6×。Avazu上稠密DCN与DCN V2平均延迟仅差0.010 ms（0.427对0.437 ms），而批大小200时差3.6 ms，说明单请求延迟主要由PyTorch框架开销和逐字段嵌入查找等不随嵌入宽度缩放的成本主导，而非交叉层矩阵运算。按批大小200结果，一核上IASP的DCN V2/Avazu约可每秒评分199,600个候选，稠密模型约32,100个。
5.3 缓存效率与吞吐：99%稀疏度下，IASP的DCN V2模型将内存从Avazu的578.95 MB降至36.24 MB、从Criteo的2063.41 MB降至129.01 MB。Avazu模型仍超过所测处理器24.75 MB的L3缓存，但已接近服务器级CPU的L3缓存量级，可提高频繁访问嵌入行的命中率并减少DRAM流量；Criteo的预期收益主要在于降低内存流量。研究未直接测量缓存未命中率，DRAM流量下降与批级延迟降低相一致；更小内存占用也允许同一服务器节点并发服务更多模型副本，从而提高单节点可持续每秒查询数（QPS）。
讨论与局限：IASP通过物理移除嵌入维度而非仅掩码权重，将均匀宽度模型内存降低约16×，使模型尺寸更接近CPU缓存尺度并预期减少内存流量；其DCN V2在每请求200候选排序时取得6.2–6.6×单线程CPU加速，而单候选请求仅边际加速。这表明重型CTR模型可在标准CPU服务器上以更高吞吐和更低成本服务。局限包括：重要性评分依赖一阶近似并忽略二阶曲率；多随机种子结果仅覆盖DCN V2/Avazu/95%稀疏度，其他配置包括消融因计算限制为单次运行；未将AutoDim、PEP等搜索型或阈值学习方法作为实验基线；预测精度在掩码模型上评估，而效率在对应均匀宽度模型、单台桌面级CPU、批大小1和200上测量。未来工作将扩展字段级自适应宽度、曲率感知重要性估计、基于注意力的交互架构（如DIN、AutoInt）、面向非平稳流数据的在线剪枝，并在统一协议下与学习阈值和搜索型方法比较。
研究结论翻译：研究人员提出IASP，一种专门应对RTB系统严格延迟约束（SLA 20 ms）和内存瓶颈的新型模型压缩框架。与传统不考虑特征交互的剪枝准则不同，IASP将受Taylor启发的重要性评分（权重幅值和梯度敏感性）与交叉层交互统计相结合，其数据自适应门控机制将协同增益限制于具有强交叉层参与度的维度。在Avazu和Criteo上的评估显示，IASP可达最高99%稀疏度并保持预测精度，与抵御过拟合的正则化效应一致。对于Avazu上的DCN V2在95%稀疏度，IASP相对幅值和梯度准则的优势在三个随机种子上一致，IASP在每个种子均取得最高AUC和最低LogLoss。对DCN V2（Avazu）的消融进一步表明，加性重要性评分与传统Taylor准则表现相当，带门控的完整框架在测试变体中获得最高AUC和最低LogLoss，尽管变体间差异较小。此外，通过物理移除嵌入维度而非仅掩码权重，均匀宽度IASP模型将内存占用降低约16×，使模型尺寸更接近CPU缓存尺度并预期减少内存流量。当每请求对200个候选排序时，其为DCN V2取得6.2–6.6×单线程CPU推理加速（DCN为2.4–2.5×），而单候选请求加速边际（0.99–1.13×）。这些结果表明重型CTR模型可在标准CPU服务器上以更高吞吐和更低成本服务。本研究有若干局限。第一，重要性评分依赖一阶近似并忽略二阶曲率。第二，多随机种子结果仅在DCN V2、Avazu、95%稀疏度报告；其他配置包括消融因计算限制为单次运行。第三，本研究在共享剪枝流程内比较重要性准则，未将AutoDim和PEP等搜索型或阈值学习方法作为实验基线。最后，预测精度在掩码模型上评估，而效率在对应均匀宽度模型、单台桌面级CPU、批大小1和200上测量。未来工作将把IASP扩展到字段级自适应宽度、曲率感知重要性估计、基于注意力的交互架构（如DIN、AutoInt）、面向非平稳流数据的在线剪枝，并在同时考虑精度和可部署推理成本的统一协议下比较IASP与学习阈值及搜索型方法（如PEP、AutoDim）。
