《Neurocomputing》：Feature survival under weight pruning: Sparse autoencoder diagnostics for compressed language models
编辑推荐：
语言模型的高效部署常依赖于权重剪枝，但压缩通常通过困惑度或任务准确率来评判。这些聚合指标并未揭示剪枝是否保留了可解释性分析所依赖的内部特征结构。研究人员将剪枝视为一种表示层面的变换，使用稀疏自编码器（Sparse Autoencoders，SAEs）作为几何特
语言模型的高效部署常依赖于权重剪枝，但压缩通常通过困惑度或任务准确率来评判。这些聚合指标并未揭示剪枝是否保留了可解释性分析所依赖的内部特征结构。研究人员将剪枝视为一种表示层面的变换，使用稀疏自编码器（Sparse Autoencoders，SAEs）作为几何特征探针：研究人员的贡献并非提出新的SAE架构，而是对SAE字典进行压缩感知的诊断性应用，旨在探究密集模型的特征方向在剪枝后是否仍保持几何可恢复性。在Gemma 3 1B、Gemma 2 2B和Llama 3.2 1B上，研究人员比较了从0%到60%稀疏度下的幅度剪枝和Wanda剪枝，并通过进一步的压缩系列（Wanda 2:4、一个MLP通道试点以及int8/int4量化）的探索性探针扩展了研究，评估了特征匹配、迁移性、触发率脆弱性和局部消融，并全程报告了统计不确定性。三个结果尤为突出。首先，低触发率的SAE特征在剪枝下表现出比高触发率特征更高的几何存活性，使得触发率成为剪枝前有用的脆弱性指标。其次，在相同稀疏度下，Wanda比幅度剪枝更好地保留了SAE特征几何结构，且一个消除SAE重训练变异性的固定字典控制实验重现了相同的排序。第三，几何存活性并不能预测局部功能效应：在控制触发率且无重建误差的单特征消融下，存活性和消融敏感性是分离的。所有声称均为关联性。这些发现表明，压缩不仅应通过输出级性能来评估，还应通过特征级保存来评估，并且基于SAE的诊断工具为监控剪枝下的可解释性提供了一种实用方法。
**论文解读：权重剪枝下的特征存活性——基于稀疏自编码器的压缩语言模型诊断研究**
**研究背景与问题**
大型语言模型（Large Language Models, LLMs）在部署时面临内存、延迟和硬件约束。权重剪枝（weight pruning）是减少模型规模的常用方法，通过移除部分网络权重实现压缩。然而，现有评估主要依赖输出级指标（如困惑度perplexity或下游任务准确率），这些聚合指标无法回答一个关键问题：剪枝后的模型是否保留了密集模型内部的表示结构？这一问题对可解释性研究至关重要，因为可解释性工具（如基于稀疏自编码器的特征分析）通常依赖密集模型中的特征方向。若剪枝改变了特征字典，则密集模型上开发的可解释性工件可能在压缩模型上失效。目前，剪枝与可解释性的交叉研究尚不充分，缺乏系统性评估剪枝如何改变稀疏自编码器（Sparse Autoencoders, SAEs）特征字典的工作。因此，本研究旨在将剪枝视为表示层面的变换，利用SAE作为几何特征探针，诊断剪枝对特征级结构的影响。
**主要技术方法**
研究人员采用TopK稀疏自编码器（TopK Sparse Autoencoders, TopK SAEs）对残差流（residual stream）激活进行训练，利用余弦相似度（cosine similarity）和互最近邻（Mutual Nearest Neighbor, MNN）匹配率评估特征字典的几何存活性。引入固定字典控制（fixed-dictionary control），即使用预先训练好的密集模型SAE（官方Gemma Scope字典）直接应用于剪枝模型激活，以消除SAE重训练变异性的混淆。通过局部消融协议（local ablation protocol），在无重建误差条件下移除单个特征，测量最终token输出分布的KL散度（KL divergence），以评估几何存活与功能效应的关联。样本来自FineWeb-Edu数据集（300K校准令牌和1.5M训练令牌）。
**研究结果**
**RQ1: 种子稳定性（Seed Stability）**
通过对同一模型不同随机种子训练的SAE字典进行MNN匹配，发现MNN率仅在1.1%至3.9%之间（余弦阈值0.9），表明SAE字典在个体特征层面不可唯一识别。但密集-剪枝对的匹配率远高于此基线，说明剪枝效应可在群体层面被测量。
**RQ2: 特征存活性（Feature Survival）**
MNN匹配显示，Wanda剪枝在相同稀疏度下显著优于幅度剪枝（magnitude pruning）。例如，在Gemma 3 1B上，30%稀疏度时Wanda的MNN率为0.669，而幅度剪枝为0.521；在Gemma 2 2B上，差异更为显著（0.794 vs 0.213）。存活率随稀疏度增加单调下降，但Wanda下降更平缓。
**RQ3: 预训练SAE的迁移性（Transferability of Pre-trained SAEs）**
使用官方密集训练的Gemma SAE，发现Wanda剪枝后的激活重建误差（Fraction of Variance Unexplained, FVU）更接近密集基线，而幅度剪枝的FVU显著升高。例如，Gemma 2在30%稀疏度下，Wanda的FVU为0.283，幅度剪枝为0.369。固定字典控制进一步证实，Wanda下的支持Jaccard重叠（support Jaccard overlap）更高。
**RQ4: 特征脆弱性与触发率（Feature Fragility by Firing Rate）**
按触发率（firing rate，即特征在评估语料上的激活频率）将特征分为五等分（Q1最低，Q5最高），发现低触发率特征的几何存活性始终高于高触发率特征。脆弱性效应（fragility effect，即Q1与Q5存活率之差）在所有模型和剪枝方法中均为正值，例如Gemma 3在30% Wanda下为0.509。触发率可作为剪枝前风险诊断指标。
**RQ5: 局部消融效应（Local Ablation Effects）**
在控制触发率且无重建误差的单特征消融实验中，几何存活与局部功能效应（KL散度）无显著关联，部分Spearman相关系数在零附近且符号不一致。这表明几何存活不应被等同于功能重要性。
**讨论与结论**
讨论部分指出，跨模型（Gemma和Llama家族）的一致模式表明：低触发率特征存活率更高、Wanda优于幅度剪枝、几何存活不预测局部功能效应。这些发现通过三种协议（重训练SAE匹配、固定字典控制、种子稳定性基线）的三角验证得以确认。研究结论强调，压缩应同时评估输出级性能和特征级保存，基于SAE的诊断工具为监控剪枝下的可解释性提供了实用手段。此外，触发率可作为剪枝前预警信号，而Wanda等激活感知剪枝方法更有利于保持特征几何结构。研究人员指出，所有声称均为关联性，而非因果机制。
