Neuron-RCES：通过神经元级别关键性评估与稀疏自适应弥合鲁棒性-效率差距

《Pattern Recognition》：Neuron-RCES: Bridging robustness-efficiency gap via neuron-level criticality evaluation and sparse adaptation

　　

• •
  设计了一种细粒度度量指标，以精确定位特定的鲁棒性瓶颈。
• •
  我们开发了一个统一的框架 Neuron-RCES。
• •
  我们的方法实现了极致的参数效率。

引言

深度神经网络（DNNs）的快速发展已经重塑了计算机视觉和自然语言处理领域[1]。随着预训练模型规模的不断扩大，传统的完整参数微调对于大多数下游应用来说已经计算上不可行[2]。因此，参数高效微调（PEFT）已成为主导范式[3]，它仅通过更新一小部分参数来适配大模型。代表性的工作包括仅更新偏置[4]、低秩适配器[5]、[6]，以及其他将任务适配与全参数重新训练解耦的轻量级模块[7]、[8]、[9]。尽管这些策略在干净数据上非常成功[10]，但它们在安全关键场景中的可靠性仍令人担忧，尤其是它们对对抗攻击的脆弱性以及适配后鲁棒性的下降[11]、[12]、[13]。

对抗鲁棒性是部署DNN于自动驾驶和医疗诊断等高风险领域的前提[14]，而近期的评估研究表明，模型可靠性应从攻击时的韧性和损坏鲁棒性两方面联合评判，而不仅仅依赖于干净准确率[15]。一个自然的途径是从对抗预训练的骨干网络进行适配，但关于鲁棒迁移的研究表明，简单的下游适配可能会严重侵蚀从该骨干网络继承的鲁棒性[16]、[17]。这些发现定义了一个鲁棒性-效率差距：虽然PEFT降低了计算成本，但它往往无法在适配过程中保留鲁棒预训练模型的防御特性。

这一局限性的一个主要原因是，大多数PEFT策略仍然是粗粒度的，在模块、提示词或层级别进行操作，而不是在单个神经元级别[11]、[18]。先前关于稀疏和鲁棒性感知的适配研究表明，对抗脆弱性很少在各单元间均匀分布，因此更新整个块可能会扰动承载模型鲁棒性的单元，同时不必要地扰动已经稳定的表示[19]、[20]、[21]。此外，现有方法的选择标准通常由干净数据目标或启发式规则驱动[13]。

为弥合这一差距，我们提出了神经元级鲁棒关键性评估与选择（Neuron-level Robust Criticality Evaluation and Selection, Neuron-RCES），其基于这样的假设：神经元对鲁棒性的贡献是不均等的，并且其中一小部分神经元控制着模型对对抗扰动的敏感性。我们通过神经元级鲁棒关键性（NRC）来实现这一假设，它对每个神经元测量该神经元的对抗损失梯度幅度，在对抗样本上取平均并按神经元的权重尺度进行归一化。该归一化将同一层内的神经元置于共同的基准上，并消除了梯度幅度对参数大小的平凡依赖。它将NRC与梯度乘权重的形式的重要性与显著性分数区分开来：后者偏爱高幅度的参数，而NRC则除以权重尺度，因此选择反映的是每单位权重的鲁棒敏感性，而非原始参数大小。因此，我们将高NRC解读为鲁棒损失对某个神经元高度敏感的证据，将其标记为鲁棒性关键的，将低NRC解读为某个神经元鲁棒性冗余的证据。Neuron-RCES冻结关键神经元以保留继承的鲁棒性，并仅适配每层预算内最不关键的少量神经元。由于NRC幅度在不同宽度和深度的层之间不可比，选择在每层内以固定的$k$个神经元预算进行，而非通过单一全局阈值。

NRC仅从对抗分类损失的梯度中估计，因此它赋予的关键性可归因于鲁棒任务，而非任何辅助目标。此外，我们还考察了一种可选的表示对齐变体，其中监督对比目标在归因之前组织对抗嵌入[22]、[23]；该变体被排除在主方法之外，仅作为归因信号的控制。

本工作的主要贡献总结如下：

• •
  我们引入了神经元级鲁棒关键性（NRC），这是一种细粒度诊断工具，量化每个神经元的按权重尺度归一化的对抗损失梯度幅度，并定位骨干网络鲁棒性所依赖的小部分神经元。
• •
  基于这一诊断工具，我们开发了Neuron-RCES，一个将对对抗鲁棒归因与稀疏神经元级适配相结合的框架。通过冻结鲁棒性关键的神经元并仅更新每层预算内最不关键的少量神经元，它仅适配了ResNet-18约0.5%的参数。
• •
  我们在CIFAR-10、CIFAR-100和Tiny-ImageNet上进行了广泛实验，表明Neuron-RCES仅更新极少部分参数，即可相比近期的PEFT方法提升对抗鲁棒性。

章节摘要

相关工作

鲁棒模型适配的目标是在下游微调过程中维持或增强模型对对抗扰动的防御能力。该领域的研究可以归纳为四个相关方向：对抗鲁棒性与训练、参数高效微调、梯度敏感性与稀疏适配、以及神经元级鲁棒关键性。

对抗鲁棒性与训练。早期防御主要依赖对抗训练（AT）来提升韧性。PGD

所提方法：Neuron-RCES

所提出的Neuron-RCES框架在单个神经元的粒度上诊断鲁棒骨干网络依赖哪些单元来维持其对抗韧性，然后在严格的参数预算下仅稀疏适配其余单元。与以往在层级块（如低秩或适配器模块）上操作的PEFT方法，或将某一层视为同质单元的方法不同，Neuron-RCES执行细粒度的逐神经元鲁棒性归因：对每个神经元测量其梯度

实验设置

本节描述了所有后续结果所基于的实验设计，涵盖基准与评估指标、骨干网络及其威胁模型，以及所有比较方法共用的实现与评估协议。

结果与分析

在实验设计就位后，我们首先确立Neuron-RCES的有效性，将其与完整参数适配和参数高效适配在干净准确率、损坏鲁棒性和对抗鲁棒性上进行比较，并验证其表现可跨架构推广。随后我们探究其有效性的原因，通过选择方向、评分信号、归一化、比较范围和每层预算的受控研究来隔离NRC准则，

结论

本工作解决了参数高效微调中的鲁棒性-效率差距问题，即现有PEFT方法无法保留鲁棒预训练骨干网络的对抗韧性。我们将这一失效归因于粗粒度的适配粒度，并提出了Neuron-RCES，一个基于神经元级鲁棒关键性的框架，它通过按自身权重尺度归一化的对抗损失梯度幅度为每个神经元打分。通过冻结高NRC的鲁棒性关键神经元和

CRediT作者贡献声明

Jionghua Li：写作-审阅与编辑，写作-初稿，可视化，验证，项目管理，方法论，调查，资金获取，形式化分析，数据整理，概念构思。Kaile Huang：验证。Dihan Zheng：概念构思。Feng Lin：概念构思。Huan Yang：概念构思。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系，这些可能会影响本文报告的工作。

Jionghua Li|Kaile Huang|Dihan Zheng|Feng Lin|Huan Yang