提出神经表达性（NEXP）：构建激活为中心的模型压缩新范式

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：Weight Importance Is Not Enough: Neural Expressiveness for Model Compression

　　

摘要：

神经网络剪枝已成为推动在训练和测试期间实现高吞吐量、低内存消耗和高能效解决方案的关键技术。我们提出了一种新的模型压缩标准——神经表达性（NEXP），该标准将关注点从权重的重要性转移到神经元或神经元组重新分配和保持信息流的能力上，这种能力通过激活重叠来量化。这一视角明确了基于 importance（权重中心）的剪枝和基于 expressiveness（激活中心）的剪枝之间的概念区别，为更广泛的基于激活的压缩策略提供了理论基础。我们为神经表达性提供了一个与模型无关的数学表述，可以将其集成到任何基于激活的剪枝框架中。分析表明，神经表达性捕捉到了与权重重要性互补的信息，揭示了这两种评估标准之间存在某种程度的正交性。此外，我们证明了神经表达性与网络的初始化密切相关，从而实现了一种与训练动态部分无关的无状态剪枝机制，直接回答了“何时进行剪枝”的问题。我们还展示了使用有限的随机数据也可以可靠地近似神经表达性，为数据无关的压缩方法铺平了道路。总体而言，本文提出的“神经表达性”概念扩展了高效深度学习中尚未充分探索的表示性概念，旨在建立一个新的范式，从传统的以权重为中心的重要性评估转向以激活为中心的模型压缩方法。