通过概率潜在空间来解释深度神经网络的压缩机制

《ACM Transactions on Probabilistic Machine Learning》：Towards Explaining Deep Neural Network Compression Through a Probabilistic Latent Space

本文提出基于概率潜在空间和信息论测度的DNN压缩理论框架，定义AP2/AP3概念并证明其与网络性能的关联性，通过分析训练过程和实验验证，揭示了网络稀疏性优化机制。

　　

摘要

尽管深度神经网络（DNN）表现出色，但其计算复杂性和存储空间消耗问题促使人们提出了网络压缩的概念。虽然针对DNN的压缩技术（如剪枝和低秩分解）已经得到了广泛研究，但对其理论解释的关注仍然不足。在本文中，我们提出了一个新颖的理论框架，该框架利用DNN权重的概率潜在空间，并通过信息论散度度量来解释最优网络稀疏性。我们引入了新的“类似投影模式”（AP2）和“概率类似投影模式”（AP3）概念，并证明了网络中各层的AP3/AP2属性与其性能之间存在关联。此外，我们还提供了理论分析，以解释压缩网络的训练过程。这些理论结果通过在实际标准预训练模型（包括AlexNet、ResNet50、VGG16和ViT）上的实验得到了验证，实验数据集使用了CIFAR10、CIFAR100和Tiny-ImageNet。通过实验，我们揭示了AP3和AP2属性与剪枝后DNN的微调效果及稀疏程度之间的关系。我们的代码托管在以下链接：https://github.com/Sekeh-Lab/Explaining-Neural-Network-Compression。