基于自适应拓扑训练的稀疏人工神经网络鲁棒性研究

《Scientific Reports》：Robustness in sparse artificial neural networks trained with adaptive topology

　　

摘要

我们研究了使用自适应拓扑训练的稀疏人工神经网络的鲁棒性。我们关注一种简单而有效的架构，该架构由三个稀疏度为99%的稀疏层后接一个密集层组成，应用于MNIST和Fashion MNIST等图像分类任务。通过在每个epoch之间更新稀疏层的拓扑，尽管权重数量显著减少，我们仍取得了具有竞争力的准确率。我们的主要贡献是对这些网络鲁棒性的详细分析，探索了它们在多种扰动下的性能，包括随机链接移除、对抗性攻击和链接权重重排。通过大量实验，我们证明了自适应拓扑不仅提高了效率，还保持了鲁棒性。这项工作突显了自适应稀疏网络作为开发高效可靠深度学习模型的有前景方向的潜力。