高效神经网络的参数与连接的学习

高效神经网络的参数与连接的学习(中文6000字,英文PDF)
摘要：神经网络的计算量和存储量都是比较大的，这使得在嵌入式设备上使用它们变得比较困难。而且，卷积神经网络在网络训练的开始阶段就已经固定了其网络结构，之后的训练并不会改善它的结构。为了解决这些问题，我们提出了一种可以大量减少神经网络的计算量和存储量的方法，这种方法的主要思想是只学习网络中比较重要的连接，而不学习非重要的连接，并且这种方法对最后的准确率并没有什么影响。我们的方法通过三个步骤来去除网络之中冗余的，不重要的连接。首先，我们训练网络，使其学习哪些连接是重要的，而哪些连接是不重要的。接下来，我们去除掉网络中这些不重要的连接。最后，我们保持剩余的网络连接不变，对其进行再训练，最终达到目的。在ImageNet数据集上，通过我们的方法，我们将AlexNet的连接数据量压缩了9倍，没有准确率的损失。另一个试验中，我们将VGG-16网络的数据量压缩了13倍，也没有准确率的损失。