深度学习模型压缩方法综述(二)
版权声明:本文为博主原创文章,遵循版权协议,转载请附上原文出处链接和本声明。 版权声明:本文为博主原创文章,遵循版权协议,转载请附上原文出处链接和本声明。
版权声明:本文为博主原创文章,遵循版权协议,转载请附上原文出处链接和本声明。
前言
上一章,将基于核的稀疏化方法的模型压缩方法进行了介绍,提出了几篇值得大家去学习的论文,本章,将继续对深度学习模型压缩方法进行介绍,主要介绍的方向为基于模型裁剪的方法,由于本人主要研究的为这个方向,故本次推荐的论文数量较多,但都是非常值得一读的。
基于模型裁剪的方法
对以训练好的模型进行裁剪的方法,是目前模型压缩中使用最多的方法,通常是寻找一种有效的评判手段,来判断参数的重要性,将不重要的connection或者filter进行裁剪来减少模型的冗余。同样也分为regular和irregular的方式。 这类方法最多,下面列举几篇典型的方案。