如何用PyTorch实现深度学习模型的长尾剪枝操作？

本文共计3324个文字，预计阅读时间需要14分钟。

目录

一、剪枝分类

1.1 非结构化剪枝

1.2 结构化剪枝

1.3 本地与全局修剪

二、PyTorch的剪枝

2.1 PyTorch剪枝工作原理

2.2 局部剪枝

2.2.1 局部非结构化剪枝

2.2.2 局部结构化剪枝

目录

• 一，剪枝分类
• 1.1，非结构化剪枝
• 1.2，结构化剪枝
• 1.3，本地与全局修剪
• 二，PyTorch 的剪枝
• 2.1，pytorch 剪枝工作原理
• 2.2，局部剪枝
• 2.2.1，局部非结构化剪枝
• 2.2.2，局部结构化剪枝
• 2.2.3，局部结构化剪枝示例代码
• 2.3，全局非结构化剪枝
• 三，总结
• 参考资料

一，剪枝分类

所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。关于什么参数才是“不必要的”，这是一个目前依然在研究的领域。