2018年LSTM剪枝技术如何学习长序列中的内在稀疏结构？
- 内容介绍
- 文章标签
- 相关推荐
本文共计7865个文字，预计阅读时间需要32分钟。
文章地址：https://github.com/wenwei202/iss-rnns
论文摘要：在长短期记忆网络中学习内在稀疏结构
作者：Wen W, He Y, Rajbhandari S, 等
论文内容：本文研究了在长短期记忆网络（LSTM）中学习内在稀疏结构的方法。通过分析LSTM内部结构，提出了一个能够学习稀疏表示的模型。该模型在长时记忆中保持了信息稀疏性，有效提高了模型的性能。实验结果表明，该模型在多个数据集上均取得了优异的性能。
摘要论文地址：在长短时记忆中学习内在的稀疏结构
论文代码：github.com/wenwei202/iss-rnns
引用格式：Wen W, He Y, Rajbhandari S, et al. Learning intrinsic sparse structures within long short-term memory[C]. nternational Conference on Learning Representations,2018.
模型压缩对于递归神经网络(RNN)在资源有限的用户设备和需要快速响应大规模服务请求的商业客户中的广泛采用具有重要意义。这项工作旨在通过减少LSTM单元中基本结构的大小来学习结构稀疏的长期短期记忆(LSTM)，这些基本结构包括输入更新(input updataes)、门(gates)、隐藏状态(hidden states)、单元状态(cell states)和输出(outputs)。单独减小基本结构的尺寸可能会导致它们之间的尺寸不一致，从而最终得到无效的LSTM单元。
本文共计7865个文字，预计阅读时间需要32分钟。
文章地址：https://github.com/wenwei202/iss-rnns
论文摘要：在长短期记忆网络中学习内在稀疏结构
作者：Wen W, He Y, Rajbhandari S, 等
论文内容：本文研究了在长短期记忆网络（LSTM）中学习内在稀疏结构的方法。通过分析LSTM内部结构，提出了一个能够学习稀疏表示的模型。该模型在长时记忆中保持了信息稀疏性，有效提高了模型的性能。实验结果表明，该模型在多个数据集上均取得了优异的性能。
摘要论文地址：在长短时记忆中学习内在的稀疏结构
论文代码：github.com/wenwei202/iss-rnns
引用格式：Wen W, He Y, Rajbhandari S, et al. Learning intrinsic sparse structures within long short-term memory[C]. nternational Conference on Learning Representations,2018.
模型压缩对于递归神经网络(RNN)在资源有限的用户设备和需要快速响应大规模服务请求的商业客户中的广泛采用具有重要意义。这项工作旨在通过减少LSTM单元中基本结构的大小来学习结构稀疏的长期短期记忆(LSTM)，这些基本结构包括输入更新(input updataes)、门(gates)、隐藏状态(hidden states)、单元状态(cell states)和输出(outputs)。单独减小基本结构的尺寸可能会导致它们之间的尺寸不一致，从而最终得到无效的LSTM单元。