如何用Pytorch构建LSTM与GRU模型示例？
- 内容介绍
- 文章标签
- 相关推荐
本文共计1042个文字，预计阅读时间需要5分钟。
为解决RNN无法长期依赖的问题，引入了两种变体：LSTM（Long Short-Term Memory，长期短期记忆）和GRU（Gated Recurrent Unit，门控循环单元）。LSTM被称为长短期记忆网络，意味着它可以捕捉长的短期记忆，即长时间序列中的信息。LSTM的解决方案是短时记忆问题，这种短时记忆指的是网络如何处理长期依赖问题。
为了解决传统RNN无法长时依赖问题，RNN的两个变体LSTM和GRU被引入。
LSTM
Long Short Term Memory，称为长短期记忆网络，意思就是长的短时记忆，其解决的仍然是短时记忆问题，这种短时记忆比较长，能一定程度上解决长时依赖。
上图为LSTM的抽象结构，LSTM由3个门来控制，分别是输入门、遗忘门和输出门。输入门控制网络的输入，遗忘门控制着记忆单元，输出门控制着网络的输出。最为重要的就是遗忘门，可以决定哪些记忆被保留，由于遗忘门的作用，使得LSTM具有长时记忆的功能。对于给定的任务，遗忘门能够自主学习保留多少之前的记忆，网络能够自主学习。
具体看LSTM单元的内部结构：
在每篇文章中，作者都会使用和标准LSTM稍微不同的版本，针对特定的任务，特定的网络结构往往表现更好。
本文共计1042个文字，预计阅读时间需要5分钟。
为解决RNN无法长期依赖的问题，引入了两种变体：LSTM（Long Short-Term Memory，长期短期记忆）和GRU（Gated Recurrent Unit，门控循环单元）。LSTM被称为长短期记忆网络，意味着它可以捕捉长的短期记忆，即长时间序列中的信息。LSTM的解决方案是短时记忆问题，这种短时记忆指的是网络如何处理长期依赖问题。
为了解决传统RNN无法长时依赖问题，RNN的两个变体LSTM和GRU被引入。
LSTM
Long Short Term Memory，称为长短期记忆网络，意思就是长的短时记忆，其解决的仍然是短时记忆问题，这种短时记忆比较长，能一定程度上解决长时依赖。
上图为LSTM的抽象结构，LSTM由3个门来控制，分别是输入门、遗忘门和输出门。输入门控制网络的输入，遗忘门控制着记忆单元，输出门控制着网络的输出。最为重要的就是遗忘门，可以决定哪些记忆被保留，由于遗忘门的作用，使得LSTM具有长时记忆的功能。对于给定的任务，遗忘门能够自主学习保留多少之前的记忆，网络能够自主学习。
具体看LSTM单元的内部结构：
在每篇文章中，作者都会使用和标准LSTM稍微不同的版本，针对特定的任务，特定的网络结构往往表现更好。