RNN
其他网络只能接受固定长度的输入，并且输出固定长度的向量。
RNN有以下几种模式
- 第一张图片就是非序列的神经网络，例如CNN。
- 第二张图片输入不是序列，输出是一个序列，例如：看图说话。
- 第三张图片输入是一个序列，输出是一个值，例如：文本分类。
- 第四张图片输入是一个序列，输出也是一个序列，但不是同步的。例如：机器翻译。
- 第五张图片输入是一个序列，输出也是一个序列，并且是同步的。例如：视频分类，每一帧一个分类。
BPTT
LSTM
基础LSTM和GRU
BI-LSTM
ConvLSTM
Attention
Attention is all you need.
Transformer
Bert
应用
- 推荐：xiangnan he.
- 轨迹预测
- NLP：语音，语言模型，翻译，图片标题