第六章 深度循环网络[108页].pptx

第六章深度循环网络

6.1概述

6.2双向循环网络

6.3解码-编码网络结构

6.4深度循环网络

6.5门控循环神经网络

6.6递归神经网络

6.7Transformer

1of107

O6.1概述第六章深度循环神经网络

1.为什么要使用深度循环网络(RNN)

在一些实际的项目任务中，需要处理序列信息，即前一个输

入和后一个输入存在某种逻辑关系，比如一句话、一段歌曲。

设计目的：希望循环神经网络可以将过去时刻(历史)发生的状态信息

传递给当前时刻的计算中。

2of107

O6.1概述第六章深度循环神经网络

2.循环神经网络结构

RNN可以看成一个在时间上传递的神经网络，它的深度是时间的长度.

0

(Ok)

OutputLayer

(v)

V

HiddenLayerW

(w₂)

(uj)U

(x)InputLayer

RNN网络结构图

3of107

O6.1概述第六章深度循环神经网络

2.循环神经网络结构

t时刻的输入x(t)

yy(t-1)y(t)y(t+1)

隐藏层的值s(t)

输出值o(t)

LL(t-1)Lt)L(t+1)

0o(t-1)ot)o(t+1)

VSW展开VIs(t1)Vst)V]s(t+1)

WWWW

hh(-)h(-1)h0h(t+1)h(…)

u]ulU]ul

xx(t-1)x(t)x(t+1)

O6.1概述第六章深度循环神经网络

2.循环神经网络结构

o(-1)o7