解析深度学习_札记.docx

《解析深度学习》读书记录

目录

内容综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.1深度学习概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.2深度学习在人工智能领域的地位．．．．．．．．．．．．．．．．．．．．．．．．．．．6

1.3读书目的与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

深度学习基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.1神经网络基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.1.1神经元与神经元模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

2.1.2网络结构设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

2.2损失函数与优化算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

2.2.1损失函数的种类．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

2.2.2常用优化算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

2.3深度学习数学基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

2.3.1微积分基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

2.3.2概率论基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

卷积神经网络．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

3.1CNN的原理与结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

3.1.1卷积层．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．26

3.1.2池化层．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．27

3.1.3全连接层．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．29

3.2CNN的应用实例．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．30

3.2.1图像识别．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．32

3.2.2目标检测．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．33

3.3CNN的优化与改进．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．35

循环神经网络．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．36

4.1RNN的原理与局限性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．38

4.1.1RNN的基本结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．39

4.1.2RNN的梯度消失与梯度爆炸问题．．．．．．．．．．．．．．．．．．．．．．．．．40

4.2LSTM的原理与设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．42

4.2.1LSTM的结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．43

4.2.2LSTM在序列预测中的应用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．44

4.3其他循环神经网络结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．46

生成对抗网络．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．48

5.1GAN的基本原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．49

5.1.1生成器与判别器．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．51

5.1.2对抗训练．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．52

5.2GAN的应用实例．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．53

5.2.1图像生成．．．．．．．．．．．．．．．．．