图神经网络：原理、方法与应用综述.docx

图神经网络：原理、方法与应用综述

目录

内容描述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.1图神经网络简介．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.1.1定义和组成．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

1.1.2发展历程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

1.1.3应用领域．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

1.2研究意义与价值．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

1.2.1理论意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

1.2.2实践意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

1.2.3社会影响．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

图神经网络的基本原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

2.1图表示学习．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

2.1.1节点表示．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

2.1.2边表示．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

2.1.3图结构学习．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．24

2.2图神经网络架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．26

2.2.1前馈网络．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．27

2.2.2自编码器．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．28

2.2.3卷积神经网络．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．29

2.2.4循环神经网络．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．31

2.2.5注意力机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．34

2.3训练算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．35

2.3.1反向传播算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．37

2.3.2优化策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．38

2.3.3正则化技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．40

图神经网络的训练方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．42

3.1损失函数设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．43

3.1.1分类任务．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．46

3.1.2回归任务．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．47

3.1.3聚类任务．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．48

3.2训练策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．49

3.2.1批量处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．51

3.2.2数据增强．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．54

3.2.3超参数调优．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．55

3.3训练流程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．58

3.3.1初始化过程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．59

3.3.2迭代更新．．．．．．．．．．．．．．．．．．．