边缘计算环境下的卷积神经网络轻量化设计.docx

边缘计算环境下的卷积神经网络轻量化设计

目录

边缘计算环境下的卷积神经网络轻量化设计（1）．．．．．．．．．．．．．．．．3

内容简述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.1背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.2研究内容与方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

相关工作．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

2.1边缘计算概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.2卷积神经网络简介．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.3轻量化设计研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

边缘计算环境分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

3.1边缘设备硬件特性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

3.2边缘网络延迟与带宽限制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.3边缘计算应用场景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

卷积神经网络轻量化设计策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

4.1模型压缩技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

4.1.1知识蒸馏．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

4.1.2权重剪枝．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

4.1.3算法优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

4.2硬件加速技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．24

4.2.1GPU与TPU的利用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

4.2.2边缘专用硬件设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．26

4.2.3混合精度计算．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．27

4.3网络架构调整．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．28

4.3.1轻量级网络模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．33

4.3.2层次化特征融合．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．34

4.3.3动态计算图优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．35

实验设计与结果分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．36

5.1实验环境搭建．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．37

5.2实验数据集选择．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．39

5.3实验对比与评估指标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．39

总结与展望．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．41

6.1轻量化设计成果总结．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．42

6.2面临的挑战与问题．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．43

6.3未来研究方向展望．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．44

边缘计算环境下的卷积神经网络轻量化设计（2）．．．．．．．．．．．．．．．45

一、内容概括．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．45

研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．46

1.1边缘计算概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．47

1.2卷积神经网络轻量化设计的必要性．．．．