改进Transformer模型的语音识别轻量化设计.docx

改进Transformer模型的语音识别轻量化设计

目录

改进Transformer模型的语音识别轻量化设计（1）．．．．．．．．．．．．．．．4

内容概览．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.1背景介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.2研究意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

1.3文章结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

相关工作．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.1语音识别技术发展概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.2Transformer模型在语音识别中的应用．．．．．．．．．．．．．．．．．．．．．10

2.3轻量化设计在语音识别中的应用．．．．．．．．．．．．．．．．．．．．．．．．．．11

改进Transformer模型设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.1模型架构概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.1.1基本Transformer结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

3.1.2改进模块设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

3.2轻量化策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

3.2.1网络结构压缩．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

3.2.2参数共享与知识蒸馏．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

3.2.3激活函数与层归一化优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

实验与评估．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．24

4.1数据集介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

4.2实验设置．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．26

4.2.1评价指标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．28

4.2.2训练参数．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．29

4.3实验结果分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．31

4.3.1与传统模型的比较．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．32

4.3.2轻量化性能评估．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．33

性能分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．34

5.1模型精度分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．35

5.2模型速度分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．36

5.3模型功耗分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．38

应用案例．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．39

6.1案例一．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．40

6.2案例二．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．42

改进Transformer模型的语音识别轻量化设计（2）．．．．．．．．．．．．．．43

内容概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．43

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．44

1.2文献综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．45

1.3本文研究目标．．．．．．．．．．．．．．．．