基于多头注意力机制的学科知识命名实体识别技术研究.docx

基于多头注意力机制的学科知识命名实体识别技术研究

目录

内容概览．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.2研究意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.3文献综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

多头注意力机制概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.1注意力机制简介．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.2多头注意力机制原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.3多头注意力机制的优势．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

学科知识命名实体识别技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

3.1命名实体识别简介．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

3.2学科知识命名实体识别的重要性．．．．．．．．．．．．．．．．．．．．．．．．．．．9

3.3传统命名实体识别方法的局限性．．．．．．．．．．．．．．．．．．．．．．．．．．10

基于多头注意力机制的学科知识命名实体识别方法．．．．．．．．．．．11

4.1模型架构设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

4.1.1输入层．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

4.1.2主体层．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

4.1.3辅助层．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

4.1.4输出层．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

4.2多头注意力机制在模型中的应用．．．．．．．．．．．．．．．．．．．．．．．．．．16

4.2.1注意力权重计算．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

4.2.2注意力机制对模型性能的影响．．．．．．．．．．．．．．．．．．．．．．．．．．17

4.3模型训练与优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

4.3.1损失函数设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

4.3.2优化算法选择．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

4.3.3模型调参策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

实验与分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

5.1数据集介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

5.2实验设置．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

5.2.1硬件与软件环境．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．24

5.2.2评价指标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．24

5.3实验结果分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

5.3.1与传统方法的对比．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．26

5.3.2注意力机制对性能的影响．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．27

5.3.3模型在不同数据集上的表现．．．．．．．．．．．．．．．．．．．．．．．．．．．．28

案例研究．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．29

6.1案例一．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．30

6.2案例二．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．31

6.3