基于预训练语言模型的中文短文本实体消歧研究.pdf
摘要
移动互联网时代，短视频、短文本等碎片化内容由其易传播、易阅读，内容
丰富等特点成了当下各大流量阵地的主要传播内容，具有丰厚的研究价值。为了
更好地理解短文本，充分挖掘出其中有价值的信息，就要对文本的命名实体有正
确的理解，而实体消歧就是专门用来消除命名实体歧义的工作。基于此，本文对
中文短文本的实体消歧展开了研究，并基于预训练语言模型提出了两套切实有效
的中文短文本实体消歧方案。
方案一：针对现有中文短文本实体消歧模型对实体消歧中的有效特征考虑不
充分的问题，本文提出了基于多特征因子融合的实体消歧方法。该方法首先利用
预训练语言模型获得指称上下文与候选实体描述的语义匹配特征；然后，针对实
体嵌入和指称类别嵌入提出共现特征与类别特征，基于实体在数据集中的先验概
率获取实体流行度特征；最后，通过融合上述特征实现基于多特征因子融合的实
体消歧模型。实验结果表明，本方案提出的共现特征及类别特征在实体消歧中具
有可行性和有效性，综合考虑多特征因子能够取得更好的消歧效果。
方案二：尽管多特征因子模型取得了不错的消歧效果，但其主要工作是在预
训练语言模型之外的。为了让预训练语言模型在微调的过程中学习更多有助于实
体消歧的知识，本文又提出了基于多任务学习的实体消歧方法。该方法让预训练
语言模型在微调的过程中同时训练指称实体语义相似消歧任务、指称掩码与实体
语义相似消歧任务、指称分类任务、对抗训练任务，四个任务共同训练，让模型
学到更多有助于实体消歧的知识并提高模型的泛化性。实验结果表明了本方案所
设计与选用的任务能够让模型学到更多有助于实体消歧的信息，显著提升实体消
歧模型的效果。
关键词：中文短文本；实体消歧；多特征因子；多任务学习；预训练语言模
型
I
目录
摘要I
AbstractII
目录IV
第1章引言1
1.1研究背景1
1.2研究意义2
1.3本文研究内容3
1.4本文创新点4
1.5论文结构安排4
第2章研究现状和相关知识5
2.1实体消歧研究现状5
2.1.1中英文长文本实体消歧模型5
2.1.2中文短文本实体消歧模型6
2.2预训练语言模型7
2.2.1自注意力机制7
2.2.2预训练语言模型8
2.3多任务学习9
2.3.1多任务学习简介9
2.3.2多任务学习在自然语言处理中的应用10
2.3.3多任务学习中的参数共享方式11
2.4本章小结12
第3章基于多特征因子融合的实体消歧13
3.1基于多特征因子融合的实体消歧模型13
3.1.1模型消歧流程13
3.1.2基模型特征14
3.1.3共现特征15
3.1.4类别特征17
3.1.5实体流行度特征19
3.1.6集成模型19
IV
3.2实验与分析20
3.2.1数据集简介20
3.2.2候选实体生成策略21
3.2.3实验参数及评价指标22
3.2.4类别消歧模型实验结果及分析23
3.2.5特征因子有效性分析23
3.2.6模型整体效果评价25
3.3本章小结25
第4章基于多任务学习的实体消歧27
4.1基于多任务学习的实体消歧模型27
4.1.1指称与候选实体语义相似度消歧任务27
4.1.2指称掩码与候选实体语义相似度消歧任务29
4.1.3实体指称分类任务30
4.1.4对抗训练任务31
4.1.5模型的整体框架及训练32
4.2实验与分析34
4.2.1实验参数34
4.2.2任务组合分析35
4.2.3指称掩码实体语义相似度消歧任务分析36
4.2.4指称实体语义相似度消歧任务分析37
4.2.5模型对比37
4.2.6与多特征因子消歧模型的比较38
4.3本章小结38
结论40
参考文献41
致谢46
在读期间公开发表论文（著）及科研情况47