基于强化学习的知识图谱推理方法研究.pdf

基于强化学习的知识图谱推理方法研究

摘要

知识图谱在自然语言处理应用中被广泛采用，由其衍生出来的推理技术可以用在

许多场景中，例如知识补全，关系推理等任务。但是知识图谱在存储表示时采用的是

基于有向图的方法，由于图的稀疏且不完备等特性，知识图谱推理仍然面临着许多挑

战，如何提高推理的准确度仍然是热门研究问题之一。针对上述挑战，本文将从以下

两个方面对知识图谱推理方法进行研究：

（1）针对知识图谱中实体对之间的关系规则复杂多样的问题，在强化学习方法的

基础上通过设置多奖励函数在监督策略网络中构建了关系推理模型。具体而言，在关

系推理任务中，采用多个奖励函数对智能体行为进行约束，通过设置不同奖励函数的

线性组合比较分析智能体在关系推理任务中的结果，提高智能体的关系推理效果；同

时，由于智能体在知识图谱向量空间中的行为多种多样，为了提高智能体寻路效率，

引入了一个监督策略网络限制智能体在推理任务中在无关路径上的大量尝试，从而达

到提高训练的效率的效果。最后在不同数据集上进行关系推理实验，通过与基于路径

的MINERVA，路径排名算法（PRA）等算法进行对比验证多奖励函数的有效性，实验

结果显示，在强化学习任务中通过引入多个奖励函数对智能体行为进行奖励能够有效

提高关系推理任务的准确度。在链接预测任务上，本节方法相较于PRA方法提升了

17.9%，在事实预测任务上，本节方法相较于MINERVA方法提升了9%。

（2）针对知识图谱中实体稀疏的问题，在强化学习方法中引入了基于规则的推理

方法，开展面向实体推理的知识图谱推理方案研究，通过构建规则推理模型来进行知

识图谱中的实体推理。为了提高推理的准确度，本文在模型中引入了规则探测器、实

体智能体、关系智能体以及策略网络。其中规则探测器用于获取知识图谱向量空间中

的规则，实体智能体和关系智能体在设定好的策略网络中进行移动探测相应的规则。

除此以外，将基于规则的奖励函数和基于路径遍历的奖励函数结合，建立新的奖励函

数机制，从而保证智能体在实体推理任务中取得更好的效果。在WN18RR数据集上，

本节方法相较于基于规则的AnyBURL方法性能提升了6.4%，相较于基于路径的

MINERVA方法性能提升了9.4%。

关键词：强化学习；知识图谱；关系推理；实体推理

基于强化学习的知识图谱推理方法研究

Abstract

KnowledgeGraphs(KG)arewidelyusedinnaturallanguageprocessingapplications,and

inferencetechniquesderivedfromthemcanbeappliedinmanyscenarios,suchascompletion

tasks.However,knowledgegraphsrepresentstorageusingadirectedgraph-basedapproach.

Duetothesparseandincompletenatureofgraphs,knowledgegraphinferencestillfacesmany

challenges,andimprovingtheaccuracyofinferenceremainsoneofthehotresearchtopics.

Addressingthesechallenges,thispaperwillresearchknowledgegraphsfromthefollowingtwo

aspects:

(1)Thisthesisaddressestheissueofcomplexanddiverserelationshiprulesbetweenentity

pairsinknowledgegraphs,arelationshipinferencemodelisconstructedbasedon

reinforcementlearningmethod