基于神经网络的复述抽取和重排序研究-计算机科学与技术专业论文.docx

Classified Index: TP391.2 U.D.C: 681.37 Dissertation for the Master Degree in Engineering RESEARCH ON NEURAL NETWORK-BASED PARAPHRASES EXTRACTION AND RERANKING Candidate： Sun Haipeng Supervisor： Prof. Zhao Tiejun Academic Degree Applied for： Master of Engineering Speciality： Computer Science and Technology Affiliation： School of Computer Science and Technology Date of Defence： June, 2015 Degree-Conferring-Institution： Harbin Institute of Technology 摘 摘 要 - - I - 摘 要 因为语言的多样性和计算机对语言的理解能力有限，目前的机器翻译性能与我 们期待的仍有一定的差距。尤其在一些小语种上并没有大量的双语平行语料库， 语料相对比较稀疏，机器翻译性能并不是很好。复述，作为解决稀疏问题的一种 方法，通过引入复述来提升机器翻译的性能。其次，全局特征，往往对机器翻译 的性能提升具有重要作用。非线性的神经网络模型具备更强的表达能力，而且， 它通过引入隐含层，可以根据翻译的平均度量对输入层的特征进行进一步的抽象 和解释，从而能够更好地利用特征来提高翻译的性能。因此，我们决定用神经网 络模型来实现重排序中的判别函数，利用其全局特征、RNN 语言模型特征和线性 插值的方法提高翻译的性能。本课题的研讨内容有以下几个方面： （1）我们提出了一种短语划分的标准，首先对双语语料进行句法标注，将句 法解析后的语料按树结构存储，抽取相应的包含名词短语和动词短语的子树作为 短语划分。并且我们对不同粒度的名词短语动词短语的实验结果进行对比，针对 出现的嵌套问题，对算法进行改进，解决嵌套问题，得到更精确的短语划分，准 确率和召回率都可以达到 80%以上。 （2）我们根据词向量模型建立了短语向量模型，对短语划分后生成的短语进 行短语向量表示，我们利用 K-均值聚类来抽取复述，我们将抽取的复述结果应用 到统计机器翻译系统中，通过修改短语翻译概率来解决训练语料库数据稀疏的问 题，从实验结果中我们也可以看到，改善后的短语表可以提高机器翻译的性能， 大概提高 0.3BLEU 值。 （3）我们尝试引入了基于神经网络的统计机器翻译重排序模型。我们建立了 基于一层神经网络重排序模型，给出了重排序模型的判别函数和随机共轭次梯度 法的训练算法。在此基础上我们将 RNN 语言模型作为特征加入到我们的重排序模 型中来，并使用线性插值的方法完善重排序模型，从实验结果上来看，神经网络 的重排序模型可以提高机器翻译的性能。 通过实验表明，使用短语向量抽取复述，利用抽取的复述来完善短语表以及引 入基于神经网络的重排序模型都可以在一定程度上提高机器翻译的性能。 关键字：短语划分；短语向量；复述抽取；神经网络；重排序 Ab Abstract - - II - Abstract There are still some gaps between the performance of machine translation and the performance we expect because there exists the diversity of language and the computers ability to understand language is limited. In particular, there are no large bilingual parallel corpora in some small languages, and the data is sparsing, and the performance of machine translation is not particularly good. Paraphrase is a method of solving sparsing problem. We introduce paraphrase to improve the performance of machine translation. What’s more, the non-local feature always plays an important role in improv