融合预训练的多语种神经机器翻译算法研究.pdf
摘要
摘要
随着互联网和经济全球化的快速发展，机器翻译技术在促进政治、经济、文化交流
等方面起到越来越重要的作用。神经机器翻译是建立多语种表示一致性的常用方法，
已成为学术研究和商业应用的主导范式。然而，现有多语种神经机器翻译缺少高质量
数据、未充分利用上下文信息，且预训练不能直接在机器翻译中微调使用。为了解决
上述问题，本文研究融合预训练的多语种神经机器翻译算法，设计实现多语种神经机
器翻译系统。主要创新研究如下：
1）提出基于最优运输的DR-Reformer多语种翻译算法。首先，针对缺乏高质量
对齐信息的数据集，提出基于最优运输的对齐信息算法，生成特定领域的高质量对齐
数据，缩小不同语种的语义差距。其次，设计DR-Reformer模型，在Reformer的基础
上增加Dropout层和Reduction层，解决长距离编码和内存分配问题，并减少模型参数
使模型轻量化。最后，采用预训练加微调的方式消除多语种混合噪声干扰，并在AI
Challenger和WMT数据集上进行实验验证，相比于其他算法，本文算法的BLEU
BilingualEvaluationUnderstudy1.3624.98
（）平均升高，得分为。
2）提出多维注意力机制的G-Meshed-Transformer篇章级多语种翻译算法。首先，
针对篇章级数据集缺乏高质量数据的问题，利用多分辨率数据增强，提供丰富的上下
文信息、降低模型过拟合风险，提高模型泛化性。其次，设计多维注意力机制的
G-Meshed-Transformer模型，在编码器和解码器之间建立网状连接，自适应地对篇章的
上下文信息加权；并缩小注意力的假设空间，减少计算量和内存需求，提升翻译性能。
TEDNewsEuroparl
最后，在、和数据集上进行实验验证，与其他算法相比，本文算法
的S-BLEU（Segment-levelBLEU）平均升高0.92、得分为23.86，D-BLEU（Document-level
BLEU）平均升高0.87、得分为30.87。
3）开发一套多语种神经机器翻译系统，主要包含用户注册与登录、多语种翻译
和日志三个模块，其中多语种翻译模块可根据文本的篇幅信息自动选择合适的翻译模
型完成任务。通过系统功能和性能测试，证明本文设计实现的多语种神经机器翻译系
统性能良好，具有广泛的应用价值。
关键词：神经机器翻译；多语种；预训练；信息对齐；注意力机制
论文类型：应用研究
I
目录
目录
11
第章绪论
1.1研究背景与意义1
1.2国内外研究现状2
1.2.1神经机器翻译算法研究现状2
1.2.2预训练研究现状4
1.2.3数据增强研究现状5
1.3论文内容与结构6
1.3.1论文研究内容6
1.3.2论文组织结构7
第2章神经机器翻译理论基础9
2.1数据增强9
2.1.1基于语义替换的数据增强9
2.1.2基于样例生成的数据增强9
2.1.3基于噪声的数据增强10
2.2预训练11
2.2.1Transformer11
2.2.2m-BERT14
2.3神经机器翻译原理15
2.3.1多语种神经机器翻译16
2.3.2篇章级神经机器翻译17
2.4本章小结18
第3章基于最优运输的DR-Reformer多语种翻译算法19
3.1基于最优运输的信息对齐算法19