本教程通过机器翻译的例子来介绍和实现一个简单的机器翻译方法,机器翻译是指将一段文本从源语言(如语言A)自动翻译到目标语言(如语言B)。本教程通过加载和预处理数据、构造编码器和解码器、训练模型、结果评价得到一个可以应用的机器翻译工具。
1.2 任务描述
神经机器翻译方法是使用神经网络直接将一个源语言句子转化为目标语言句子,具体是利用编码器将源语言句子转成一个向量,该向量形成了对源语言句子的一种分布式表示,然后基于此向量表示利用解码器逐步依次生成目标词序列直到生成整个目标语言句子,如下图所示。
如,现有源语言句子"atam balaca boz radiosunda bbc xəbərlərinə qulaq asırdı .",经过Encoder(编码器),生成一个向量H
,该向量H
经过Decoder(解码器)生成目标语言句子"my father was listening to bbc news on his small , gray radio ."。
1.3 数据集
https://download.csdn.net/download/qq_38735017/87190389里面包括法葡、意葡、英葡、俄葡四种双语语料,主要可用于模型测试。
本案例