Machine Translation Data
- 做机器学习任务的第一步都是处理数据，我们首先需要准备机器翻译的数据。
- 由于我们是学习用途，因此拿一个小规模数据集即可：http://www.manythings.org/anki/
- 下面的数据集中：一个英语句子对应多个德语句子，如果翻译的时候能命中其中的一个则算作完全正确。
1. Preprocessing
- 将大写全部转化为小写
- 去掉标点符号
2. Tokenization & Build Dictionary
- 我们分别需要两个Tokenizer，一个英语Tokenizer和一个德语Tokenizer
- 英语的text最后经过英语Tokenizer转化为 input_tokens
- 德语的text经过德语Tokenizer转化为target_tokens
- 在Tokenization后需要建立两个字典，一个英语字典和一个德语字典
- Tokenization既可以是char-level的，也可以是word-level的
- 本节课使用的是char-level的Tokenization
- 但是实际的机器翻译都是用word-level的，因为它们的数据集足够大
Question:为什么要用两个不同的Tokenizer？
答案是在char-level中，语言有不同的char，如下图所示：英语和德语的char总数并不相同，希腊语也类似：
而在word-level的情况下则更需要两个了，原因是：①词汇完全不一样。②分词方法不同。 - 下面是经过Tokenizaion后的字典：其中 \t 是起始符，\n是终止符。选用其他的字符也行，只要不和已有的冲突即可。
3. One-Hot Encoding
- 经过上面的Tokenize后，我们可以将一段text通过字典转化为一个个数
- 接下来我们把每一个数字用一个One-Hot向量表示如下：
Training the Seq2Seq Model
- LSTM Encode用于提取输入英文文本的信息，它将这句话的最后状态信息作为输入传到LSTM Decoder
- LSTM Decoder用于生成德语，这其实就是上节课讲到的文本生成器，只不过区别在于这里的文本生成器的初始向量为LSTM Encoder，接受了输入的英语文本的特征作为初始状态，Decoder通过被输入的这个状态来指导这句英语是 go away
- LSTM Decoder作为一个文本翻译器，那么它需要每次接受一个输入，然后输出对下一个字符的预测。
- LSTM Decoder第一个输入必须是起始符，这也是为什么需要定义一个起始符的原因
- 起始符后面预测的字母为m，我们对m作One-Hot Encoding，作为标签y和预测的概率p一起传入交叉熵损失函数，我们希望p尽量接近y，所以损失越小越好。这样我们就可以利用反向传播计算梯度，梯度会传到Decoder，然后顺着Decoder传到Encoder，利用梯度下降即可更新Decoder和Encoder的参数。
- 我们不断重复这个过程，直到这句德语被预测完
Seq2Seq Model in Keras
最后对Dense作反向传播的时候可以顺着这张图的链路一直传到Encoder和Decoder
Inference
-
在预测时，我们用LSTM Encoder把go away转化为状态向量指导Decoder进行翻译。
-
而Decoder则是从 \t（起始符）开始对整句德语进行预测，过程和上节课讲到的文本生成器一致，直到遇到终止符 \n。
Summary
How to Improve
1. Bi-LSTM instead of LSTM(Encoder only!)
- Encoder对一个句子只取最后的那个状态向量，最后的状态向量包含句子的所有信息
- 如果句子很长的话就会导致遗忘，导致传入的英语文本信息不全导致遗漏
- 可以想到用双向LSTM来增加LSTM的记忆力
- 注意Decoder不能用双向，由于文本生成任务的原因，Decoder只能单向
2. Word-level Tokenization
- 本节课用的时char-level比较方便，但是会导致一个句子比较长，容易导致LSTM的遗忘
- 如果用word-level的话，token的长度会缩短四到五倍，比较容易避免遗忘
- 但是这样的话需要一个额外的Embedding层，这样就需要大量的数据来对Embedding层的参数进行训练
- 若训练数据不够而Embedding层的参数又过多就会导致过拟合，这样就还可能需要额外的预训练
3. Multi-Task Learning
- 在任务里多加一个训练从英语到英语的任务，这样在数据量不变的情况下，可训练的数据就多了一倍，这样Encoder会被训练得更好
- 还可以增加更多的任务，比如训练英语到其他语言的翻译，虽然增加了更多Decoder，而且德语Decoder没有改进，但是Encoder只有一个，这样可以更好的训练Encoder。翻译效果还是会提升。
4. Attention
下节课！
