BLEU score ~6, much lower than the expected ~20

[pnmartinez]

Hi,

I am running your project as-is, so I assume default config, but I keep getting a BLEU score of ~6, much lower than yours:

"With the default config, this implementation gets BLEU ~ 20 on wmt14 test set."

You can see my whole run on this Colab notebook. My eval.py output is:

[*] Loading checkpoints...
/content/transformer-tensorflow/checkpoints/transformer-wmt14-seq10-d512-head8-1610702653
ckpt_path: /content/transformer-tensorflow/checkpoints/transformer-wmt14-seq10-d512-head8-1610702653/transformer-wmt14-seq10-d512-head8-1610702653
2021-01-15 10:42:05.331790: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA
 [*] Load SUCCESS: /content/transformer-tensorflow/checkpoints/transformer-wmt14-seq10-d512-head8-1610702653/transformer-wmt14-seq10-d512-head8-1610702653
batch_size:256 seq_len:11
Downloaded Files: ['vocab.50K.de', 'newstest2015.de', 'vocab.50K.en', 'train.align', 'newstest2013.en', 'newstest2012.de', 'newstest2015.en', 'dict.en-de', 'train.en', 'newstest2014.en', 'train.de', 'newstest2014.de', 'newstest2012.en', 'newstest2013.de']
'en' vocabulary size: 41059
'de' vocabulary size: 45359
Num. lines in '/tmp/wmt14/newstest2012.en': 3003
Num. lines in '/tmp/wmt14/newstest2013.en': 3000
Num. lines in '/tmp/wmt14/newstest2014.en': 2737
Num. lines in '/tmp/wmt14/newstest2015.en': 2169
Num. sentences processed: 1164
Source: '<s> die welt <unk> der republikanischen präsidentschaftskandidaten </s>' ==> Target: '<s> cremes kabeln kabeln kabeln kabeln ölpreises ölpreises engagiertes engagiertes engagiertes'.
Source: '<s> vielleicht wollte er , <unk> , das sein . </s>' ==> Target: '<s> forschungs- kabeln kabeln kabeln kabeln engagiertes engagiertes engagiertes engagiertes engagiertes'.
Source: '<s> die wahrheit aber war weniger <unk> . </s>' ==> Target: '<s> kabeln kabeln kabeln kabeln kabeln kabeln kabeln engagiertes engagiertes kabeln'.
Source: '<s> &quot; die bevölkerung von singapur muss wachsen . &quot; </s>' ==> Target: '<s> cremes forschungs- forschungs- forschungs- forschungs- ölpreises ölpreises ölpreises ölpreises ölpreises'.
Source: '<s> deshalb empfehle ich trotzdem die durchführung des tests . </s>' ==> Target: '<s> forschungs- kabeln kabeln kabeln kabeln engagiertes engagiertes engagiertes engagiertes engagiertes'.
Source: '<s> gründung von <unk> </s>' ==> Target: '<s> heimgesucht heimgesucht heimgesucht heimgesucht heimgesucht heimgesucht 174 174 174 cremes'.
Source: '<s> das ist der erste fall dieser art. </s>' ==> Target: '<s> cremes forschungs- forschungs- forschungs- forschungs- ölpreises ölpreises ölpreises ölpreises ölpreises'.
Source: '<s> ist <unk> die richtige person für die aufgabe ? </s>' ==> Target: '<s> cremes kabeln kabeln kabeln kabeln ölpreises ölpreises engagiertes engagiertes engagiertes'.
Source: '<s> wo steht die <unk> ? </s>' ==> Target: '<s> kabeln kabeln kabeln kabeln kabeln kabeln engagiertes engagiertes engagiertes kabeln'.
Source: '<s> ein letzter abschied </s>' ==> Target: '<s> kabeln kabeln kabeln kabeln kabeln kabeln kabeln engagiertes engagiertes kabeln'.
{'num_sentences': 1164, 'bleu_score': 5.820867640977842}