We read every piece of feedback, and take your input very seriously.
To see all available qualifiers, see our documentation.
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
Hi,
I am running your project as-is, so I assume default config, but I keep getting a BLEU score of ~6, much lower than yours:
"With the default config, this implementation gets BLEU ~ 20 on wmt14 test set."
You can see my whole run on this Colab notebook. My eval.py output is:
eval.py
[*] Loading checkpoints... /content/transformer-tensorflow/checkpoints/transformer-wmt14-seq10-d512-head8-1610702653 ckpt_path: /content/transformer-tensorflow/checkpoints/transformer-wmt14-seq10-d512-head8-1610702653/transformer-wmt14-seq10-d512-head8-1610702653 2021-01-15 10:42:05.331790: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA [*] Load SUCCESS: /content/transformer-tensorflow/checkpoints/transformer-wmt14-seq10-d512-head8-1610702653/transformer-wmt14-seq10-d512-head8-1610702653 batch_size:256 seq_len:11 Downloaded Files: ['vocab.50K.de', 'newstest2015.de', 'vocab.50K.en', 'train.align', 'newstest2013.en', 'newstest2012.de', 'newstest2015.en', 'dict.en-de', 'train.en', 'newstest2014.en', 'train.de', 'newstest2014.de', 'newstest2012.en', 'newstest2013.de'] 'en' vocabulary size: 41059 'de' vocabulary size: 45359 Num. lines in '/tmp/wmt14/newstest2012.en': 3003 Num. lines in '/tmp/wmt14/newstest2013.en': 3000 Num. lines in '/tmp/wmt14/newstest2014.en': 2737 Num. lines in '/tmp/wmt14/newstest2015.en': 2169 Num. sentences processed: 1164 Source: '<s> die welt <unk> der republikanischen präsidentschaftskandidaten </s>' ==> Target: '<s> cremes kabeln kabeln kabeln kabeln ölpreises ölpreises engagiertes engagiertes engagiertes'. Source: '<s> vielleicht wollte er , <unk> , das sein . </s>' ==> Target: '<s> forschungs- kabeln kabeln kabeln kabeln engagiertes engagiertes engagiertes engagiertes engagiertes'. Source: '<s> die wahrheit aber war weniger <unk> . </s>' ==> Target: '<s> kabeln kabeln kabeln kabeln kabeln kabeln kabeln engagiertes engagiertes kabeln'. Source: '<s> " die bevölkerung von singapur muss wachsen . " </s>' ==> Target: '<s> cremes forschungs- forschungs- forschungs- forschungs- ölpreises ölpreises ölpreises ölpreises ölpreises'. Source: '<s> deshalb empfehle ich trotzdem die durchführung des tests . </s>' ==> Target: '<s> forschungs- kabeln kabeln kabeln kabeln engagiertes engagiertes engagiertes engagiertes engagiertes'. Source: '<s> gründung von <unk> </s>' ==> Target: '<s> heimgesucht heimgesucht heimgesucht heimgesucht heimgesucht heimgesucht 174 174 174 cremes'. Source: '<s> das ist der erste fall dieser art. </s>' ==> Target: '<s> cremes forschungs- forschungs- forschungs- forschungs- ölpreises ölpreises ölpreises ölpreises ölpreises'. Source: '<s> ist <unk> die richtige person für die aufgabe ? </s>' ==> Target: '<s> cremes kabeln kabeln kabeln kabeln ölpreises ölpreises engagiertes engagiertes engagiertes'. Source: '<s> wo steht die <unk> ? </s>' ==> Target: '<s> kabeln kabeln kabeln kabeln kabeln kabeln engagiertes engagiertes engagiertes kabeln'. Source: '<s> ein letzter abschied </s>' ==> Target: '<s> kabeln kabeln kabeln kabeln kabeln kabeln kabeln engagiertes engagiertes kabeln'. {'num_sentences': 1164, 'bleu_score': 5.820867640977842}
The text was updated successfully, but these errors were encountered:
No branches or pull requests
Hi,
I am running your project as-is, so I assume default config, but I keep getting a BLEU score of ~6, much lower than yours:
You can see my whole run on this Colab notebook. My
eval.py
output is:The text was updated successfully, but these errors were encountered: