Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

BLEU score ~6, much lower than the expected ~20 #10

Open
pnmartinez opened this issue Jan 15, 2021 · 0 comments
Open

BLEU score ~6, much lower than the expected ~20 #10

pnmartinez opened this issue Jan 15, 2021 · 0 comments

Comments

@pnmartinez
Copy link

Hi,

I am running your project as-is, so I assume default config, but I keep getting a BLEU score of ~6, much lower than yours:

"With the default config, this implementation gets BLEU ~ 20 on wmt14 test set."

You can see my whole run on this Colab notebook. My eval.py output is:

[*] Loading checkpoints...
/content/transformer-tensorflow/checkpoints/transformer-wmt14-seq10-d512-head8-1610702653
ckpt_path: /content/transformer-tensorflow/checkpoints/transformer-wmt14-seq10-d512-head8-1610702653/transformer-wmt14-seq10-d512-head8-1610702653
2021-01-15 10:42:05.331790: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA
 [*] Load SUCCESS: /content/transformer-tensorflow/checkpoints/transformer-wmt14-seq10-d512-head8-1610702653/transformer-wmt14-seq10-d512-head8-1610702653
batch_size:256 seq_len:11
Downloaded Files: ['vocab.50K.de', 'newstest2015.de', 'vocab.50K.en', 'train.align', 'newstest2013.en', 'newstest2012.de', 'newstest2015.en', 'dict.en-de', 'train.en', 'newstest2014.en', 'train.de', 'newstest2014.de', 'newstest2012.en', 'newstest2013.de']
'en' vocabulary size: 41059
'de' vocabulary size: 45359
Num. lines in '/tmp/wmt14/newstest2012.en': 3003
Num. lines in '/tmp/wmt14/newstest2013.en': 3000
Num. lines in '/tmp/wmt14/newstest2014.en': 2737
Num. lines in '/tmp/wmt14/newstest2015.en': 2169
Num. sentences processed: 1164
Source: '<s> die welt <unk> der republikanischen präsidentschaftskandidaten </s>' ==> Target: '<s> cremes kabeln kabeln kabeln kabeln ölpreises ölpreises engagiertes engagiertes engagiertes'.
Source: '<s> vielleicht wollte er , <unk> , das sein . </s>' ==> Target: '<s> forschungs- kabeln kabeln kabeln kabeln engagiertes engagiertes engagiertes engagiertes engagiertes'.
Source: '<s> die wahrheit aber war weniger <unk> . </s>' ==> Target: '<s> kabeln kabeln kabeln kabeln kabeln kabeln kabeln engagiertes engagiertes kabeln'.
Source: '<s> &quot; die bevölkerung von singapur muss wachsen . &quot; </s>' ==> Target: '<s> cremes forschungs- forschungs- forschungs- forschungs- ölpreises ölpreises ölpreises ölpreises ölpreises'.
Source: '<s> deshalb empfehle ich trotzdem die durchführung des tests . </s>' ==> Target: '<s> forschungs- kabeln kabeln kabeln kabeln engagiertes engagiertes engagiertes engagiertes engagiertes'.
Source: '<s> gründung von <unk> </s>' ==> Target: '<s> heimgesucht heimgesucht heimgesucht heimgesucht heimgesucht heimgesucht 174 174 174 cremes'.
Source: '<s> das ist der erste fall dieser art. </s>' ==> Target: '<s> cremes forschungs- forschungs- forschungs- forschungs- ölpreises ölpreises ölpreises ölpreises ölpreises'.
Source: '<s> ist <unk> die richtige person für die aufgabe ? </s>' ==> Target: '<s> cremes kabeln kabeln kabeln kabeln ölpreises ölpreises engagiertes engagiertes engagiertes'.
Source: '<s> wo steht die <unk> ? </s>' ==> Target: '<s> kabeln kabeln kabeln kabeln kabeln kabeln engagiertes engagiertes engagiertes kabeln'.
Source: '<s> ein letzter abschied </s>' ==> Target: '<s> kabeln kabeln kabeln kabeln kabeln kabeln kabeln engagiertes engagiertes kabeln'.
{'num_sentences': 1164, 'bleu_score': 5.820867640977842}
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

1 participant