Neural rescorer with Transducer models .tsv preds file

[asierhv]

Hi, I have a question about how to perform Neural Rescoring on Conformer_Transdcuer models using the .tsv file generated by the script 'eval_beamsearch_ngram_transducer.py' (while pred_output_folder flag is defined) as input of the script 'eval_neural_rescorer.py'.

It seems that the lines contained on the .tsv file should be equal to num_eval_examples x beam_size as it is in the .tsv file generated by the script 'eval_beamsearch_ngram.py' made for CTC models, but it is not. The number of candidates for every possible text it's not equal, so i suppose it's not possible for the eval_neural_rescorer.py script to know which candidate correspond to each text.

Is it something I am doing wrong when executing the script 'eval_beamsearch_ngram_transducer.py'? (I have not modified the script)

I will show here the candidates obtained for the first 4 texts obtained in a .tsv file for a ctc model using 'eval_beamsearch_ngram.py' and another .tsv file for a transducer model using 'eval_beamsearch_ngram_transducer.py'(The results are in basque language and are tested on the same dataset)

• preds_out_width6_alpha2.0_beta2.0.tsv file for CTC Model using 'eval_beamsearch_ngram.py':
  baina hasierako urtetan ez zioten sukurik atera 14.484338760375977
  baina hasierako urteetan ez zioten sukurik atera 11.438727378845215
  baina hasierako urtetan ez zioten sukurik atera 7.1176862716674805
  baina hasierako urtetan ez zioten sukuri atera 5.809741020202637
  baina hasierako urteetan ez zioten sukurik atera 4.064481258392334
  baina hasierako urtetan ez zioten sukurik atzera 1.7632074356079102
  hezkuntzak prestatu zituen probak isa eta antzekoak eredu 17.59803581237793
  hezkuntzak prestatu zituen probak iza eta antzekoak eredu 14.376283645629883
  hezkuntza prestatu zituen probak isa eta antzekoak eredu 13.946122169494629
  hezkuntzak prestatu zituen probak isa eta antzekoak ere ba 6.869688034057617
  hezkuntzak prestatu zituen probak isa eta antzekoak ere 5.138604640960693
  hezkuntzak prestatu zituen probak isa eta antzekoak ere badu 5.133480548858643
  non demontre dago langai oka eta non boli kosta -3.6332926750183105
  non de montre dago langai oka eta non boli kosta -3.945390224456787
  non demontre dago langai oka eta non bolikosta -4.5529327392578125
  non de montre dago langai oka eta non bolikosta -4.869080066680908
  non den montre dago langai oka eta non bolikosta -5.981395721435547
  non demontre dago langai oka eta non bolikostar -9.953575134277344
  hiru kartilago ehun mota desberdin daude 19.45046043395996
  hiru kartilago ehunka mota desberdin daude 10.354389190673828
  hiru kartilagoa ehun mota desberdin daude 9.078032493591309
  hiru kartilago ehun mota desberdin dauden 8.573250770568848
  hiru kartilago ehun mota desberdin daude 8.468384742736816
  hiru kartilago ehun mota desberdin daudela 1.4770199060440063

• preds_out_maes_bw6_ma2_mg7.29_ba0.55.tsv file for Transducer Model using 'eval_beamsearch_ngram_transducer.py':
  baina hasierako urtetan ez zioten sukurik atera -31.338239225184168
  baina hasierako urtetan ez zioten zukurik atera -34.622393877932765
  baina hasierako urteetan ez zioten sukurik atera -37.59268088761919
  hezkuntzak prestatu zituen probak iza eta antzekoak eredu -37.41182091823058
  hezkuntza prestatu zituen probak iza eta antzekoak eredu -37.981011493731906
  hezkuntzak prestatu zituen probak iza eta antzekoak ere du -40.47050952891439
  hezkuntza prestatu zituen probak iza eta antzekoak ere du -41.02810529793501
  non demontre dago langara zoka eta non boli kosta -50.451123277365525
  non demontre dago langara soka eta non boli kosta -50.92079217690792
  non demontre dago langara zoka eta non bolikosta -53.37025921544797
  non demontre dago langara soka eta non bolikosta -53.79971122084972
  hiru kartilago ehun mota desberdin daude -26.85487343109121
  hiru artilago ehun mota desberdin daude -33.13551946820536

As you can see for the CTC model are 6 lines for every text, but on Transducer model are 3 lines for the frist, 4 lines for the second, 4 lines for the third and 2 lines for the fourth.

Hope you can help me with this issue
Thanks in advance

[titu1994]

Transducer beam search is not guarenteed to generate the exact same number of beams as requested - its more of a max than a required number of beams. This is due to the mAES algorithm which performs pruning internally to speedup computation.