NUBIA, EvalNLGEval'20

[AkihikoWatanabe]

NeUral Based Interchangeability Assessor. A new SoTA evaluation metric for text generation.
https://wl-research.github.io/blog/

[AkihikoWatanabe]

TextGenerationに関するSoTAの性能指標。BLEU, ROUGE等と比較して、人間との相関が高い。

pretrainedされたlanguage model（GPT-2=sentence legibility, RoBERTa_MNLI=logical inference, RoBERTa_STS=semantic similarity）を使い、Fully Connected Layerを利用してquality スコアを算出する。算出したスコアは最終的にcalibrationで0~1の値域に収まるように補正される。

[AkihikoWatanabe]

意味的に同等の内容を述べた文間でのexample

BLEU, ROUGE, BERTのスコアは低いが、NUBIAでは非常に高いスコアを出せている。