We’re Afraid Language Models Aren’t Modeling Ambiguity, Liu+ (w/ Noah A. Smith), University of Washington, arXiv'23

[AkihikoWatanabe]

https://arxiv.org/abs/2304.14399

[AkihikoWatanabe]

LLMが曖昧性をどれだけ認知できるかを評価した初めての研究。
言語学者がアノテーションした1,645サンプルの様々な曖昧さを含んだベンチマークデータを利用。
GPT4は32%正解した。
またNLIデータでfinetuningしたモデルでは72.5%のmacroF1値を達成。
応用先として、誤解を招く可能性のある政治的主張に対してアラートをあげることなどを挙げている。