Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks

[icoxfog417]

一言でいうと

機械学習で用いられるベンチマークのデータセット内にある、誤ったラベルのデータを訂正した研究。画像はImageNetやCIFAR等、自然言語はIMDB等、音声はAudioSet等各タスクで検証している。全体として3.4%程度誤りがあり訂正すると小さいモデルの方が精度が高くなる傾向がある

論文リンク

https://arxiv.org/abs/2103.14749

著者/所属機関

Curtis G. Northcutt, Anish Athalye, Jonas Mueller

• ChipBrain
• MIT
• Amazon

投稿日付(yyyy/MM/dd)

2021/3/26

概要

新規性・差分

手法

結果

コメント