Conceptual Captions: A Cleaned, Hypernymed, Image Alt-text Dataset For Automatic Image Captioning

[soneo1127]

0. 論文

Google Blog: https://ai.googleblog.com/2018/09/conceptual-captions-new-dataset-and.html
pdf: https://aclweb.org/anthology/P18-1238

1. どんなもの？

・ネット上のIMGタグのALT属性からキャプションと画像を収集したConceptual Captions datasetを公開
・Conceptual Captionsと名付けられたこの手法はスケーラビリティが高く応用範囲が広い

2. 先行研究と比べてどこがすごい？

・従来のMS-COCOデータセットと比較して一桁多い枚数がある。（3M）

3. 技術や手法のキモはどこ？

まず、AltテキストのHTML属性を持つWebから画像を取得する
400 px 以下は削除
成人向けテーマなどの望ましくないコンテンツを回避
Google Cloud Vision APIsの分類を用いてラベル付けし、キャプションと合致していない場合は削除
テキストベースのフィルタリングを適用して、説明的ではないテキスト（ハッシュタグ、文法不良、または画像に関連しない追加言語など）のキャプションを削除
感情的な極性や成人向けのコンテンツを含むテキストも破棄

固有名詞を、一般的な概念の名詞に自動変換した（たとえば、元レッドカーペットのMiss World Priyanka Chopraは"レッドカーペットの俳優 "）（すごい）

4. どうやって有効だと検証した？

COCOと、異なるモデルを使用して比較
アーキテクチャ（RNNまたはTransformer）に関係なく、競合するアプローチよりも一般化されていると結論付けた

5. 議論はある？

6. 次に読むべき論文は？