ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS(ICLR 2020)

[kirinsannnnnnnnnn]

matome information

• matome author: Yuta Tsuchizawa
• read date: 20191008

ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS

paper information

• authors
  • Zhenzhong Lan: Google Research
  • Mingda Chen: Toyota Technological Institute at Chicago
    • Work done as an intern at Google Research, driving data processing and downstream task evaluations.
  • Sebastian Goodman: Google Research
  • Kevin Gimpel: Toyota Technological Institute at Chicago
  • Piyush Sharma: Google Research
  • Radu Soricut: Google Research
• URL
  • ALBERT: A Lite BERT for Self-supervised Learning of Language Representations | OpenReview

1. What did authors try to accomplish?

• BERTを効率よく学習できるように軽量化し、さらに精度改善を試みた

2. What were the key elements of the approach?

• 軽量化・高速化
  1. factorizing embedding parameterization
  2. cross-layer parameter sharing
  • 結果、trainingがパラメータが18倍少なくなり1.7倍高速化した
• 精度改善
  1. (NSP)Next Sentence Prediction → (SOP)Sentence Order Prediction
  • w/self-supervised loss
• 評価
  • GLUE, SQuAD, RACEでsota

3. What can you use yourself?

• 単純に一回試してみたい

4. What other references do you want to follow?

• XLNetやRoBERTaを読んでないので読みたい
• このへんとかGitHub - tomohideshibata/BERT-related-papers: BERT-related papers

その他メモ

github

• 中国の方による実装
  • GitHub - brightmart/albert_zh: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS, 海量中文预训练ALBERT模型

official blog

• なし

author's resource

• なし

third person's explanation

• BERTはまだまだ進化する！軽くて強いALBERTが登場！ | AI-SCHOLAR
• Tomohide Shibataさんのツイート: "Googleの新作 (ICLR2020 under review) ALBERT: A Lite BERT for Self-supervised Learning of Language Representations 総パラメータが少なくなり、速くなり、精度が向上。GLUE, RACE, SQuADでSOTA。 これは決定版になりそう。 https://t.co/gI56WaHnbn 詳細は以下↓"
• The Stanford Question Answering Dataset
  • SQuADのleaderboard
• ALBERT: A Lite BERT for Self-supervised Learning of Language Representations · Issue #1401 · arXivTimes/arXivTimes · GitHub

感想

• Cross-Layer Parameter SharingとFactorized Embeddingで永続化する必要があるパラメータ数は10~30倍減ったのはすごい
  • ALBERT xlargeでBERT baseよりパラメータが少なく精度が高いので試す価値は十分ありそう
• 一方で計算時間は2倍程度早くなっている
  • 本番運用する上ではこちらも重要なので今後の高速化に期待したい

分野全体での立ち位置

• BERTを改善しました系