Choosing Transfer Languages for Cross-Lingual Learning(ACL 2019)

[akiFQC]

matome information

• matome author: Fukuchi Akihiko
• read date: 20191021

Choosing Transfer Languages for Cross-Lingual Learning

paper information

• authors
  Yu-Hsiang Lin, Chian-Yu Chen, Jean Lee, Zirui Li, Yuyan Zhang, Mengzhou Xia, Shruti Rijhwani, Junxian He, Zhisong Zhang, Xuezhe Ma, Antonios Anastasopoulos, Patrick Littell†, Graham Neubig
• URL
  https://arxiv.org/abs/1905.12688
  https://www.aclweb.org/anthology/P19-1301/

1. What did authors try to accomplish?

コーパスのサイズが小さいなどの理由によりマイナーな言語では、十分な学習精度をえいるためにタスクとは異なるコーパスサイズ大きな言語で事前に学習させ、その後にタ目的のタスク（言語）に転移学習させるという手法が知られている。しかし、ターミナルとなる言語に対して、どの言語から転移学習させるべきかはアドホックに決められていることが多い。そこで、異言語間での転移学習においてどの言語から転移させるべきかをヒューリスティックに決定する方法"LANGRANK"を提案した。

2. What were the key elements of the approach?

LANGRANKは、二言語間の特徴量からタスクの言語に対する複数additionalの言語との転移学習の相性をランキングで出力する。
LANGRANKの学習（評価）タスク：

• machine translation (MT)
• entity linking (EL)
• part-of-speech (POS) tagging
• dependency parsing (DEP)
  特徴量
• Dataset Size
• Type-Token Ratio (TTR): ユニークなtoken数の近さ
• Word Overlap and Subword Overlap
• Geographic distanc - Genetic distance
• Inventory distanc : 音韻の普遍性
• Syntactic distance - Phonological（音韻） distance
• Featural distance : 上の５つを合わせたもの
  モデル: gradient boost dicision tree
  評価指標：Normalized Discounted Cumulative Gain (NDCG)

3. What can you use yourself?

試してみたい。
同じような方針で同一言語内でも事前学習やLMに使うコーパスを決定できそう。
LANGRANKで転移元言語が予測できない言語を調べると、比較言語学的に特殊な言語が見つかりそう！

4. What other references do you want to follow?

言語学に詳しくなさすぎて、特徴量の意味がよくわからない。
rankingの予測の知識がない。

その他メモ

github

• https://github.com/neulab/langrank

official blog

• なし

author's resource

• なし

third person's explanation

• なし

メモ

感想

cross-lingual transferに興味があったので、一番最初に手にとった論文を読んでみたら、かなり実用的内容で読んでいて充実感がありました。
転移元言語の選び方にタスク依存性があるのが気になりました。個人的には、言語とタスクをベクトル化して、両方の情報を用いてzero-shotで未知タスクに対して�転移元言語を選ぶというのも方向性としてあると思いました。

分野全体での立ち位置