BioBERT: a pre-trained biomedical language representation model for biomedical text mining

[hideyoshikato]

0. 論文

https://arxiv.org/abs/1901.08746

1. 要約

問題：NLPを生物医学文書に直接適用すると，一般的なドメインコーパスから生物医学コーパスへの単語分布のシフトによって，満足のいく結果が得られない
対処法：pretrainされたBERTによってドメイン適応させる
結果：biomedical named entity recognition1，biomedical relation extraction，biomedical question answering3

2. 先行研究との差異

BERTを生物医学コーパスのドメイン適応させた点

3. 技術や手法のポイント

生物医学コーパスでpre-training

4. 有効性の検証方法

使用データ：生物医学コーパス
対戦相手：BERT (Devlin et al., 2019)，BioBERT (þPubMed) ，BioBERT (þPMC)，BioBERT (þPubMed þ PMC)
評価指標：F1スコア，MRR

5. 議論

6. 次に読む論文

7. メモ

*1 biomedical named entity recognition・・・文章の中から生物医学専門用語を認識して文章を分類するタスク
https://medium.com/@Hironsan/biomedical-named-entity-recognition-5404c4d15c61
*2 biomedical relation extraction・・・生物医学関係を可視化するタスク
https://www.sciencedirect.com/science/article/pii/S1532046418300534
*3 biomedical question answering・・・医学質問への応答を作成するタスク．
https://www.aclweb.org/anthology/W18-5308/