긍/부정 키워드 추출 모델

[dungbik]

기반 모델: E2E-ABSA

아키텍처

• Pre-trained embedding layer: BERT-Base-Uncased (12-layer, 768-hidden, 12-heads, 110M parameters)
• Task-specific layer:
  • Linear
  • Recurrent Neural Networks (GRU)
  • Self-Attention Networks (SAN, TFM)
  • Conditional Random Fields (CRF)

학습 데이터

• But the staff was so horrible to us.####But=O the=O staff=T-NEG was=O so=O horrible=O to=O us=O .=O

[dungbik]

모델 학습을 위한 데이터 생성

• tagging strategies/schemes: BIEOS
• 크롤링된 한국어 리뷰를 아래의 형태로 라벨링 할 수 있는 툴 제작 필요
  • But the staff was so horrible to us.####But=O the=O staff=T-NEG was=O so=O horrible=O to=O us=O .=O

[dungbik]

기반 모델에서 수정이 필요한 것

• Pre-trained embedding layer를 영어로 학습된 BERT가 아닌 한국어로 학습된 것으로 변경
• 영어/한국어로 학습된 BERT들은 서로 Parameter가 다르기에 이를 수정해야 함
• 현재 모델은 영어에 최적화된 형태로 BERT에 문장을 넣기 때문에 이를 한국어에 최적화 시켜야 함
• BERT를 그냥 사용하면 예측 결과가 좋지 않기에 finetune 작업이 필요

[dungbik]

Task-specific layer 선정

• 다양한 형태가 있기에 모두 적용해보고 성능이 가장 좋은 것을 택하여 사용할 예정

[dungbik]

TFM Layer가 가장 성능이 좋기에 이를 사용하기로 함