Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

긍/부정 키워드 추출 모델 #44

Closed
dungbik opened this issue Nov 8, 2021 · 4 comments
Closed

긍/부정 키워드 추출 모델 #44

dungbik opened this issue Nov 8, 2021 · 4 comments
Assignees
Labels

Comments

@dungbik
Copy link
Collaborator

dungbik commented Nov 8, 2021

기반 모델: E2E-ABSA

아키텍처

  • Pre-trained embedding layer: BERT-Base-Uncased (12-layer, 768-hidden, 12-heads, 110M parameters)
  • Task-specific layer:
    • Linear
    • Recurrent Neural Networks (GRU)
    • Self-Attention Networks (SAN, TFM)
    • Conditional Random Fields (CRF)

학습 데이터

  • But the staff was so horrible to us.####But=O the=O staff=T-NEG was=O so=O horrible=O to=O us=O .=O
@dungbik dungbik added documentation 문서 enhancement 새로운 기능 혹은 보완 labels Nov 8, 2021
@dungbik dungbik self-assigned this Nov 8, 2021
@dungbik dungbik added plan 계획 and removed enhancement 새로운 기능 혹은 보완 labels Nov 8, 2021
@dungbik
Copy link
Collaborator Author

dungbik commented Nov 8, 2021

모델 학습을 위한 데이터 생성

  • tagging strategies/schemes: BIEOS
  • 크롤링된 한국어 리뷰를 아래의 형태로 라벨링 할 수 있는 툴 제작 필요
    • But the staff was so horrible to us.####But=O the=O staff=T-NEG was=O so=O horrible=O to=O us=O .=O

@dungbik
Copy link
Collaborator Author

dungbik commented Nov 8, 2021

기반 모델에서 수정이 필요한 것

  • Pre-trained embedding layer를 영어로 학습된 BERT가 아닌 한국어로 학습된 것으로 변경
  • 영어/한국어로 학습된 BERT들은 서로 Parameter가 다르기에 이를 수정해야 함
  • 현재 모델은 영어에 최적화된 형태로 BERT에 문장을 넣기 때문에 이를 한국어에 최적화 시켜야 함
  • BERT를 그냥 사용하면 예측 결과가 좋지 않기에 finetune 작업이 필요

@dungbik
Copy link
Collaborator Author

dungbik commented Nov 8, 2021

Task-specific layer 선정

  • 다양한 형태가 있기에 모두 적용해보고 성능이 가장 좋은 것을 택하여 사용할 예정

@dungbik
Copy link
Collaborator Author

dungbik commented Dec 3, 2021

TFM Layer가 가장 성능이 좋기에 이를 사용하기로 함

@dungbik dungbik closed this as completed Dec 4, 2021
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
Projects
None yet
Development

No branches or pull requests

1 participant