[실험] Week2 Special Mission 결과

[JAEWOOSUN]

Week2 Special Mission

Description: * TRADE 모델의 Slot Gate 변경 * TRADE 모델의 Encoder 변경
시작일: 2021년 5월 7일
실험자: 창우 이, Moonjong Shin, 재우 선, 유진 안, HS J
제안자: 재우 선, 창우 이, Moonjong Shin, 유진 안, HS J
종료일: 2021년 5월 10일
진행상황: 진행중
카테고리: Modeling, Training
Issue No. : #22 [Feature] Week2 Special mission

문제 정의

• Mission 1 : Gate 개수 변경해보기
  • ex) none, ptr, dontcare ⇒ none, ptr, dontcare, yes, no (5개)
  • Yes, No를 Gate에 추가해서 사용하게 되면 성능 향상이 있을 것
• Mission 2 : word dropout 적용해보기
• Mission 3 : Encoder를 GRU에서 Transformer encoder (BERT)으로 바꿔보기
• Mission 4 : max_seq_length 핸들하기

---

해결 아이디어

• Mission 1 : Gate 개수 변경해보기

  → Boolean type은 정해져있기 때문에 Open-vocab에서는 "yes", "no"가 아닌 "ok", "not" 등 여러가지로 generation될 수 있다. 따라서 Slot_gate 부분에 정해줌으로써 Boolean type의 slot을 미리 정의해두는 역할을 한다.
  → Slot Generator 부분에서 Yes, No를 추가해 Gate 수를 5개로 늘려주며, 다른 부분의 코드도 수정해준다.

• Mission 2 : word dropout 적용해보기
  → word drop은 모델이 존재하는 한 단어에 너무 많이 의존하지 않도록함으로써 과적 합을 방지하고 견고성을 개선하는데도 도움이 될 수 있습니다.
  [Yoav Goldberg in his NLP book]

  → word dropout을 collate_fn 부분에 넣어줌

• Mission 3 : Encoder를 GRU에서 Transformer encoder (BERT)으로 바꿔보기
  → GRU를 ko_small_minimal Bert로 변경

• Mission 4 : max_seq_length 핸들하기
  → Transformer 계열 encoder로 바꾸면서 발생하는 max sequence length 문제를 해결

---

진행 상황

1. Mission 1 : Gate 개수 변경

• Slot_gate의 개수를 {"none":0, "dontcare":1, "ptr":2} → {"none":0, "dontcare":1, "ptr":2, "yes":3, "no":4} 로 변경

• recover_state 부분에서 dontcare, yes, no의 경우 해당 id로 변경

2. Mission 2 : Word drop 적용

• word_drop을 사용하는 부분을 collate_fn에 추가해서 [UNK] token으로 바꿔주는 역할을 한다.

3. Mission 3 : Encoder를 GRU에서 Transformer encoder (BERT)으로 바꿔보기

• TRADE의 Encoder에 model type BERT를 추가해서 사용

• BERT는 Huggingface의 pretrained BERT를 사용

4. Mission 4 : max_seq_length 핸들하기

• Preprocessor.py의 convert_example_to_feature 함수에서 input_id가 mex_length를 넘어갔을 때 앞쪽부터 잘라준다.

5. Hyperparameter

결과

• gate loss, gen loss는 0.00~ 아래로 떨어짐
• joint_goal_accuracy는 0.4723

• word_dropout을 빼고 진행했을 때 Joint_goal_accuracy가 훨씬 높은 양상을 보임

평가

• Joint Goal Accuracy가 비슷한 양상을 보인 이유는 word_dropout을 넣어주었기 때문에
• word_dropout을 빼고 진행했을 때는 Joint_goal_accuracy가 0.65까지 올라감

후속 실험

• SOTA Model (SOM-DST, Transformer-DST, CHAN-DST)를 사용