언더피팅 해결하기

[eubinecto]

Why?

#21 에서 학습을 진행해보았을 때, 학습데이터조차 제대로 학습을 못함 (그리고 loss가 굉장히 튄다). 하지만 아주 조그마한 데이터셋에서는 오버피팅이 되는 것을 확인했었음. 이는 그렇다면.. 가중치 capacity의 문제이거나, learning rate를 제대로 지정하지 못했거나, tokenizer의 문제, 셋 중 하나일 것이다.

아... 그러고 보니 테스트 한답시고 배치 사이즈를 3으로 뒀었는데, 이후 이걸 변경을 안했었다.. 하하..

How?

• 우선 학습을 하긴 하는 것인지 확인하기 위해 training epoch도 decoding 로깅을 하자 (training step도 정성적 평가)
• learning rate 문제 -> learning rate -> decrease on plateau.
• 모델 capacity 문제 -> ffn = 2048, depth= 5까지 올려보자.
• batch_size -> 128로 올리기