Weekly Report #4

3월 1째 주 (코로나 확진자 4212명..)

3월 2일 (월)

• 오늘 한 것

  • affine 계층이 무엇인지 알게 되었다. (클래스 개수로 벡터 크기 변환해주는 것)
  • mask 기능을 알게 되었다. (패딩되는 부분 체크하여 0으로 보내려고..)
  • Search와 BeamSearch 는 나중에 하자...
  • seq2seq 파일을 분리했다. - encoder, decoder(generator 포함), seqseq, attention으로
  • train.py, trainer.py에 대해 공부해서 어떻게 적용할지..
  • trainer 왜 이렇게 많지?

• 목요일까지 할 것

  • trainer.py 공부해오기
  • 맡은 부분 공부해오기 (dual_trainer 2명, lm_trainer, rl_trainer, rnnlm)
  • train 과정에 대한 전반적 흐름 공부해오기.
  • main 어떻게 짤건지 고민 해오기 main에 따라 코드가 달라질 듯.

3월 5일 (목)

• dual_trainer : x to y, y to x가 있는 것으로 보아, 한영, 영한을 둘 다 학습하는 게 아닐까? 생각을 함

• 우리가 trainer를 짜보자.(?)

• trainer.py를 상속받아서 만들어진게 lm_trainer, rl_trainer인 것 같다. 그래서 셋 중 하나 사용하면 되지 않을까?

  • 그래서 lm_trainer.py를 사용하기로 함..

rnn : 입력과 출력을 sequence 단위로
rnnlm : 입력 단어로 출력 단어를 예측.
그래서 우리 기계번역에서 학습할 때는 rnnlm으로 학습하고, 예측할 때는 seq2seq 쓰는건가?
lm_trainer : Seq2Seq 적용 x
dual_trainer : Seq2Seq 적용 o
출력했을 때, Encoder-Decoder-Attention-Decoder- ... -Decoder-Attention-Generator 반복 확인

---

다음 주까지 해야할 것.

• rnnlm에 대해 공부해보자! (어떻게 작동하는지)
• rnnlm과 lm_trainer의 상관관계. print문 오지게 넣어서 흐름 파악하기. 자기딴에 그림그려오기.