Weekly Report #8

4월 1째 주

3월 30일 (월)

향후 계획

• GPU 서버 사용, JS HAN 교수님께 그래픽 카드 문의
• translate.py 완성
• transformer 한번 공부해보자

[해야 할 것]
-translate.py 완성

[실험 계획]

• hyperparameters 조정하며 결과 비교 (lr, epoch, batch size, dropout rate, lstm/gru, hidden size, teacher forcing rate, max length 등)

2. transformer
   -할 수 있는 건 해보자

3. 추가 기능
   -vocab
   -영어 토큰화할 때 띄어쓰기 분류 vs sentence_piece 사용
   -다양한 embedding(nn.embedding vs pretrained)
   -learning scheduling
   -새로운 기눙S2

[교수님 만나뵈면....만약 - (목)3시-새빛관]

1. 특수기호를 vocab에서 어떻게 처리하면 좋을지
2. 필요한 전처리가 뭐가 있는지
   -대소문자 -> 모두 소문자...?
3. 손글씨
   -이미지, 텍스트
   4.아이디어....ㅎㅎㅎ

실험계획

4월 2일 (목)

교수님과 미팅

• 5월 중순에 완료해야. (1주일 동영상 제작기간 고려하면 1달 반 남음)

• 손글씨 인식은 어렵지 않을 것 같다고 말씀해주심.

• 보여주는 것이 목적이라면 input interface를 다양하게 하는 것도 아이디어.

• 정자체가 들어갔을 때 / 손글씨 썼을 때도 비교..? -> 근데 이건 인식하는걸 우리가 만든게 아니고 api 쓰게 될 경우 의미 없을듯..?

• tts (text2speech) 이렇게 해도 괜찮을 것 같다고 말씀해주심.

• 전처리 방안 : 특수문자는 어떻게? -> 예외처리? 전처리의 목적이 명확해야. 왜 해야하는건지 생각해보세요.

• 인식률 좋아지는 것이 목적이죠..?

• 데이터셋을 살펴보고 feature extraction을 더 집중해보는건 어떨까. 전처리

• 특수기호들은 tf-idf처럼 패널티를 준다거나 하면 어떨까?

• 특수문자 없이 넣었을때 (plain) 그것부터 제대로 번역을 해주는지 그것부터 확인!

• 특수문자 넣어서 했을때랑 비교해봐도 괜찮을 것 같아요.

• 엔지니어가 아니니까 단순한 것부터 시작해보세요.

미팅 후 앞으로 방향 논의

• Plain data 만 가지고 데이터셋 새로 저장해보자. (특수문자 X, 한글 / 영어 only)
• 남길 기호 : . , ! ? : 영서 언니
• teacher forcing, beam search 공부하기 -> 공부한 내용 discussion 다같이
• translate 고치기 (에러 고치기) -> 지환언니, 동영언니, 정원이
• 손글씨 API 도전 소영