Weekly Report #9

4월 2째 주

4월 6일 (월)

이청호 교수님과의 화상미팅 (14-15시)

• 현재까지의 진행상황 보고함

  • 왜 transformer를 사용하지 않았는지 물어보심
    -> 먼저 seq2seq+attention 공부 후 시간 되면 transformer로 하려고 했다고 답변 함.
  • 좋은 성능을 바란다면 transformer를 쓰라고 하심 (성능, 속도에서 훨씬 탁월). 2018년 하반기에 나옴
  • 예) self-attention이라는 개념이 있는데, 하나씩 순차적으로 실행되는 LSTM과 달리 배열을 한 번에 처리하기에 속도가 매우 빠름
  • 공부방향에 대한 조언 : 소스코드를 보고 공부하려 하지 말고 이론을 공부한 후 적용하는 것 권장해주심.
  • 특히 그냥 transformer보다 OpenNMT와 같이 기계번역에 필요한 기능들을 함께 제공해주는 프레임워크를 사용하는 것을 권장

• 결과적으로 조언해주신 것 정리하자면

  • 이론을 공부한 후 오픈소스 프레임워크를 사용하되 한글에 특화되도록 추가하는 것 추천
    • 한글 encoding을 좋게 하기 위한 방안 추가
    • 한글의 특화된 vocab 구성 방식 (전처리)
  • 대화체, 구어체 위주 (약 50만 문장, 뉴스 기사 / 법례 제외)
  • 좋은 성능을 원한다면 대세를 따르는 것 추천 (transformer)

토의 결과

• transformer를 사용하자 -> OpenNMT 사용하기로 결정.

목요일까지 해야할 것

1. OpenNMT 샘플 데이터로 실행해보기
2. 보고서 나눠서 써보기
3. transformer 공부하기
4. 구어체 데이터 다시 저장, 특수문자 다시 제거하기