NLP 강의 Further Reading에 소개된 논문을 읽는 스터디입니다.
| 날짜 | 논문 | 연도 | 발표자 | 정리 자료 | 코드 |
|---|---|---|---|---|---|
| 3/18 | Efficient Estimation of Word Representations in Vector Space | NeuraIPS 2013 | 문찬국 | week1 | CBOW Skip-gram |
| 3/28 | BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding | 2018 |
- 저자가 풀려고 하는 문제는 어떤 것인가?
- 어떤 식으로 해결하고자 했는가. 어떤 장점이 있는가(시간 여유가 된다면, 이전에는 어떤 방법이 있었고 그 방법들의 단점)
- 그 방법에 대한 intuition (수학 없이)
- 방법에 대한 이해(수학적으로)
- 방법의 성공성을 보여주기 위해 사용한 데이터, 메트릭, 성능비교
- 부족하다 생각되는 것, 애매한 것, 혹은 좋았던 점 등의 Discussion point
- 스터디 시간 : 금요일 피어세션 시간(4-5시), 고정 스터디 시간은 나중에 다시 정하기
- 스터디 분량 : 매주 1개씩
- 참여자 모두 논문을 읽고, 모임 전날까지 최소 질문 1개를 github issue에 올리기(+ 답변을 안다면 답변 달아주기!)
- 참여자 모두 각자 정리한 내용 업로드
- 발표자 : 모임 하루 전에 랜덤 선택. 발표 자료는 자유 양식(PPT, 각자 정리한 자료 등)
- 논문 발표 : 발표자는 발표 후 정리 내용 해당 레포 폴더를 만들어 업로드. 발표자 외 사람 중 공유하고 싶은 사람은 issues에 남기거나 file upload 에 마찬가지로 링크 추가 가능(자율)
- 코드 설명: 해당 논문 발표자는 다음주차에 코드뷰 설명(e.g, 어떤 라이브러리로 쉽게 쓸 수 있는지 usage 설명, 알고리즘이 복잡한 경우 코드뷰로 어떻게 구현되었는지 설명 등 본인 기호에 맞게)
- 발표 분량 : 논문 발표 20-30분/ 코드 설명 20분/ 질의응답 & 논문 읽을 때 막힌 부분 공유 20분~
읽고 싶은 논문 자유롭게 올려주세요!
8주차
- Distributed Representations of Words and Phrases and their Compositionality(NIPS 2013)
- GloVe (EMNLP 2014)
- Seq2Seq (ICML 2014)
- Effective Approaches to Attention-based Neural Machine Translation (EMNLP 2015)
8주차
- DALL-E: Zero-Shot Text-to-Image Generation
- CLIP: Learning Transferable Visual Models From Natural Language Supervision
김태일, 문찬국, 이재학, 하성진, 한나연
논문을 정리하는 틀과 issues를 통한 discussion이 좋았던 깃헙 레포 참고
리딩 리스트를 참고한 NLP Must Read paper 정리된 깃헙 레포 참고
국내 NLP 리뷰 모임 참고 (season1의 beginners에 중복되는 논문들 있어요!)