논문 링크: Transformer
Transformer는 자연어 처리 분야에 있어 혁명을 불러일으킨 모델로, CNN이나 RNN을 사용하지 않고 오로지 Attention mechanism만을 사용했다는 특징을 가지고 있다. Transformer의 구조는 다음과 같다.
구조가 복잡했지만 직접 코드를 작성하며 실습해보니 구성 요소를 제대로 파악할 수 있었다.
P.S. 원래 코드는 왜인지 모르겠지만 Multi30k dataset을 불러오는 데 문제가 발생해서 데이터셋을 받는 부분의 코드를 수정했다.