NLP_BERT_GPT

Do it! BERT와 GPT로 배우는 자연어 처리 를 기반으로 자연어 처리를 공부합니다.

• 기본 베이스 코드 : https://ratsgo.github.io/nlpbook/docs/tutorial_links

• 코드에 사용되는 패키지 : https://github.com/ratsgo/ratsnlp

• 사용하는 기본 라이브러리

  • Pytorch
  • Pytorch-lightning
  • Transformers

• 유의점 (2022 / 04 / 15 추가)
  
  

  문제점 : ImportError
  
  
  
  이유 : ratsnlp 패키지의 requirements.txt로 설치되는 PyTorch-Lightning 버전 노후화 (ver.1.3.4 사용)
  
  
  
  현재 PyTorch-Lightning의 최신버전은 1.6.1이다. 여기서 버전 1.3.4는 _init_.py에 metrics 를 import하며 그 이후로 torchmetrics/utilities/data.py의 get_num_classes 함수를 가져오는 코드가 포함 되어있다. 해당 부분이 문제가 된다. ratsnlp 패키지는 따로 metrics 버전을 지정하지 않아 PyTorch-Lightning에서 자동으로 최신버전으로 설치된다. 2022 / 04 / 14 에 metrics의 버전이 0.7.0에서 0.8.0으로 패치가 되면서 해당 함수가 삭제가 되었다. 따라서 ImportError가 뜨게 된다.
  
  
  
  해결방법 1. PyTorch-Lightning의 버전을 업그레이드 시킨다. (2022 / 04 /15부터 commit한 Chapter 7 부터 적용)

  !pip install ratsnlp
  !pip install --upgrade pytorch-lightning
  

  PyTorch-Lightning의 버전중 1.5.0 부터 _init_.py에 metrics를 import하지 않는다. 따라서 버전 1.5.0 이상으로 업그레이드시 위의 문제점으로 인한 에러는 뜨지 않게 된다.
  
  
  
  해결방법 2. ratsnlp 패키지를 설치 후 자동으로 설치된 metrics를 삭제후 0.7.0 버전으로 재설치 한다.

  !pip install ratsnlp
  !pip uninstall torchmetrics
  !pip install torchmetrics==0.7.0