Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Fetch only 기능 제공 #53

Closed
lovit opened this issue Sep 6, 2020 · 1 comment
Closed

Fetch only 기능 제공 #53

lovit opened this issue Sep 6, 2020 · 1 comment

Comments

@lovit
Copy link
Member

lovit commented Sep 6, 2020

  • 데이터를 손쉽게 로딩하는 기능 뿐 아니라, 데이터를 다운로드만 받는 기능도 제공해야 합니다.
  • 언어 모델을 학습하는 경우에는 용량이 큰 파일을 다운로드만 받은 후 파일 상태에서 학습에 이용하기도 합니다. 이를 위해서는 Korpora.load 기능 외에 아래와 같은 기능이 제공되어야 합니다.
Korpora.fetch('all')
Korpora.fetch('namuwikitext')
@lovit
Copy link
Member Author

lovit commented Sep 6, 2020

이를 위해서는 두 종류의 작업이 진행되어야 합니다.

  1. 각 Korpus 클래스의 init 함수 내에 구현되어 있는 fetch 기능 부분을 class 외부의 함수로 분리합니다.
  2. Korpora.loader.Korpora 클래스에서 fetch 라는 classmethod 를 구현, 이 때 입력되는 코퍼스 이름에 따라 해당 코퍼스의 fetch 함수를 실행합니다.

lovit added a commit that referenced this issue Sep 8, 2020
lovit added a commit that referenced this issue Sep 8, 2020
lovit added a commit that referenced this issue Sep 8, 2020
@lovit lovit mentioned this issue Sep 8, 2020
3 tasks
lovit added a commit that referenced this issue Sep 9, 2020
lovit added a commit that referenced this issue Sep 9, 2020
Korpora.fetch('kcbert') 는 PR #67 이 완료되어야 구현 가능합니다.
@lovit lovit mentioned this issue Sep 9, 2020
3 tasks
@ratsgo ratsgo closed this as completed Sep 10, 2020
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

No branches or pull requests

2 participants