텍스트 마이닝 실습에 이용되는 데이터셋을 핸들링하는 함수 집합입니다.
lovit_textmining_dataset 의 하위 폴더들은 각 데이터셋의 이름이며 현재 정리된 데이터셋의 이름은 아래와 같습니다. 데이터 별 특징은 각 데이터 폴더 안의 README 에 기록하였습니다.
| Dataset name | Description |
|---|---|
| navermovie_comments | 네이버영화에서 수집한 영화별 사용자 작성 커멘트와 평점 |
| navernews_10days | 네이버뉴스에서 수집한 2016-10-20 ~ 2016-10-29 (10일) 간의 뉴스와 댓글 |
폴더는 아래처럼 구성되어 있습니다. 데이터셋 폴더 아래의 data 는 각 데이터셋별 raw data 이며, models 는 raw data 를 이용하여 학습을 한 모델들이 저장된 폴더 입니다. 예를 들어 영화 평점 분류 문제를 위하여 텍스트들로부터 Bag-of-Words Models 를 만들고, 이를 이용하여 학습데이터 (X, Y) 를 미리 만들어 둘 수 있습니다. 이러한 모델들을 models 안에 모아뒀습니다.
각 데이터셋 안에는 데이터셋 핸들링에 관련된 Python 파일들이 포함되어 있습니다. 사용법은 각 데이터 폴더 안의 README 를 참고하세요.
lovit_textmining_dataset
|-- navermovie_comments
|-- __init__.py
|-- loader.py
|-- README.md
|-- data
|-- data_large.txt
|-- ...
| models
|-- ...
|-- navernews_10days
|-- __init__.py
|-- loader.py
|-- README.md
|-- data
|-- 2016-10-20.txt
|-- ...
| models
|-- ...
Github 에 데이터 파일을 저장하면 불편한 점들이 있어서 github 에서는 패키지 함수들을 제공하고, 이 함수를 이용하여 모델을 다운로드 받습니다. 즉 github 의 코드에는 위의 디렉토리 구조에서 navermovie_comments/loader.py 는 존재하지만, navermovie_comments/data 폴더는 존재하지 않습니다. 이는 fetch 함수를 이용하여 다운로드 합니다.
데이터 패키지는 git clone 을 이용하여 설치합니다.
git clone https://github.com/lovit/textmining_dataset.git
cd textmining_dataset
python setup.py install
설치 후 version_check 함수를 이용하여 현재 설치된 데이터들과 설치해야 할 데이터들을 확인합니다. local 의 버전과 data repository 의 버전을 확인합니다.
from lovit_textmining_dataset import version_check
version_check()README 작성 당시 두 개의 데이터셋 각각 data 와 models 를 제공하고 있습니다. 네 개의 파일 모두 설치가 되지 않았다는 메시지가 출력됩니다.
[navermovie_comments.data] newly uploaded. need to download
[navermovie_comments.models] newly uploaded. need to download
[navernews_10days.data] newly uploaded. need to download
[navernews_10days.models] newly uploaded. need to download
fetch 함수를 이용하여 데이터를 다운로드 받습니다.
from lovit_textmining_dataset import fetch
fetch()Update 혹은 download 해야 하는 파일들을 다운로드 받아 설치합니다.
[navermovie_comments.data] newly uploaded. need to download
- successed to download navermovie_comments.data.zip
- successed to unzip navermovie_comments.data
[navermovie_comments.models] newly uploaded. need to download
- successed to download navermovie_comments.models.zip
- successed to unzip navermovie_comments.models
[navernews_10days.data] newly uploaded. need to download
- successed to download navernews_10days.data.zip
- successed to unzip navernews_10days.data
[navernews_10days.models] newly uploaded. need to download
- successed to download navernews_10days.models.zip
- successed to unzip navernews_10days.models
설치가 완료되면 version_check 나 fetch 를 실행시켜도 아래처럼 메시지가 출력됩니다.
fetch() # or version_check()
[navermovie_comments.data] is latest version (0.0.1)
[navermovie_comments.models] is latest version (0.0.1)
[navernews_10days.data] is latest version (0.0.1)
[navernews_10days.models] is latest version (0.0.1)
모든 데이터가 아닌 하나의 데이터만을 download 혹은 update 할 수 있습니다.
navernews_10days 의 models 만 업데이트 하려면 아래처럼 입력합니다. content 는 dataset 의 하위 폴더 입니다.
fetch(dataset='navernews_10days', content='models')navernews_10days 의 data 와 models 를 모두 다운로드 하려면 dataset 만 지정합니다.
fetch(dataset='navernews_10days')각 데이터셋마다 제공되는 함수가 다릅니다. 데이터셋의 README 에 각 데이터셋이 제공하는 함수들의 사용법을 정리하였습니다. 아래 문서들을 살펴보세요.
- navernews_10days: 2016-10-20 ~ 2016-10-29, 10 일 간의 뉴스 및 뉴스 댓글 데이터
- navermovie_comments: 네이버 영화에서 수집한 영화 평, 평점 데이터