stopwords 생성 기능 통합

[hexists]

stopwords 생성 기능 통합

• stopwords 기능 구현 konlpy/konlpy#310 (comment)
• stopwords 기능 관련 피드백 반영 test_konlpy#7

pr에 대한 의견을 반영하여 stopwords 생성 스크립트를 추가합니다.

[hexists]

작업 내용

• https://github.com/hexists/konlpy/blob/master/scripts/mecab.sh
• scripts/mecab.sh 을 참고하여, stopwords.sh 스크립트를 개발합니다.
• stopwords.sh 스크립트는 여러 출처의 stopwords를 수집하고, convert_table을 이용하여 stopwords.morph.txt, stopwords.word.txt를 생성합니다.
• https://github.com/hexists/konlpy/tree/master/konlpy/data/corpus/stopwords
• 이미 konlpy/data/corpus/stopwords 에 해당 파일을 추가했고, 필요시 사용하는 스크립트 입니다.

[hexists]

참고

• ranksnl은 커맨드를 이용하여 다운로드가 어렵고, 직접 편집이 필요합니다.
• 또한 라이센스 이슈도 우려되어 이번 작업에서 제거했습니다.