tutorials/normalizer_usage.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "현재 soynlp 의 버전은 0.0.46 입니다. 다섯 가지 normalizer 를 제공합니다.\n",
    "\n",
    "1. emoticon_normalize\n",
    "1. repeat_normalize\n",
    "1. only_hangle\n",
    "1. only_hangle_number\n",
    "1. only_text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.0.46\n"
     ]
    }
   ],
   "source": [
    "import sys\n",
    "sys.path.insert(0, '../')\n",
    "import soynlp\n",
    "from soynlp.normalizer import *\n",
    "\n",
    "print(soynlp.__version__)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "대화 텍스트, 인터넷 텍스트의 이모티콘에서는 반복되는 글자들과 자음/모음의 이모티콘이 만나는 점에서 완전한글이 만들어지는 경우가 있습니다. emoticon_normalize 는 반복되는 글자를 줄이고, 자음/모음 이모티콘을 분해합니다. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'ㅋㅋㅜㅜ'"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "emoticon_normalize('ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ쿠ㅜㅜㅜㅜㅜㅜ')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "반복되는 글자의 축약 횟수는 num_repeats 로 조절할 수 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'ㅋㅋㅋㅋㅜㅜㅜㅜ'"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "emoticon_normalize('ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ쿠ㅜㅜㅜㅜㅜㅜ', num_repeats=4)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "repeat_normalize 의 num_repeats 의 기본값은 2입니다. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'와하하핫'"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "repeat_normalize('와하하하하하하하하하핫')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "반복되는 글자의 축약 횟수는 n_repeats 로 조절할 수 있습니다. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'와하하하핫'"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "repeat_normalize('와하하하하하하하하하핫', num_repeats=3)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "한글 글자만 남기고 싶을 경우에 only_hangle 을 이용할 수 있습니다. 한글이 아닌 글자는 빈칸 처리 됩니다. 연속된 빈칸은 한 칸만 남겨집니다. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'가나다ㅏㅑㅓㅋㅋ쿠ㅜㅜㅜ 아핫'"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "only_hangle('가나다ㅏㅑㅓㅋㅋ쿠ㅜㅜㅜabcd123!!아핫')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "한글과 숫자만 남기고 싶을 경우에 only_hangle_number 를 이용할 수 있습니다. 한글이 아닌 글자는 빈칸 처리 됩니다. 연속된 빈칸은 한 칸만 남겨집니다. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'가나다ㅏㅑㅓㅋㅋ쿠ㅜㅜㅜ 123 아핫'"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "only_hangle_number('가나다ㅏㅑㅓㅋㅋ쿠ㅜㅜㅜabcd123!!아핫')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "알파벳, 한글, 숫자, 문법 기호(!?.,\"') 만 남기고 싶을 경우에 only_text 를 이용할 수 있습니다. 해당 글자가 아닌 경우 빈칸 처리 됩니다. 연속된 빈칸은 한 칸만 남겨집니다. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'가나다ㅏㅑㅓㅋㅋ쿠ㅜㅜㅜabcd123!!아핫'"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "only_text('가나다ㅏㅑㅓㅋㅋ쿠ㅜㅜㅜabcd123!!아핫')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.2"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}