tutorials/tagger_usage.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "현재 튜토리얼을 작성하는 버전은 soynlp=0.0.4 입니다. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.0.41\n"
     ]
    }
   ],
   "source": [
    "import sys\n",
    "sys.path.append('../')\n",
    "import soynlp\n",
    "\n",
    "print(soynlp.__version__)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "tagger 에서 이용하는 단어의 품사는 다음과 같습니다. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'Adjective': '형용사',\n",
      " 'Adverb': '부사',\n",
      " 'Determiner': '관형사',\n",
      " 'Exclamation': '감탄사',\n",
      " 'Josa': '조사',\n",
      " 'Noun': '명사',\n",
      " 'Numeral': '수사',\n",
      " 'Pronoun': '대명사',\n",
      " 'Symbol': '기호',\n",
      " 'Verb': '동사'}\n"
     ]
    }
   ],
   "source": [
    "from soynlp.pos.tagset import tagset\n",
    "from pprint import pprint\n",
    "pprint(tagset)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "SimpleTagger 는 사전 기반으로 작동하는 품사 판별기 입니다. 이는 세 가지 구성 요소로 이뤄져 있습니다. (1) 주어진 문장에서 단어열 후보를 생성하는 generator, (2) 여러 개의 단어열 후보 중에서 가장 적절한 후보를 선택하는 evaluator, (3) 처리하지 못한 단어들에 대한 후처리 기능을 담당할 postprocessor. 그리고 (1) 의 generator 는 사전 기반으로 작동하기 때문에 dictionary 가 필요합니다. 아래는 dict[str]=set 형식의 input 을 이용하는 Dictionary 를 만드는 과정입니다. \n",
    "\n",
    "    from soynlp.pos import Dictionary\n",
    "    dictionary = Dictionary(YOUR_DICT)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "from soynlp.pos import Dictionary\n",
    "from soynlp.pos import LRTemplateMatcher\n",
    "from soynlp.pos import LREvaluator\n",
    "from soynlp.pos import SimpleTagger\n",
    "from soynlp.pos import UnknowLRPostprocessor\n",
    "\n",
    "pos_dict = {\n",
    "    'Adverb': {'너무', '매우'}, \n",
    "    'Noun': {'너무너무너무', '아이오아이', '아이', '노래', '오', '이', '고양'},\n",
    "    'Josa': {'는', '의', '이다', '입니다', '이', '이는', '를', '라', '라는'},\n",
    "    'Verb': {'하는', '하다', '하고'},\n",
    "    'Adjective': {'예쁜', '예쁘다'},\n",
    "    'Exclamation': {'우와'}    \n",
    "}\n",
    "\n",
    "dictionary = Dictionary(pos_dict)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "사용자에 의하여 입력된 pos\\_dict 는 dictionary.pos\\_dict 에 저장되어 있습니다. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'Adjective': {'예쁘다', '예쁜'},\n",
       " 'Adverb': {'너무', '매우'},\n",
       " 'Exclamation': {'우와'},\n",
       " 'Josa': {'는', '라', '라는', '를', '의', '이', '이는', '이다', '입니다'},\n",
       " 'Noun': {'고양', '너무너무너무', '노래', '아이', '아이오아이', '오', '이'},\n",
       " 'Verb': {'하고', '하는', '하다'}}"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dictionary.pos_dict"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "get_pos(word) 함수는 주어진 단어 word 에 대하여 등록되어 있는 모든 품사를 list 형식으로 return 합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['Noun']\n",
      "['Noun', 'Josa']\n"
     ]
    }
   ],
   "source": [
    "print(dictionary.get_pos('아이오아이'))\n",
    "print(dictionary.get_pos('이'))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "word_is_tag(word, tag) 함수는 주어진 단어 word 가 품사 tag 인지 확인하는 함수입니다. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "True\n",
      "False\n"
     ]
    }
   ],
   "source": [
    "print(dictionary.word_is_tag('아이오아이', 'Noun'))\n",
    "print(dictionary.word_is_tag('아이오아이', '명사'))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "add_words(tag, words) 는 사전에 품사가 tag 인 단어들을 추가하는 기능입니다. words 는 하나의 str 이어도 되며, 여러 개의 단어로 이뤄진 collection of str 입니다. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "# Add a word with a tag\n",
      "{'Adjective': {'예쁜', '예쁘다'},\n",
      " 'Adverb': {'너무', '매우'},\n",
      " 'Exclamation': {'우와'},\n",
      " 'Josa': {'라', '라는', '이는', '이', '의', '는', '를', '이다', '입니다'},\n",
      " 'Noun': {'노래', '오', '너무너무너무', '앙순이', '아이오아이', '고양', '이', '아이'},\n",
      " 'Verb': {'하다', '하고', '하는'}}\n",
      "\n",
      "# Add words with a tag\n",
      "{'Adjective': {'예쁜', '예쁘다'},\n",
      " 'Adverb': {'너무', '매우'},\n",
      " 'Exclamation': {'우와'},\n",
      " 'Josa': {'라', '라는', '이는', '이', '의', '는', '를', '이다', '입니다'},\n",
      " 'Noun': {'노래', '오', '너무너무너무', '아이돌', '앙순이', '아이오아이', '고양', '이', '워너원', '아이'},\n",
      " 'Verb': {'하다', '하고', '하는'}}\n"
     ]
    }
   ],
   "source": [
    "print('# Add a word with a tag')\n",
    "dictionary.add_words('Noun', '앙순이')\n",
    "pprint(dictionary.pos_dict)\n",
    "\n",
    "print('\\n# Add words with a tag')\n",
    "dictionary.add_words('Noun', ['워너원', '아이돌'])\n",
    "pprint(dictionary.pos_dict)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "현재 사전에 등록되지 않은 품사는 입력되지 않습니다. 품사 태그로 오탈자가 입력되는 것을 방지하기 위함입니다. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "ename": "ValueError",
     "evalue": "Check your tag or use add_words(tag, words, force=True)",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mValueError\u001b[0m                                Traceback (most recent call last)",
      "\u001b[0;32m<ipython-input-8-1f698b8d20e7>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m()\u001b[0m\n\u001b[0;32m----> 1\u001b[0;31m \u001b[0mdictionary\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0madd_words\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m'Name'\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m'lovit'\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m",
      "\u001b[0;32m/home/lovit/anaconda2/envs/scrapper/lib/python3.6/site-packages/soynlp/pos/_dictionary.py\u001b[0m in \u001b[0;36madd_words\u001b[0;34m(self, tag, words, force)\u001b[0m\n\u001b[1;32m     31\u001b[0m         \u001b[0;32mif\u001b[0m \u001b[0;32mnot\u001b[0m \u001b[0mforce\u001b[0m \u001b[0;32mand\u001b[0m \u001b[0;32mnot\u001b[0m \u001b[0;34m(\u001b[0m\u001b[0mtag\u001b[0m \u001b[0;32min\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mpos_dict\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m     32\u001b[0m             \u001b[0mmessage\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0;34m'Check your tag or use add_words(tag, words, force=True)'\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mformat\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mtag\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m---> 33\u001b[0;31m             \u001b[0;32mraise\u001b[0m \u001b[0mValueError\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mmessage\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m     34\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m     35\u001b[0m         \u001b[0mmax_length\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mmax\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mlen\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mword\u001b[0m\u001b[0;34m)\u001b[0m \u001b[0;32mfor\u001b[0m \u001b[0mword\u001b[0m \u001b[0;32min\u001b[0m \u001b[0mwords\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;31mValueError\u001b[0m: Check your tag or use add_words(tag, words, force=True)"
     ]
    }
   ],
   "source": [
    "dictionary.add_words('Name', 'lovit')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "하지만 force=True 로 설정하면 현재 등록되지 않은 품사라 하여도 사전에 추가할 수 있습니다. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'Adjective': {'예쁜', '예쁘다'},\n",
      " 'Adverb': {'너무', '매우'},\n",
      " 'Exclamation': {'우와'},\n",
      " 'Josa': {'라', '라는', '이는', '이', '의', '는', '를', '이다', '입니다'},\n",
      " 'Name': {'lovit'},\n",
      " 'Noun': {'노래', '오', '너무너무너무', '아이돌', '앙순이', '아이오아이', '고양', '이', '워너원', '아이'},\n",
      " 'Verb': {'하다', '하고', '하는'}}\n"
     ]
    }
   ],
   "source": [
    "dictionary.add_words('Name', 'lovit', force=True)\n",
    "pprint(dictionary.pos_dict)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "remove_words(tag, words) 는 품사 tag 에 해당하는 words 를 사전에서 제거합니다. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'Adjective': {'예쁜', '예쁘다'},\n",
      " 'Adverb': {'너무', '매우'},\n",
      " 'Exclamation': {'우와'},\n",
      " 'Josa': {'라', '라는', '이는', '이', '의', '는', '를', '이다', '입니다'},\n",
      " 'Name': {'lovit'},\n",
      " 'Noun': {'노래', '오', '너무너무너무', '아이돌', '아이오아이', '고양', '이', '아이'},\n",
      " 'Verb': {'하다', '하고', '하는'}}\n"
     ]
    }
   ],
   "source": [
    "dictionary.remove_words('Noun', {'앙순이', '워너원'} )\n",
    "pprint(dictionary.pos_dict)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "remove_words(tag) 만 입력할 경우, 해당 품사를 모두 제거합니다. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'Adjective': {'예쁜', '예쁘다'},\n",
      " 'Adverb': {'너무', '매우'},\n",
      " 'Exclamation': {'우와'},\n",
      " 'Josa': {'라', '라는', '이는', '이', '의', '는', '를', '이다', '입니다'},\n",
      " 'Name': {'lovit'},\n",
      " 'Verb': {'하다', '하고', '하는'}}\n"
     ]
    }
   ],
   "source": [
    "dictionary.remove_words('Noun')\n",
    "pprint(dictionary.pos_dict)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Dictionary 를 이용하여 LRTemplateMatcher 를 만듭니다. LRTemplateMatcher 는 단어열 후보를 생성합니다. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[LR(l='너무너무너무', l_tag='Noun', r='는', r_tag='Josa', b=0, m=6, e=7),\n",
      " LR(l='너무', l_tag='Adverb', r='', r_tag=None, b=0, m=2, e=2),\n",
      " LR(l='너무너무너무', l_tag='Noun', r='', r_tag=None, b=0, m=6, e=6),\n",
      " LR(l='너무', l_tag='Adverb', r='', r_tag=None, b=2, m=4, e=4),\n",
      " LR(l='너무', l_tag='Adverb', r='', r_tag=None, b=4, m=6, e=6),\n",
      " LR(l='아이오아이', l_tag='Noun', r='의', r_tag='Josa', b=7, m=12, e=13),\n",
      " LR(l='아이오아이', l_tag='Noun', r='', r_tag=None, b=7, m=12, e=12),\n",
      " LR(l='노래', l_tag='Noun', r='입니다', r_tag='Josa', b=13, m=15, e=18),\n",
      " LR(l='노래', l_tag='Noun', r='', r_tag=None, b=13, m=15, e=15)]\n"
     ]
    }
   ],
   "source": [
    "sent = '너무너무너무는아이오아이의노래입니다!!'\n",
    "\n",
    "pos_dict = {\n",
    "    'Adverb': {'너무', '매우'}, \n",
    "    'Noun': {'너무너무너무', '아이오아이', '아이', '노래', '오', '이', '고양'},\n",
    "    'Josa': {'는', '의', '이다', '입니다', '이', '이는', '를', '라', '라는'},\n",
    "    'Verb': {'하는', '하다', '하고'},\n",
    "    'Adjective': {'예쁜', '예쁘다'},\n",
    "    'Exclamation': {'우와'}    \n",
    "}\n",
    "\n",
    "dictionary = Dictionary(pos_dict)\n",
    "generator = LRTemplateMatcher(dictionary)\n",
    "pprint(generator.generate(sent))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "generator.generate(sentence) 의 결과는 LR 이라는 namedtuple 입니다. 한국어의 어절을 명사/형용사/동사/부사/감탄사 의 L parts (left-subsection) 와 조사, 동사, 형용사 (동사와 형용사는 정확히는 전성어미, 이론 튜토리얼 참조) 로 이뤄져있습니다. Template 에 있는 패턴과 사전을 이용하여 매칭이 되는 후보들을 생성합니다. \n",
    "\n",
    "b, m, e 는 문장 내에서 L 의 위치 (b, m) 와 R 의 위치 (m, e) 입니다. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "LR(l='너무너무너무', l_tag='Noun', r='는', r_tag='Josa', b=0, m=6, e=7)"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "generator.generate(sent)[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'Noun': ('Josa', 'Verb', 'Adjective')}"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "generator.templates"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Templates 와 Evaluator 를 이용하여 Tagger 를 만듭니다. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('너무너무너무', 'Noun'),\n",
       " ('는', 'Josa'),\n",
       " ('아이오아이', 'Noun'),\n",
       " ('의', 'Josa'),\n",
       " ('노래', 'Noun'),\n",
       " ('입니다', 'Josa'),\n",
       " ('!!', None)]"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "evaluator = LREvaluator()\n",
    "postprocessor = UnknowLRPostprocessor()\n",
    "\n",
    "tagger = SimpleTagger(generator, evaluator, postprocessor)\n",
    "tagger.tag(sent)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "postprocessor 가 입력되지 않으면, 사전 매칭이 되지 않은 단어들은 출력되지 않습니다. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('너무너무너무', 'Noun'),\n",
       " ('는', 'Josa'),\n",
       " ('아이오아이', 'Noun'),\n",
       " ('의', 'Josa'),\n",
       " ('노래', 'Noun'),\n",
       " ('입니다', 'Josa')]"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "SimpleTagger(generator, evaluator).tag(sent)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "debug mode 로 tag() 를 실행할 경우 문장 내의 단어열 뿐 아니라 디버깅용 LR 후보 리스트들이 출력됩니다. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "tags, debugs = tagger.tag(sent, debug=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[('너무너무너무', 'Noun'),\n",
      " ('는', 'Josa'),\n",
      " ('아이오아이', 'Noun'),\n",
      " ('의', 'Josa'),\n",
      " ('노래', 'Noun'),\n",
      " ('입니다', 'Josa'),\n",
      " ('!!', None)]\n"
     ]
    }
   ],
   "source": [
    "pprint(tags)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[(LR(l='너무', l_tag='Adverb', r='', r_tag=None, b=0, m=2, e=2), 0.4),\n",
      "  (LR(l='너무너무너무', l_tag='Noun', r='', r_tag=None, b=0, m=6, e=6),\n",
      "   0.9000000000000001),\n",
      "  (LR(l='너무너무너무', l_tag='Noun', r='는', r_tag='Josa', b=0, m=6, e=7),\n",
      "   1.1500000000000001),\n",
      "  (LR(l='너무', l_tag='Adverb', r='', r_tag=None, b=2, m=4, e=4), 0.4),\n",
      "  (LR(l='너무', l_tag='Adverb', r='', r_tag=None, b=4, m=6, e=6), 0.4),\n",
      "  (LR(l='아이오아이', l_tag='Noun', r='', r_tag=None, b=7, m=12, e=12), 0.8),\n",
      "  (LR(l='아이오아이', l_tag='Noun', r='의', r_tag='Josa', b=7, m=12, e=13), 1.05),\n",
      "  (LR(l='노래', l_tag='Noun', r='', r_tag=None, b=13, m=15, e=15), 0.5),\n",
      "  (LR(l='노래', l_tag='Noun', r='입니다', r_tag='Josa', b=13, m=15, e=18), 0.95)]]\n"
     ]
    }
   ],
   "source": [
    "pprint(debugs)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "만약 특정 품사의 단어에 대하여 점수의 가중치를 더하고 싶다면 preference 를 이용할 수 있습니다. \n",
    "\n",
    "dict[tag][word] = score 형식의 dict-dict 인 preference 를 Evaluator 에 넣어주면 됩니다. debug mode 로 확인하면 해당 단어의 점수가 더해졌음을 볼 수 있습니다. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[(LR(l='너무', l_tag='Adverb', r='', r_tag=None, b=0, m=2, e=2), 0.4),\n",
      "  (LR(l='너무너무너무', l_tag='Noun', r='', r_tag=None, b=0, m=6, e=6), 5.9),\n",
      "  (LR(l='너무너무너무', l_tag='Noun', r='는', r_tag='Josa', b=0, m=6, e=7), 6.15),\n",
      "  (LR(l='너무', l_tag='Adverb', r='', r_tag=None, b=2, m=4, e=4), 0.4),\n",
      "  (LR(l='너무', l_tag='Adverb', r='', r_tag=None, b=4, m=6, e=6), 0.4),\n",
      "  (LR(l='아이오아이', l_tag='Noun', r='', r_tag=None, b=7, m=12, e=12), 10.8),\n",
      "  (LR(l='아이오아이', l_tag='Noun', r='의', r_tag='Josa', b=7, m=12, e=13), 11.05),\n",
      "  (LR(l='노래', l_tag='Noun', r='', r_tag=None, b=13, m=15, e=15), 0.5),\n",
      "  (LR(l='노래', l_tag='Noun', r='입니다', r_tag='Josa', b=13, m=15, e=18), 0.95)]]\n"
     ]
    }
   ],
   "source": [
    "preference = {\n",
    "    'Noun': {'아이오아이':10.0, '너무너무너무':5}\n",
    "}\n",
    "\n",
    "evaluator = LREvaluator(preference=preference)\n",
    "tagger = SimpleTagger(generator, evaluator, postprocessor)\n",
    "tags, debugs = tagger.tag(sent, debug=True)\n",
    "\n",
    "pprint(debugs)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.2"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}