notebooks/morphology/Морфологическая дизамбигуация.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Морфологическая  дизамбигуация"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Неоднозначность - одно из тех, свойств языка, которые делают его трудным (как для человеков так и для компьютеров.)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Неоднозначность проявляется на разных уровнях языка. И под каждую есть своя задача в NLP.  \n",
    "Морфологическая неоднозначность - это когда одна и та же форма слова может иметь несколько вариантов морфологического описания.  \n",
    "Например, ``стали`` - может быть глаголом в прошедшем времени мн.ч 3.л (``они стали``), а может - существительным женского рода в родительном падеже (``коробка из стали``)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Скорее всего, вы уже знаете или догадываетесь, что неоднозначность снимается в контексте.   \n",
    "Однако контекст это не всегда несколько слов по соседству (как в примерах выше).   \n",
    "Иногда это контекст находится в других, необязательно соседних предложениях.   \n",
    "Например, предложение: ``Эти типы стали есть на складе.`` многозначно без другого предложения, в котором говорится о чём речь (о стали, или о типах).\n",
    "\n",
    "Поэтому в теории - это очень сложная задача. И над ней работают многие комп. лингвисты."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Однако на практике эта задача либо вообще не стоит, либо решается достаточно хорошо."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Давайте посмотрим, почему:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Для русского есть готовые инструменты - pymorphy и mystem. И тот и другой умеют выдавать грамматическую информацию."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "metadata": {},
   "outputs": [],
   "source": [
    "from lxml import etree\n",
    "from pymorphy2 import MorphAnalyzer\n",
    "from sklearn.metrics import classification_report\n",
    "import numpy as np\n",
    "from collections import Counter"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Чтобы оценить как они справляются с неоднозначностью нам нужен размеченный корпус. А точнее корпус-снятник (т.е. тот в котором вручную разрешена неоднозначность). Обычно для этого используют НКРЯ, но там нужно запрашивать и подписывать какое-то соглашение. Поэтому мы возьмем OpenCorpora, который можно скачать без этих сложностей вот тут - http://opencorpora.org/?page=downloads (нужен снятник без UNK)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Сам корпус в xml. Для того, чтобы достать все в питоновские структуры данных, удобно использовать lxml и xpath."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "open_corpora = etree.fromstring(open('data/annot.opcorpora.no_ambig_strict.xml', 'rb').read())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Так достанутся все предложения."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "sentences = open_corpora.xpath('//tokens')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "А так в отдельном предложении достанутся все слова."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [],
   "source": [
    "tokens = sentences[0].xpath('token')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Для токена форма слова достается вот так:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['«']"
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tokens[0].xpath('@text')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "А грамматическая информация вот так:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['NOUN', 'inan', 'femn', 'sing', 'nomn']"
      ]
     },
     "execution_count": 27,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tokens[1].xpath('tfr/v/l/g/@v')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Соберем весь корпус в список. Для начала будем смотреть только на часть речи."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 112,
   "metadata": {},
   "outputs": [],
   "source": [
    "corpus = []\n",
    "\n",
    "\n",
    "for sentence in open_corpora.xpath('//tokens'):\n",
    "    sent_tagged = []\n",
    "    for token in sentence.xpath('token'):\n",
    "        word = token.xpath('@text')\n",
    "        gram_info = token.xpath('tfr/v/l/g/@v')\n",
    "        sent_tagged.append((word[0], gram_info[0]))\n",
    "    \n",
    "    corpus.append(sent_tagged)\n",
    "        "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 113,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "10551"
      ]
     },
     "execution_count": 113,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(corpus)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 114,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('«', 'PNCT'),\n",
       " ('Школа', 'NOUN'),\n",
       " ('злословия', 'NOUN'),\n",
       " ('»', 'PNCT'),\n",
       " ('учит', 'VERB'),\n",
       " ('прикусить', 'INFN'),\n",
       " ('язык', 'NOUN')]"
      ]
     },
     "execution_count": 114,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "corpus[0]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Воспользуемся pymorphy."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {},
   "outputs": [],
   "source": [
    "morph = MorphAnalyzer()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 115,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'NOUN'"
      ]
     },
     "execution_count": 115,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "morph.parse('слово')[0].tag.POS"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Теперь просто пройдемся по каждому слову, предскажем его часть речи через пайморфи и сравним с тем, что стои в корпусе. Если совпадает добавим в список 1, если нет 0. Усреднив нули и единицы получим accuracy."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 116,
   "metadata": {},
   "outputs": [],
   "source": [
    "preds = []\n",
    "mistakes = Counter()\n",
    "\n",
    "for sent in corpus:\n",
    "    for word, tag in sent:\n",
    "        pred = str(morph.parse(word)[0].tag).split(',')[0].split(' ')[0]\n",
    "        p = int(pred==tag)\n",
    "        preds.append(p)\n",
    "        if not p:\n",
    "            mistakes.update([(word, tag, pred)])\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Видно, что для части речи проблема неоднозначности особо и незаметна."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 117,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.9830159397798309\n"
     ]
    }
   ],
   "source": [
    "print(np.mean(preds))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "А если посмотреть на ошибки, то видно, что они происходят в каких-то не очень значимых случаях."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 118,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[(('также', 'PRCL', 'CONJ'), 89),\n",
       " (('тоже', 'PRCL', 'ADVB'), 37),\n",
       " (('этом', 'ADJF', 'NPRO'), 36),\n",
       " (('Также', 'PRCL', 'CONJ'), 24),\n",
       " (('=', 'SYMB', 'UNKN'), 20)]"
      ]
     },
     "execution_count": 118,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    " mistakes.most_common(5)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Попробуем теперь предсказывать сразу всю грамматическую информацию."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 120,
   "metadata": {},
   "outputs": [],
   "source": [
    "corpus = []\n",
    "\n",
    "\n",
    "for sentence in open_corpora.xpath('//tokens'):\n",
    "    sent_tagged = []\n",
    "    for token in sentence.xpath('token'):\n",
    "        word = token.xpath('@text')\n",
    "        gram_info = token.xpath('tfr/v/l/g/@v')\n",
    "        sent_tagged.append((word[0], set(gram_info)))\n",
    "    \n",
    "    corpus.append(sent_tagged)\n",
    "        "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 121,
   "metadata": {},
   "outputs": [],
   "source": [
    "preds = []\n",
    "mistakes = Counter()\n",
    "\n",
    "for sent in corpus:\n",
    "    for word, tag in sent:\n",
    "        pred = set(str(morph.parse(word)[0].tag).replace(' ', ',').split(','))\n",
    "        p = len(pred&tag)/len(pred|tag)\n",
    "        preds.append(p)\n",
    "        if p < 0.5:\n",
    "            mistakes.update([(word, tuple(tag), tuple(pred))])\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Оценивание правда придется поменять. Так как тэгов несколько и они могут быть в разном порядке мы не можем просто их склеить. Поэтому посчитаем меру жаккара между множествами тэгов."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 122,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.9338109124901879"
      ]
     },
     "execution_count": 122,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "np.mean(preds)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Она достаточно высокая."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "А ошибки все те же."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 125,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[(('также', ('PRCL',), ('CONJ',)), 89),\n",
       " (('тоже', ('PRCL',), ('ADVB',)), 37),\n",
       " (('человек',\n",
       "   ('NOUN', 'plur', 'masc', 'anim', 'gent'),\n",
       "   ('masc', 'anim', 'nomn', 'NOUN', 'sing')),\n",
       "  31),\n",
       " (('этом',\n",
       "   ('Anph', 'masc', 'Apro', 'Subx', 'ADJF', 'loct', 'sing'),\n",
       "   ('loct', 'NPRO', 'neut', 'sing')),\n",
       "  27),\n",
       " (('Ссылки',\n",
       "   ('plur', 'inan', 'femn', 'nomn', 'NOUN'),\n",
       "   ('gent', 'femn', 'inan', 'NOUN', 'sing')),\n",
       "  26),\n",
       " (('Также', ('PRCL',), ('CONJ',)), 24),\n",
       " (('Примечания',\n",
       "   ('plur', 'inan', 'neut', 'nomn', 'NOUN'),\n",
       "   ('NOUN', 'neut', 'inan', 'gent', 'sing')),\n",
       "  23),\n",
       " (('=', ('SYMB',), ('UNKN',)), 20),\n",
       " (('№', ('SYMB',), ('UNKN',)), 19),\n",
       " (('>', ('SYMB',), ('UNKN',)), 19)]"
      ]
     },
     "execution_count": 125,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "mistakes.most_common(10)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Поэтому на практике, можно забить на неоднозначность."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Если все таки нужно (или хочется) разрешить неоднозначность - можно использовать mystem (там есть дизамбигуация). Но там своя токенизация и сложно будет оценивать качество на уже токенизированном корпусе."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Либо воспользоваться готовыми иструментами и обучить свой сниматель неоднозначности..."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Про это лучше рассказать в колабе - https://colab.research.google.com/drive/1uTLlHbYdh8XA2Pbe7YAivS82FciLjU1b"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}