notebooks/Preprocessing.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Семинар 1. Предобработка текстовых данных"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "В начале любой работы с текстом, как правило, требуется выполнить одни и теже действия: удалить все лишнее, разбить на предложения, токенизировать, нормализовать. На этом занятии мы разберем каждый из этих этапов. "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Если вы открыли тетрадку в Colab, нужно установить майстем и майморфи."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 124,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "!pip install pymystem==0.1.10\n",
    "!pip install pymorphy2[fast]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 125,
   "metadata": {},
   "outputs": [],
   "source": [
    "# pymorphy2[fast] - быстрая версия пайморфи. Если у вас windows, то он вряд ли установится"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [],
   "source": [
    "# сразу импортируем все нужные библиотеки\n",
    "# подробнее о каждой из них я расскажу по ходу \n",
    "import string\n",
    "from gensim.utils import tokenize\n",
    "from gensim.summarization.textcleaner import split_sentences\n",
    "from nltk import sent_tokenize\n",
    "from nltk.tokenize import word_tokenize, wordpunct_tokenize\n",
    "from pymorphy2 import MorphAnalyzer\n",
    "from pymystem3 import Mystem\n",
    "from nltk.corpus import stopwords\n",
    "from string import punctuation\n",
    "import re, os, json\n",
    "mystem = Mystem()\n",
    "morph = MorphAnalyzer()\n",
    "# если есть ошибки, доустановите библиотеки"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Удаление лишнего"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Часто в данных, с которыми нам нужно работать помимо текста присутствует ещё какая-то лишняя информация: тэги, ссылки, код, разметка. Она, конечно, не всегда лишняя, но обычно от неё лучше избавиться."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Возьмем в качестве примера статью с Хабрахабра. Она скачана автоматически и в там остались некоторые тэги."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [],
   "source": [
    "text = '''\n",
    "Сегодняшняя заметка будет о сервисе отслеживания активности пользователя — <a href=\"http://www.crazyegg.com\" title=\"Сумасшедшие яйца\">CrazyEgg</a>. Я не знаю кому обязан сервис таким говорящим именем, но оно работает, и хорошо. Запоминается? Отлично!<br><br><img src=\"http://img172.imageshack.us/img172/8434/18274658kc4.png\" alt=\"Сумасшедшее яйцо\"><br><br><blockquote><h3>Что это такое?</h3><br>\n",
    "Как уже сказано выше это сервис для отслеживания перемещения пользователей по сайту — кто куда кликнул, какие ссылки наиболее популярные и тому подобная, разнородная информация для юзабилистов.<br>\n",
    "Сервис позволяет отслеживать активность определенных пользователей, и выводить эти данные в различных формах: «инфракрасная» — где чем активнее область, тем она «теплее», салюты (чем активнее область, тем больше конфети), простой список с сортировкой по активности, колбы (чем заполненнее колба, тем активнее область), облака (на мой взгляд наиболее удобный вариант — совмещает в себе все остальные вместе взятые).<br><br><img src=\"https://habrastorage.org/getpro/habr/post_images/7c7/298/33c/7c729833cd942cc493e68833e3e0f12d.jpg\" alt=\"Тепловое отслеживание популярности\"><br></blockquote><br><br><a name=\"habracut\"></a><br><br><blockquote><h3>Для кого это?</h3><br>\n",
    "Разумеется сервис изначально планировался как первый помощник для юзабилистов, но пользоваться им может каждый, у кого есть деньги — интуитивный интерфейс, и хороший дизайн дает о себе знать — сервис массово популяризировался пол года-год назад. Относительно недорогой, но уж точно не из дешевых — сервис предполагает собой 4 платных линии и одну бесплатную. Дабы написать этот обзор я не поленился заплатить 19 долларов (в месяц) выбрав средний вариант — для нескольких проектов с включенными дополнительными функциями.<br><br><img src=\"https://habrastorage.org/getpro/habr/post_images/0b0/0a0/b16/0b00a0b16b1eda28e35f39487dcd2545.jpg\" alt=\"Отслеживание ссылок\"></blockquote><br><blockquote><img src=\"https://habrastorage.org/getpro/habr/post_images/0b5/433/892/0b54338921665ffb5a90930147296f5b.jpg\" alt=\"Список по популярности\"><br><br>\n",
    "Да-да, сервис не бесплатен. Точнее бесплатная возможность потестировать есть, но она немного обрезана (можно отслеживать только 5000 посетителей и всего 4 страницы на сайте (внимание — 4 страницы, а не сайтов), т.е. вполне хватает для того, чтобы понять полезность сервиса).</blockquote><br><blockquote><h3>Зачем это?</h3><br>\n",
    "С помощью этого сервиса можно тасовать блоки на сайте, которые полезны пользователям больше всего. Больше не нужно спорить создателям — какой блок где расположить. В этом им поможет <a href=\"http://ttp://www.crazyegg.com\" title=\"Сумасшедшие яйца\">Сумасшедшее яйцо</a>.<br><br><img src=\"https://habrastorage.org/getpro/habr/post_images/38c/af8/e75/38caf8e753782a01dc6419d3902edd57.jpg\" alt=\"Добавление проекта\"></blockquote><br><blockquote>Также этот сервис поможет вам понять — в какой зоне сайта лучше всего располагать рекламу, когда в вашем сервисе речь зайдет о монетизации. Ведь альтруизм это хорошо, а деньги на содержание сервиса нужны, и не лишним будет вычислить зоны где реклама будет приносить наибольшую отдачу, и наименьшее раздражение у пользователей.<br><br><img src=\"https://habrastorage.org/getpro/habr/post_images/0dd/3fb/b34/0dd3fbb34709e77f3fbcd6523c7eac77.jpg\" alt=\"еще полезности\"></blockquote><br><blockquote><h3>Как это работает?</h3><br>\n",
    "Никаких километровых скриптов вставлять не нужно, достаточно вставиь 2 строчки яваскрипта, и сервис начнет отслеживание. Насколько я понял — исполнительный скрипт работает на сервере <a href=\"http://www.crazyegg.com\" title=\"Сумасшедшие яйца\">CrazyEgg</a>, поэтому ваш сайт от этого в производительности не потеряет ни секунды, а полезность довольно таки большая.<br><br><img src=\"https://habrastorage.org/getpro/habr/post_images/a90/e4e/e67/a90e4ee6760978463e6306a2f5982e24.jpg\" alt=\"управление популярностью\"></blockquote><br><blockquote><h3>Сколько это стоит?</h3><br>\n",
    "Как я уже упоминал — сервис далеко не бесплатен, хоть и имеет тестовую-бесплатную версию. Расскажу подробнее о тарификации.</blockquote><br><blockquote>1. Бесплатная тестовая версия. Включает в себя возможность отслеживания 5 000 посещений, 4 страницы на сайте.<br><br>\n",
    "2. Базовая версия. В этой версии можно отследить 10 000 посещений, и 10 страниц, что вполне достаточно для среднего корпоративного сайта. Стоит базовый комплект — 9 долларов в месяц. В этот комплект включены все дополнительные функции.<br><br>\n",
    "3. Версия «Стандарт». В неё входит возможность отслеживания 25 000 посещений на 20 страницах. Вполне подходит для тестирования нового стартапа. Стоит она 19 долларов в месяц, именно её я купил для тестирования сервиса, и написания этого обзора.<br><br>\n",
    "4. Версия «Плюс». Отличается от предыдущей возможностью отслеживания 100 000 посещений, 50 страниц. Очень хороший тариф для крупных сервисов. Стоит 49 долларов в месяц. Довольно большие деньги за сервис, но они обычно с лихвой окупаются.<br><br>\n",
    "5. Версия «Про». Стоит почти 100 долларов, имеет возможность отследить 250 000 посещений на ста страницах. Тариф подходит для монстров с большой посещаемостью и большим количеством страниц.<br><br><img src=\"https://habrastorage.org/getpro/habr/post_images/f73/fb2/62d/f73fb262da4618a8dde67690cfd191ea.jpg\" alt=\"Отслеживание статистики\"></blockquote><br><blockquote><h3>Есть и аналоги</h3><br>\n",
    "Я не поленился, и собрал еще пару ссылок с аналогами, которые предлагают такие же услуги, но немного дешевле.</blockquote><br><blockquote> 1. <a href=\"https://www.google.com/analytics/home/?hl=en\" title=\"Шикарный сбор и анализ статистики\">Google Analytics</a> — бесплатный сервис для сбора и анализа статистики, вывод статистики в наиболее наглядной форме, и без разнообразных рейтингов, счетчиков. Очень подробная и полезная вещь. Рекомендую, т.к. сам пользуюсь им для этого блога.<br><br>\n",
    "2. <a href=\"http://www.mapsurface.com/\" title=\"Сервис для отслеживания популярности блоков на сайте\">MapSurface</a> — сам еще не использовал (т.к. предпочел CrazyEgg), но врядли будучи плохим сервис собрал бы множество положительных отзывов. К сожалению он сейчас находится в статусе закрытой беты.</blockquote><br><blockquote><h3>Вывод</h3><br>\n",
    "Использовать можно, и нужно. Вот только тарифы довольно больно кусаются, но обычно эти деньги потом с лихвой отбиваются на повышении конвертации посетителей в деньги. Использовать сервис нужно для тестирования рекламных мест и удобства отдельных страниц, что помогает опять же повысить конвертацию. В общем и целом — <a href=\"http://ttp://www.crazyegg.com\">полезная вещь</a> для каждого владельца сайтов, а для юзабилиста вообще практически обязательна. К счастью для людей, которые поиздержались деньгами в этом месяце — есть полезные аналоги.<br><br><img src=\"http://img241.imageshack.us/img241/2346/confettitnml5.jpg\" alt=\"Интересная идея визуализации популярности - конфети\"></blockquote><br><br>\n",
    "Автор: <a href=\"http://www.birzool.com/\" title=\"Я пишу о юзабилити веб интерфейсов\">Ярослав Бирзул</a> (DezmASter).<br>\n",
    "Источник: <a href=\"http://www.birzool.com/crazyegg/\" title=\"Сумасшедшие яйца, первоисточник\">Блог о юзабилити веб интерфейсов</a>.<br><br>\n",
    "PS: Всех с прошедшим Новым годом! От всей души желаю вам всего самого-самого лучшего, чего вы желаете только в самых сокровенных мечтах. Удачно вам провести время.\n",
    "'''"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "В html все тэги заключаются в фигурные скобки. Мы можем испьзовать это, чтобы легко избавиться от всех тэгов сразу. Напишем регулярное выражение, которое будет захватывать всё, что попадает между символами < и >, и не является '>'."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [],
   "source": [
    "#re - модуль регулярных выражений в питоне\n",
    "# функция sub заменяет все, что подходит под шаблон, на указанный текст\n",
    "def remove_tags_1(text):\n",
    "    return re.sub(r'<[^>]+>', '', text)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Небольшое отступление: ещё есть модуль regex, который умеет все, что и re, а также много всего другого. Подробнее про него можно почитать тут - https://pypi.org/project/regex/"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Проверим как работает наша функция."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "Сегодняшняя заметка будет о сервисе отслеживания активности пользователя — CrazyEgg. Я не знаю кому обязан сервис таким говорящим именем, но оно работает, и хорошо. Запоминается? Отлично!Что это такое?\n",
      "Как уже сказано выше это сервис для отслеживания перемещения пользователей по сайту — кто куда кликнул, какие ссылки наиболее популярные и тому подобная, разнородная информация для юзабилистов.\n",
      "Сервис позволяет отслеживать активность определенных пользователей, и выводить эти данные в различных формах: «инфракрасная» — где чем активнее область, тем она «теплее», салюты (чем активнее область, тем больше конфети), простой список с сортировкой по активности, колбы (чем заполненнее колба, тем активнее область), облака (на мой взгляд наиболее удобный вариант — совмещает в себе все остальные вместе взятые).Для кого это?\n",
      "Разумеется сервис изначально планировался как первый помощник для юзабилистов, но пользоваться им может каждый, у кого есть деньги — интуитивный интерфейс, и хороший дизайн дает о себе знать — сервис массово популяризировался пол года-год назад. Относительно недорогой, но уж точно не из дешевых — сервис предполагает собой 4 платных линии и одну бесплатную. Дабы написать этот обзор я не поленился заплатить 19 долларов (в месяц) выбрав средний вариант — для нескольких проектов с включенными дополнительными функциями.\n",
      "Да-да, сервис не бесплатен. Точнее бесплатная возможность потестировать есть, но она немного обрезана (можно отслеживать только 5000 посетителей и всего 4 страницы на сайте (внимание — 4 страницы, а не сайтов), т.е. вполне хватает для того, чтобы понять полезность сервиса).Зачем это?\n",
      "С помощью этого сервиса можно тасовать блоки на сайте, которые полезны пользователям больше всего. Больше не нужно спорить создателям — какой блок где расположить. В этом им поможет Сумасшедшее яйцо.Также этот сервис поможет вам понять — в какой зоне сайта лучше всего располагать рекламу, когда в вашем сервисе речь зайдет о монетизации. Ведь альтруизм это хорошо, а деньги на содержание сервиса нужны, и не лишним будет вычислить зоны где реклама будет приносить наибольшую отдачу, и наименьшее раздражение у пользователей.Как это работает?\n",
      "Никаких километровых скриптов вставлять не нужно, достаточно вставиь 2 строчки яваскрипта, и сервис начнет отслеживание. Насколько я понял — исполнительный скрипт работает на сервере CrazyEgg, поэтому ваш сайт от этого в производительности не потеряет ни секунды, а полезность довольно таки большая.Сколько это стоит?\n",
      "Как я уже упоминал — сервис далеко не бесплатен, хоть и имеет тестовую-бесплатную версию. Расскажу подробнее о тарификации.1. Бесплатная тестовая версия. Включает в себя возможность отслеживания 5 000 посещений, 4 страницы на сайте.\n",
      "2. Базовая версия. В этой версии можно отследить 10 000 посещений, и 10 страниц, что вполне достаточно для среднего корпоративного сайта. Стоит базовый комплект — 9 долларов в месяц. В этот комплект включены все дополнительные функции.\n",
      "3. Версия «Стандарт». В неё входит возможность отслеживания 25 000 посещений на 20 страницах. Вполне подходит для тестирования нового стартапа. Стоит она 19 долларов в месяц, именно её я купил для тестирования сервиса, и написания этого обзора.\n",
      "4. Версия «Плюс». Отличается от предыдущей возможностью отслеживания 100 000 посещений, 50 страниц. Очень хороший тариф для крупных сервисов. Стоит 49 долларов в месяц. Довольно большие деньги за сервис, но они обычно с лихвой окупаются.\n",
      "5. Версия «Про». Стоит почти 100 долларов, имеет возможность отследить 250 000 посещений на ста страницах. Тариф подходит для монстров с большой посещаемостью и большим количеством страниц.Есть и аналоги\n",
      "Я не поленился, и собрал еще пару ссылок с аналогами, которые предлагают такие же услуги, но немного дешевле. 1. Google Analytics — бесплатный сервис для сбора и анализа статистики, вывод статистики в наиболее наглядной форме, и без разнообразных рейтингов, счетчиков. Очень подробная и полезная вещь. Рекомендую, т.к. сам пользуюсь им для этого блога.\n",
      "2. MapSurface — сам еще не использовал (т.к. предпочел CrazyEgg), но врядли будучи плохим сервис собрал бы множество положительных отзывов. К сожалению он сейчас находится в статусе закрытой беты.Вывод\n",
      "Использовать можно, и нужно. Вот только тарифы довольно больно кусаются, но обычно эти деньги потом с лихвой отбиваются на повышении конвертации посетителей в деньги. Использовать сервис нужно для тестирования рекламных мест и удобства отдельных страниц, что помогает опять же повысить конвертацию. В общем и целом — полезная вещь для каждого владельца сайтов, а для юзабилиста вообще практически обязательна. К счастью для людей, которые поиздержались деньгами в этом месяце — есть полезные аналоги.\n",
      "Автор: Ярослав Бирзул (DezmASter).\n",
      "Источник: Блог о юзабилити веб интерфейсов.\n",
      "PS: Всех с прошедшим Новым годом! От всей души желаю вам всего самого-самого лучшего, чего вы желаете только в самых сокровенных мечтах. Удачно вам провести время.\n",
      "\n"
     ]
    }
   ],
   "source": [
    "print(remove_tags_1(text))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Можно заметить, что в некоторых местах удаление тэгов приводит к тому, что между точкой и началом следующего \n",
    "предложения нет пробела, а это может помешать правильно токенизировать текст,\n",
    "поэтому сделаем так, чтобы тэг заменялся пробелом"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [],
   "source": [
    "def remove_tags_2(text):\n",
    "    return re.sub(r'<[^>]+>', ' ', text)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "Сегодняшняя заметка будет о сервисе отслеживания активности пользователя —  CrazyEgg . Я не знаю кому обязан сервис таким говорящим именем, но оно работает, и хорошо. Запоминается? Отлично!       Что это такое?  \n",
      "Как уже сказано выше это сервис для отслеживания перемещения пользователей по сайту — кто куда кликнул, какие ссылки наиболее популярные и тому подобная, разнородная информация для юзабилистов. \n",
      "Сервис позволяет отслеживать активность определенных пользователей, и выводить эти данные в различных формах: «инфракрасная» — где чем активнее область, тем она «теплее», салюты (чем активнее область, тем больше конфети), простой список с сортировкой по активности, колбы (чем заполненнее колба, тем активнее область), облака (на мой взгляд наиболее удобный вариант — совмещает в себе все остальные вместе взятые).             Для кого это?  \n",
      "Разумеется сервис изначально планировался как первый помощник для юзабилистов, но пользоваться им может каждый, у кого есть деньги — интуитивный интерфейс, и хороший дизайн дает о себе знать — сервис массово популяризировался пол года-год назад. Относительно недорогой, но уж точно не из дешевых — сервис предполагает собой 4 платных линии и одну бесплатную. Дабы написать этот обзор я не поленился заплатить 19 долларов (в месяц) выбрав средний вариант — для нескольких проектов с включенными дополнительными функциями.         \n",
      "Да-да, сервис не бесплатен. Точнее бесплатная возможность потестировать есть, но она немного обрезана (можно отслеживать только 5000 посетителей и всего 4 страницы на сайте (внимание — 4 страницы, а не сайтов), т.е. вполне хватает для того, чтобы понять полезность сервиса).    Зачем это?  \n",
      "С помощью этого сервиса можно тасовать блоки на сайте, которые полезны пользователям больше всего. Больше не нужно спорить создателям — какой блок где расположить. В этом им поможет  Сумасшедшее яйцо .      Также этот сервис поможет вам понять — в какой зоне сайта лучше всего располагать рекламу, когда в вашем сервисе речь зайдет о монетизации. Ведь альтруизм это хорошо, а деньги на содержание сервиса нужны, и не лишним будет вычислить зоны где реклама будет приносить наибольшую отдачу, и наименьшее раздражение у пользователей.       Как это работает?  \n",
      "Никаких километровых скриптов вставлять не нужно, достаточно вставиь 2 строчки яваскрипта, и сервис начнет отслеживание. Насколько я понял — исполнительный скрипт работает на сервере  CrazyEgg , поэтому ваш сайт от этого в производительности не потеряет ни секунды, а полезность довольно таки большая.       Сколько это стоит?  \n",
      "Как я уже упоминал — сервис далеко не бесплатен, хоть и имеет тестовую-бесплатную версию. Расскажу подробнее о тарификации.   1. Бесплатная тестовая версия. Включает в себя возможность отслеживания 5 000 посещений, 4 страницы на сайте.  \n",
      "2. Базовая версия. В этой версии можно отследить 10 000 посещений, и 10 страниц, что вполне достаточно для среднего корпоративного сайта. Стоит базовый комплект — 9 долларов в месяц. В этот комплект включены все дополнительные функции.  \n",
      "3. Версия «Стандарт». В неё входит возможность отслеживания 25 000 посещений на 20 страницах. Вполне подходит для тестирования нового стартапа. Стоит она 19 долларов в месяц, именно её я купил для тестирования сервиса, и написания этого обзора.  \n",
      "4. Версия «Плюс». Отличается от предыдущей возможностью отслеживания 100 000 посещений, 50 страниц. Очень хороший тариф для крупных сервисов. Стоит 49 долларов в месяц. Довольно большие деньги за сервис, но они обычно с лихвой окупаются.  \n",
      "5. Версия «Про». Стоит почти 100 долларов, имеет возможность отследить 250 000 посещений на ста страницах. Тариф подходит для монстров с большой посещаемостью и большим количеством страниц.       Есть и аналоги  \n",
      "Я не поленился, и собрал еще пару ссылок с аналогами, которые предлагают такие же услуги, но немного дешевле.    1.  Google Analytics  — бесплатный сервис для сбора и анализа статистики, вывод статистики в наиболее наглядной форме, и без разнообразных рейтингов, счетчиков. Очень подробная и полезная вещь. Рекомендую, т.к. сам пользуюсь им для этого блога.  \n",
      "2.  MapSurface  — сам еще не использовал (т.к. предпочел CrazyEgg), но врядли будучи плохим сервис собрал бы множество положительных отзывов. К сожалению он сейчас находится в статусе закрытой беты.    Вывод  \n",
      "Использовать можно, и нужно. Вот только тарифы довольно больно кусаются, но обычно эти деньги потом с лихвой отбиваются на повышении конвертации посетителей в деньги. Использовать сервис нужно для тестирования рекламных мест и удобства отдельных страниц, что помогает опять же повысить конвертацию. В общем и целом —  полезная вещь  для каждого владельца сайтов, а для юзабилиста вообще практически обязательна. К счастью для людей, которые поиздержались деньгами в этом месяце — есть полезные аналоги.      \n",
      "Автор:  Ярослав Бирзул  (DezmASter). \n",
      "Источник:  Блог о юзабилити веб интерфейсов .  \n",
      "PS: Всех с прошедшим Новым годом! От всей души желаю вам всего самого-самого лучшего, чего вы желаете только в самых сокровенных мечтах. Удачно вам провести время.\n",
      "\n"
     ]
    }
   ],
   "source": [
    "print(remove_tags_2(text))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Теперь куски текста не слепаются, но появились последовательности из нескольких пробелов, чтобы убрать их добавим ещё одно регулярное выражение и применим его к тексту, из которого уже удалили тэги"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {},
   "outputs": [],
   "source": [
    "def remove_tags_3(text):\n",
    "    no_tags_text = re.sub(r'<[^>]+>', ' ', text)\n",
    "    no_space_sequences_text = re.sub('  +', ' ', no_tags_text)\n",
    "    return no_space_sequences_text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "Сегодняшняя заметка будет о сервисе отслеживания активности пользователя — CrazyEgg . Я не знаю кому обязан сервис таким говорящим именем, но оно работает, и хорошо. Запоминается? Отлично! Что это такое? \n",
      "Как уже сказано выше это сервис для отслеживания перемещения пользователей по сайту — кто куда кликнул, какие ссылки наиболее популярные и тому подобная, разнородная информация для юзабилистов. \n",
      "Сервис позволяет отслеживать активность определенных пользователей, и выводить эти данные в различных формах: «инфракрасная» — где чем активнее область, тем она «теплее», салюты (чем активнее область, тем больше конфети), простой список с сортировкой по активности, колбы (чем заполненнее колба, тем активнее область), облака (на мой взгляд наиболее удобный вариант — совмещает в себе все остальные вместе взятые). Для кого это? \n",
      "Разумеется сервис изначально планировался как первый помощник для юзабилистов, но пользоваться им может каждый, у кого есть деньги — интуитивный интерфейс, и хороший дизайн дает о себе знать — сервис массово популяризировался пол года-год назад. Относительно недорогой, но уж точно не из дешевых — сервис предполагает собой 4 платных линии и одну бесплатную. Дабы написать этот обзор я не поленился заплатить 19 долларов (в месяц) выбрав средний вариант — для нескольких проектов с включенными дополнительными функциями. \n",
      "Да-да, сервис не бесплатен. Точнее бесплатная возможность потестировать есть, но она немного обрезана (можно отслеживать только 5000 посетителей и всего 4 страницы на сайте (внимание — 4 страницы, а не сайтов), т.е. вполне хватает для того, чтобы понять полезность сервиса). Зачем это? \n",
      "С помощью этого сервиса можно тасовать блоки на сайте, которые полезны пользователям больше всего. Больше не нужно спорить создателям — какой блок где расположить. В этом им поможет Сумасшедшее яйцо . Также этот сервис поможет вам понять — в какой зоне сайта лучше всего располагать рекламу, когда в вашем сервисе речь зайдет о монетизации. Ведь альтруизм это хорошо, а деньги на содержание сервиса нужны, и не лишним будет вычислить зоны где реклама будет приносить наибольшую отдачу, и наименьшее раздражение у пользователей. Как это работает? \n",
      "Никаких километровых скриптов вставлять не нужно, достаточно вставиь 2 строчки яваскрипта, и сервис начнет отслеживание. Насколько я понял — исполнительный скрипт работает на сервере CrazyEgg , поэтому ваш сайт от этого в производительности не потеряет ни секунды, а полезность довольно таки большая. Сколько это стоит? \n",
      "Как я уже упоминал — сервис далеко не бесплатен, хоть и имеет тестовую-бесплатную версию. Расскажу подробнее о тарификации. 1. Бесплатная тестовая версия. Включает в себя возможность отслеживания 5 000 посещений, 4 страницы на сайте. \n",
      "2. Базовая версия. В этой версии можно отследить 10 000 посещений, и 10 страниц, что вполне достаточно для среднего корпоративного сайта. Стоит базовый комплект — 9 долларов в месяц. В этот комплект включены все дополнительные функции. \n",
      "3. Версия «Стандарт». В неё входит возможность отслеживания 25 000 посещений на 20 страницах. Вполне подходит для тестирования нового стартапа. Стоит она 19 долларов в месяц, именно её я купил для тестирования сервиса, и написания этого обзора. \n",
      "4. Версия «Плюс». Отличается от предыдущей возможностью отслеживания 100 000 посещений, 50 страниц. Очень хороший тариф для крупных сервисов. Стоит 49 долларов в месяц. Довольно большие деньги за сервис, но они обычно с лихвой окупаются. \n",
      "5. Версия «Про». Стоит почти 100 долларов, имеет возможность отследить 250 000 посещений на ста страницах. Тариф подходит для монстров с большой посещаемостью и большим количеством страниц. Есть и аналоги \n",
      "Я не поленился, и собрал еще пару ссылок с аналогами, которые предлагают такие же услуги, но немного дешевле. 1. Google Analytics — бесплатный сервис для сбора и анализа статистики, вывод статистики в наиболее наглядной форме, и без разнообразных рейтингов, счетчиков. Очень подробная и полезная вещь. Рекомендую, т.к. сам пользуюсь им для этого блога. \n",
      "2. MapSurface — сам еще не использовал (т.к. предпочел CrazyEgg), но врядли будучи плохим сервис собрал бы множество положительных отзывов. К сожалению он сейчас находится в статусе закрытой беты. Вывод \n",
      "Использовать можно, и нужно. Вот только тарифы довольно больно кусаются, но обычно эти деньги потом с лихвой отбиваются на повышении конвертации посетителей в деньги. Использовать сервис нужно для тестирования рекламных мест и удобства отдельных страниц, что помогает опять же повысить конвертацию. В общем и целом — полезная вещь для каждого владельца сайтов, а для юзабилиста вообще практически обязательна. К счастью для людей, которые поиздержались деньгами в этом месяце — есть полезные аналоги. \n",
      "Автор: Ярослав Бирзул (DezmASter). \n",
      "Источник: Блог о юзабилити веб интерфейсов . \n",
      "PS: Всех с прошедшим Новым годом! От всей души желаю вам всего самого-самого лучшего, чего вы желаете только в самых сокровенных мечтах. Удачно вам провести время.\n",
      "\n"
     ]
    }
   ],
   "source": [
    "print(remove_tags_3(text))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Теперь текст более менее чистый."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [],
   "source": [
    "text = remove_tags_3(text)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Разбиение на предложения"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Разбить текст на предложения тоже можно с помощью регулярных выражений. Однако в этом случае регулярка не такая простая. "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Для разбиения текста по какому-то определенному разделителю подходит функция re.split. Давайте посмотрим, что получится, если в качестве разделителя использовать !?. пробел и заглавную букву.  "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['\\nСегодняшняя заметка будет о сервисе отслеживания активности пользователя — CrazyEgg ',\n",
       " ' не знаю кому обязан сервис таким говорящим именем, но оно работает, и хорошо',\n",
       " 'апоминается',\n",
       " 'тлично',\n",
       " 'то это такое? \\nКак уже сказано выше это сервис для отслеживания перемещения пользователей по сайту — кто куда кликнул, какие ссылки наиболее популярные и тому подобная, разнородная информация для юзабилистов. \\nСервис позволяет отслеживать активность определенных пользователей, и выводить эти данные в различных формах: «инфракрасная» — где чем активнее область, тем она «теплее», салюты (чем активнее область, тем больше конфети), простой список с сортировкой по активности, колбы (чем заполненнее колба, тем активнее область), облака (на мой взгляд наиболее удобный вариант — совмещает в себе все остальные вместе взятые)',\n",
       " 'ля кого это? \\nРазумеется сервис изначально планировался как первый помощник для юзабилистов, но пользоваться им может каждый, у кого есть деньги — интуитивный интерфейс, и хороший дизайн дает о себе знать — сервис массово популяризировался пол года-год назад',\n",
       " 'тносительно недорогой, но уж точно не из дешевых — сервис предполагает собой 4 платных линии и одну бесплатную',\n",
       " 'абы написать этот обзор я не поленился заплатить 19 долларов (в месяц) выбрав средний вариант — для нескольких проектов с включенными дополнительными функциями. \\nДа-да, сервис не бесплатен',\n",
       " 'очнее бесплатная возможность потестировать есть, но она немного обрезана (можно отслеживать только 5000 посетителей и всего 4 страницы на сайте (внимание — 4 страницы, а не сайтов), т.е. вполне хватает для того, чтобы понять полезность сервиса)',\n",
       " 'ачем это? \\nС помощью этого сервиса можно тасовать блоки на сайте, которые полезны пользователям больше всего']"
      ]
     },
     "execution_count": 34,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "re.split('[!?\\.] [А-Я]', text)[:10]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Проблема в том, что сам разделитель удаляется тоже, а нам нужно удалить только пробел между знаками препинания и заглавной буквой."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Решается эта проблема с помощью __look ahead__ и __look behind__ (название функционала в регулярных выражениях).  \n",
    "Синтаксис там такой:  \n",
    "**(?<=pattern)** положительное look-behind условие  \n",
    "**(?<!pattern)** отрицательное look-behind условие  \n",
    "**(?=pattern)** положительное look-ahead условие  \n",
    "**(?!pattern)** отрицательное look-ahead условие  "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Подробно про это написано тут: https://www.regular-expressions.info/lookaround.html  \n",
    "А совсем подробно про (?...) выражения вообще вот тут - https://www.rexegg.com/regex-disambiguation.html"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Look behind и look ahead превращают паттерн в условный, то есть проверяется есть ли он (до или после, соответственно), но его захвата не происходит. "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Обернём наше регулярное выражение и посмотрим, что получается:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 122,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[' Сегодняшняя заметка будет о сервисе отслеживания активности пользователя — CrazyEgg .',\n",
       " 'Я не знаю кому обязан сервис таким говорящим именем, но оно работает, и хорошо.',\n",
       " 'Запоминается?',\n",
       " 'Отлично!',\n",
       " 'Что это такое?',\n",
       " 'Как уже сказано выше это сервис для отслеживания перемещения пользователей по сайту — кто куда кликнул, какие ссылки наиболее популярные и тому подобная, разнородная информация для юзабилистов.',\n",
       " 'Сервис позволяет отслеживать активность определенных пользователей, и выводить эти данные в различных формах: «инфракрасная» — где чем активнее область, тем она «теплее», салюты (чем активнее область, тем больше конфети), простой список с сортировкой по активности, колбы (чем заполненнее колба, тем активнее область), облака (на мой взгляд наиболее удобный вариант — совмещает в себе все остальные вместе взятые).',\n",
       " 'Для кого это?',\n",
       " 'Разумеется сервис изначально планировался как первый помощник для юзабилистов, но пользоваться им может каждый, у кого есть деньги — интуитивный интерфейс, и хороший дизайн дает о себе знать — сервис массово популяризировался пол года-год назад.',\n",
       " 'Относительно недорогой, но уж точно не из дешевых — сервис предполагает собой 4 платных линии и одну бесплатную.']"
      ]
     },
     "execution_count": 122,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "re.split('(?<=[\\.?!]) +(?=[А-ЯЁ])', text.replace('\\n', ' '))[:10]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "В __nltk__ есть уже готовая функция для разбивки на предложения. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 121,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['\\nСегодняшняя заметка будет о сервисе отслеживания активности пользователя — CrazyEgg .',\n",
       " 'Я не знаю кому обязан сервис таким говорящим именем, но оно работает, и хорошо.',\n",
       " 'Запоминается?',\n",
       " 'Отлично!',\n",
       " 'Что это такое?',\n",
       " 'Как уже сказано выше это сервис для отслеживания перемещения пользователей по сайту — кто куда кликнул, какие ссылки наиболее популярные и тому подобная, разнородная информация для юзабилистов.',\n",
       " 'Сервис позволяет отслеживать активность определенных пользователей, и выводить эти данные в различных формах: «инфракрасная» — где чем активнее область, тем она «теплее», салюты (чем активнее область, тем больше конфети), простой список с сортировкой по активности, колбы (чем заполненнее колба, тем активнее область), облака (на мой взгляд наиболее удобный вариант — совмещает в себе все остальные вместе взятые).',\n",
       " 'Для кого это?',\n",
       " 'Разумеется сервис изначально планировался как первый помощник для юзабилистов, но пользоваться им может каждый, у кого есть деньги — интуитивный интерфейс, и хороший дизайн дает о себе знать — сервис массово популяризировался пол года-год назад.',\n",
       " 'Относительно недорогой, но уж точно не из дешевых — сервис предполагает собой 4 платных линии и одну бесплатную.']"
      ]
     },
     "execution_count": 121,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sent_tokenize(text, 'russian')[:10]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "В __gensim__ тоже есть готовая функция"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 120,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['Сегодняшняя заметка будет о сервисе отслеживания активности пользователя — CrazyEgg .',\n",
       " 'Я не знаю кому обязан сервис таким говорящим именем, но оно работает, и хорошо.',\n",
       " 'Запоминается?',\n",
       " 'Отлично!',\n",
       " 'Что это такое?']"
      ]
     },
     "execution_count": 120,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# это ещё и генератор, т.е. сразу подходит для больших корпусов\n",
    "list(split_sentences(text))[:5]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Токенизация"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Мы разбили текст на предложения. Теперь предложения нужно разбить на токены. Под токенами обычно понимаются слова, но это могут быть и какие-то более длинные или короткие куски. "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Самый простой способ токенизации -- стандартный питоновский __str.split__ метод.\n",
    "    По умолчанию он разбивает текст по последовательностям пробелом \n",
    " (т.е. даже со второй версией remove_tags всё бы хорошо разделилось)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['1', '', '2', '3']"
      ]
     },
     "execution_count": 41,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "'1  2 3'.split(' ')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['1', '2', '3']"
      ]
     },
     "execution_count": 42,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "'1  2 3'.split()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1140,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['Сегодняшняя',\n",
       " 'заметка',\n",
       " 'будет',\n",
       " 'о',\n",
       " 'сервисе',\n",
       " 'отслеживания',\n",
       " 'активности',\n",
       " 'пользователя',\n",
       " '—',\n",
       " 'CrazyEgg',\n",
       " '.',\n",
       " 'Я',\n",
       " 'не',\n",
       " 'знаю',\n",
       " 'кому',\n",
       " 'обязан',\n",
       " 'сервис',\n",
       " 'таким',\n",
       " 'говорящим',\n",
       " 'именем,']"
      ]
     },
     "execution_count": 1140,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "text.split()[:20]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Большая часть слов отделяется, но знаки препинания лепятся к словам.\n",
    "Можно пройтись по всем словам и убрать из них пунктцацию с методом str.strip."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1124,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'!\"#$%&\\'()*+,-./:;<=>?@[\\\\]^_`{|}~'"
      ]
     },
     "execution_count": 1124,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#основные знаки преминания хранятся в питоноском модуле string.punctuation\n",
    "string.punctuation"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {},
   "outputs": [],
   "source": [
    "# в этом списке не хватает кавычек-ёлочек, лапок, длинного тире и многоточия\n",
    "string.punctuation += '«»—…“”'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 119,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['Сегодняшняя',\n",
       " 'заметка',\n",
       " 'будет',\n",
       " 'о',\n",
       " 'сервисе',\n",
       " 'отслеживания',\n",
       " 'активности',\n",
       " 'пользователя',\n",
       " '',\n",
       " 'CrazyEgg']"
      ]
     },
     "execution_count": 119,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "[word.strip(string.punctuation) for word in text.split()][:10]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Так не будут удаляться дефисы и точке в сокращениях, не разделенных пробелом."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 150,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'как-нибудь'"
      ]
     },
     "execution_count": 150,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "'как-нибудь'.strip(punctuation)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'т.е'"
      ]
     },
     "execution_count": 48,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "'т.е.'.strip(punctuation)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Ещё слова можно извлечь с помощью простого регулярного выражения:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 118,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['Сегодняшняя',\n",
       " 'заметка',\n",
       " 'будет',\n",
       " 'о',\n",
       " 'сервисе',\n",
       " 'отслеживания',\n",
       " 'активности',\n",
       " 'пользователя',\n",
       " 'CrazyEgg',\n",
       " 'Я']"
      ]
     },
     "execution_count": 118,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "re.findall('\\w+', text)[:10]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Как-нибудь так разделится, но это все-таки не так страшно."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Ещё есть готовые токенизаторы из nltk. Они не удаляют пунктуацию, а выделяют её отдельным токеном.\n",
    "\n",
    "Например **wordpunct_tokenizer** разбирает по регулярке - *'\\w+|[^\\w\\s]+'* "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 117,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['Сегодняшняя',\n",
       " 'заметка',\n",
       " 'будет',\n",
       " 'о',\n",
       " 'сервисе',\n",
       " 'отслеживания',\n",
       " 'активности',\n",
       " 'пользователя',\n",
       " '—',\n",
       " 'CrazyEgg']"
      ]
     },
     "execution_count": 117,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "wordpunct_tokenize(text)[:10]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Ещё есть **word_tokenize**. Он также построен на регулярках, но они там более сложные (учитывается последовательность некоторых \n",
    "символов, символы начала, конца слова и т.д). \n",
    "\n",
    "Специально подобранного под русский язык токенизатора там нет, \n",
    "но и с английским всё работает достаточно хорошо\n",
    "сокращения типа т.к собираются в один токен, дефисные слова тоже не разделяются\n",
    "Многоточия тут тоже не отделяются, но это можно поправить."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['Сегодняшняя',\n",
       " 'заметка',\n",
       " 'будет',\n",
       " 'о',\n",
       " 'сервисе',\n",
       " 'отслеживания',\n",
       " 'активности',\n",
       " 'пользователя',\n",
       " '—',\n",
       " 'CrazyEgg']"
      ]
     },
     "execution_count": 54,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "word_tokenize(text)[:10]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "В генсиме тоже есть функция для токенизации"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 116,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['сегодняшняя',\n",
       " 'заметка',\n",
       " 'будет',\n",
       " 'о',\n",
       " 'сервисе',\n",
       " 'отслеживания',\n",
       " 'активности',\n",
       " 'пользователя',\n",
       " 'crazyegg',\n",
       " 'я']"
      ]
     },
     "execution_count": 116,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# опять же, это генератор\n",
    "list(tokenize(text, lowercase=True))[:10]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Нормализация"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Полученные токены тоже чаще всего нужно привести к какому-то стандартному виду."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Самое простое и очевидное - привести всё к одному регистру:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'слово'"
      ]
     },
     "execution_count": 46,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "'СловО'.lower()\n",
    "# если не нужно разбивать на предложения, то это можно сделать в самом начале\n",
    "# text.lower()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Для языков со слабым словоизменением этого может быть достаточно. Но для русского с его склонениями и спряжениями лучше использовать стемминг или лемматизацию."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Стемминг"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Стемминг - это нахождение основы слова, т.е. такой части, которая является общей для всех словоформ в парадигме слова. На практике стемминг сводится к отбрасыванию частотных окончаний."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Самый известный стеммер - стеммер Портера (или snowball стеммер). \n",
    "Подробнее про стеммер Портера можно почитать вот тут - <https://medium.com/@eigenein/стеммер-портера-для-русского-языка-d41c38b2d340>  \n",
    "А совсем подробнее вот тут - <http://snowball.tartarus.org/algorithms/russian/stemmer.html>  \n",
    "Почему он так называется? Так назывался язык программирования, который Портер написал для стеммеров. Язык так называется в созвучие языку SNOBOL. Вот комментарий самого Портера:\n",
    "\n",
    "`Since it effectively provides a ‘suffix STRIPPER GRAMmar’, I had toyed with the idea of calling it ‘strippergram’, but good sense has prevailed, and so it is ‘Snowball’ named as a tribute to SNOBOL, the excellent string handling language of Messrs Farber, Griswold, Poage and Polonsky from the 1960s.`"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Готовые стеммеры для разных языков есть в nltk. Работают они вот так:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {},
   "outputs": [],
   "source": [
    "from nltk.stem.snowball import SnowballStemmer"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "metadata": {},
   "outputs": [],
   "source": [
    "stemmer = SnowballStemmer('russian')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 60,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('Сегодняшняя', 'сегодняшн'),\n",
       " ('заметка', 'заметк'),\n",
       " ('будет', 'будет'),\n",
       " ('о', 'о'),\n",
       " ('сервисе', 'сервис'),\n",
       " ('отслеживания', 'отслеживан'),\n",
       " ('активности', 'активн'),\n",
       " ('пользователя', 'пользовател'),\n",
       " ('—', '—'),\n",
       " ('CrazyEgg', 'CrazyEgg'),\n",
       " ('.', '.'),\n",
       " ('Я', 'я'),\n",
       " ('не', 'не'),\n",
       " ('знаю', 'зна'),\n",
       " ('кому', 'ком'),\n",
       " ('обязан', 'обяза'),\n",
       " ('сервис', 'сервис'),\n",
       " ('таким', 'так'),\n",
       " ('говорящим', 'говоря'),\n",
       " ('именем,', 'именем,'),\n",
       " ('но', 'но'),\n",
       " ('оно', 'он'),\n",
       " ('работает,', 'работает,'),\n",
       " ('и', 'и'),\n",
       " ('хорошо.', 'хорошо.'),\n",
       " ('Запоминается?', 'запоминается?'),\n",
       " ('Отлично!', 'отлично!'),\n",
       " ('Что', 'что'),\n",
       " ('это', 'эт'),\n",
       " ('такое?', 'такое?')]"
      ]
     },
     "execution_count": 60,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "[(word, stemmer.stem(word)) for word in text.split()][:30]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'прол'"
      ]
     },
     "execution_count": 61,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "stemmer.stem(\"пролить\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'прольет'"
      ]
     },
     "execution_count": 62,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "stemmer.stem(\"прольёт\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 63,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'прол'"
      ]
     },
     "execution_count": 63,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "stemmer.stem(\"пролом\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Недостатки стемминга достаточно очевидные:  \n",
    "1) с супплетивными формами или редкими окончаниями слова стемминг работать не умеет  \n",
    "2) к одной могут приводится разные слова  \n",
    "3) редкие окончания не отбрасываются"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Лемматизация"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Лемматизация - это замена словоформы слова в парадигме на какую-то заранее выбранную стадартную форму (лемму)*. \n",
    "\n",
    "\n",
    "\n",
    "Например, для разных форм глагола леммой будет неопределенная форма, а для существительного форма мужского рода единственного числа. Это позволяет избавить от недостатков стемминга (будет, был - одна лемма), (пролить, пролом - разные). Однако лемматизация значительно сложнее. \n",
    "\n",
    "\\* - (Значения слов \"слово\", \"слоформа\", \"парадигма\" приблизительно соответствует тому, которое использует Зализняк вот тут - http://inslav.ru/images/stories/pdf/2002_Zalizniak_RIS_i_statji.pdf (стр. 21-22))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "К счастью есть готовые хорошие лемматизаторы. Для русского основых варианта два: Mystem и Pymorphy.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Mystem"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "Майстем работает немного лучше и сам токенизирует,\n",
    "поэтому можно в него засовывать сырой текст."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 159,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['\\n', 'сегодняшний', ' ', 'заметка', ' ', 'быть', ' ', 'о', ' ', 'сервис']"
      ]
     },
     "execution_count": 159,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# mystem.lemmatize функция лемматизации в майстеме\n",
    "# сам объект mystem нужно заранее инициализировать\n",
    "# мы сделали это в начале тетрадки строчкой \"mystem = Mystem()\"\n",
    "mystem.lemmatize(text)[:10]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 65,
   "metadata": {},
   "outputs": [],
   "source": [
    "t = 'Сегодняшняя заметка будет о сервисе отслеживания активности пользователя — CrazyEgg. Я не знаю кому обязан сервис таким говорящим именем, но оно работает, и хорошо.'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 66,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Если нужна грамматическая информация или надо сохранить ненормализованный текст,\n",
    "# есть функция mystem.analyze\n",
    "words_analized = mystem.analyze(text)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 115,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[[Parse(word='сегодняшняя', tag=OpencorporaTag('ADJF femn,sing,nomn'), normal_form='сегодняшний', score=1.0, methods_stack=((<DictionaryAnalyzer>, 'сегодняшняя', 382, 7),))],\n",
       " [Parse(word='заметка', tag=OpencorporaTag('NOUN,inan,femn sing,nomn'), normal_form='заметка', score=1.0, methods_stack=((<DictionaryAnalyzer>, 'заметка', 8, 0),))],\n",
       " [Parse(word='будет', tag=OpencorporaTag('VERB,impf,intr sing,3per,futr,indc'), normal_form='быть', score=1.0, methods_stack=((<DictionaryAnalyzer>, 'будет', 587, 12),))],\n",
       " [Parse(word='о', tag=OpencorporaTag('PREP'), normal_form='о', score=0.990985, methods_stack=((<DictionaryAnalyzer>, 'о', 2133, 0),)),\n",
       "  Parse(word='о', tag=OpencorporaTag('INTJ'), normal_form='о', score=0.009014, methods_stack=((<DictionaryAnalyzer>, 'о', 21, 0),))],\n",
       " [Parse(word='сервисе', tag=OpencorporaTag('NOUN,inan,masc sing,loct'), normal_form='сервис', score=1.0, methods_stack=((<DictionaryAnalyzer>, 'сервисе', 33, 5),))],\n",
       " [Parse(word='отслеживания', tag=OpencorporaTag('NOUN,inan,neut,Sgtm sing,gent'), normal_form='отслеживание', score=1.0, methods_stack=((<DictionaryAnalyzer>, 'отслеживания', 108, 1),))],\n",
       " [Parse(word='активности', tag=OpencorporaTag('NOUN,inan,femn sing,gent'), normal_form='активность', score=0.333333, methods_stack=((<DictionaryAnalyzer>, 'активности', 13, 1),)),\n",
       "  Parse(word='активности', tag=OpencorporaTag('NOUN,inan,femn sing,datv'), normal_form='активность', score=0.166666, methods_stack=((<DictionaryAnalyzer>, 'активности', 13, 2),)),\n",
       "  Parse(word='активности', tag=OpencorporaTag('NOUN,inan,femn sing,loct'), normal_form='активность', score=0.166666, methods_stack=((<DictionaryAnalyzer>, 'активности', 13, 5),)),\n",
       "  Parse(word='активности', tag=OpencorporaTag('NOUN,inan,femn plur,nomn'), normal_form='активность', score=0.166666, methods_stack=((<DictionaryAnalyzer>, 'активности', 13, 6),)),\n",
       "  Parse(word='активности', tag=OpencorporaTag('NOUN,inan,femn plur,accs'), normal_form='активность', score=0.166666, methods_stack=((<DictionaryAnalyzer>, 'активности', 13, 9),))],\n",
       " [Parse(word='пользователя', tag=OpencorporaTag('NOUN,anim,masc sing,gent'), normal_form='пользователь', score=0.764705, methods_stack=((<DictionaryAnalyzer>, 'пользователя', 121, 1),)),\n",
       "  Parse(word='пользователя', tag=OpencorporaTag('NOUN,anim,masc sing,accs'), normal_form='пользователь', score=0.235294, methods_stack=((<DictionaryAnalyzer>, 'пользователя', 121, 3),))],\n",
       " [Parse(word='—', tag=OpencorporaTag('PNCT'), normal_form='—', score=1.0, methods_stack=((<PunctuationAnalyzer>, '—'),))],\n",
       " [Parse(word='crazyegg', tag=OpencorporaTag('LATN'), normal_form='crazyegg', score=1.0, methods_stack=((<LatinAnalyzer>, 'CrazyEgg'),))]]"
      ]
     },
     "execution_count": 115,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# возвращает она список словарей\n",
    "# каждый словарь имеет либо одно поле 'text' (когда попался пробел) или text и analysis\n",
    "# в analysis снова список словарей с вариантами разбора (первый самый вероятный)\n",
    "# поля в analysis - 'gr' - грамматическая информация, 'lex' - лемма\n",
    "# analysis - может быть пустым списком\n",
    "words_analized[:10]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 69,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Слово -  Сегодняшняя\n",
      "Разбор слова -  {'lex': 'сегодняшний', 'wt': 1, 'gr': 'A=им,ед,полн,жен'}\n",
      "Лемма слова -  сегодняшний\n",
      "Грамматическая информация слова -  A=им,ед,полн,жен\n"
     ]
    }
   ],
   "source": [
    "print('Слово - ', words_analized[1]['text'])\n",
    "print('Разбор слова - ', words_analized[1]['analysis'][0])\n",
    "print('Лемма слова - ', words_analized[1]['analysis'][0]['lex'])\n",
    "print('Грамматическая информация слова - ', words_analized[1]['analysis'][0]['gr'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1137,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['сегодняшний',\n",
       " 'заметка',\n",
       " 'быть',\n",
       " 'о',\n",
       " 'сервис',\n",
       " 'отслеживание',\n",
       " 'активность',\n",
       " 'пользователь',\n",
       " 'я',\n",
       " 'не']"
      ]
     },
     "execution_count": 1137,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#леммы можно достать в одну строчку\n",
    "[parse['analysis'][0]['lex'] for parse in words_analized if parse.get('analysis')][:10]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Mystem умеет разбивать текст на предложения, но через питоновский интерфейс это сделать не получится. Нужно скачать mystem отсюда - https://yandex.ru/dev/mystem/"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "После этого сохранить текст в файл."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 175,
   "metadata": {},
   "outputs": [],
   "source": [
    "f = open('text.txt', 'w')\n",
    "f.write(text)\n",
    "f.close()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Из командной строки или из питона запустить майстем на нашем файле"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# про параметры почитайте в ./mystem -h\n",
    "os.system(' ./mystem -iscd --format json text.txt text_parsed.txt')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "В целевом файле теперь лежит разобранный текст в jsonlines (json на каждой строчке)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 70,
   "metadata": {},
   "outputs": [],
   "source": [
    "t = [json.loads(line) for line in open('text_parsed.txt')]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Каждый объект в этом списке - параграф. Каждый параграф на предложения можно разбив по тегу '//s'"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Ещё так вызывать майстем может понадобиться, если важна скорость."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Недостатки Mystem: это продукт Яндекса с некоторыми ограничениями на использование, больше он не развивается."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Важным достоинством Mystem является то, что он работает не с отдельными словами, а с целым предложением. При определении нужной леммы учитывается контекст, что позволяет во многих случаях разрешать омонимию."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Pymorphy"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Pymorphy - открытый и развивается (можно поучаствовать на гитхабе)\n",
    "\n",
    "Ссылка на репозиторий: https://github.com/kmike/pymorphy2\n",
    "\n",
    "Попробуйте сразу установить быструю версию (pip install pymorphy2[fast])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "У него нет втстроенной токенизации и он расценивает всё как слово. Когда есть несколько вариантов, он выдает их с вероятностостями, которые расчитатны на корпусе со снятой неоднозначностью. Это лучше стемминга, но хуже майстема."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 73,
   "metadata": {},
   "outputs": [],
   "source": [
    "# основная функция - pymorphy.parse\n",
    "words_analized = [morph.parse(token) for token in word_tokenize(text)]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 75,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[Parse(word='печь', tag=OpencorporaTag('INFN,impf,tran'), normal_form='печь', score=0.666666, methods_stack=((<DictionaryAnalyzer>, 'печь', 2352, 0),)),\n",
       " Parse(word='печь', tag=OpencorporaTag('NOUN,inan,femn sing,nomn'), normal_form='печь', score=0.166666, methods_stack=((<DictionaryAnalyzer>, 'печь', 2131, 0),)),\n",
       " Parse(word='печь', tag=OpencorporaTag('NOUN,inan,femn sing,accs'), normal_form='печь', score=0.166666, methods_stack=((<DictionaryAnalyzer>, 'печь', 2131, 3),))]"
      ]
     },
     "execution_count": 75,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "morph.parse(\"печь\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 74,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Первое слово -  сегодняшняя\n",
      "Разбор первого слова -  Parse(word='сегодняшняя', tag=OpencorporaTag('ADJF femn,sing,nomn'), normal_form='сегодняшний', score=1.0, methods_stack=((<DictionaryAnalyzer>, 'сегодняшняя', 382, 7),))\n",
      "Лемма первого слова -  сегодняшний\n",
      "Грамматическая информация первого слова -  ADJF femn,sing,nomn\n",
      "Часть речи первого слова -  ADJF\n",
      "Род первого слова -  femn\n",
      "Число первого слова -  sing\n",
      "Падеж первого слова -  nomn\n"
     ]
    }
   ],
   "source": [
    "# Она похожа на analyze в майстеме только возрващает список объектов Parse\n",
    "# Первый в списке - самый вероятный разбор (у каждого есть score)\n",
    "# Информация достается через атрибут (Parse.word - например)\n",
    "# Грамматическая информация хранится в объекте OpencorporaTag и из него удобно доставать\n",
    "# части речи или другие категории\n",
    "print('Первое слово - ', words_analized[0][0].word)\n",
    "print('Разбор первого слова - ', words_analized[0][0])\n",
    "print('Лемма первого слова - ', words_analized[0][0].normal_form)\n",
    "print('Грамматическая информация первого слова - ', words_analized[0][0].tag)\n",
    "print('Часть речи первого слова - ', words_analized[0][0].tag.POS)\n",
    "print('Род первого слова - ', words_analized[0][0].tag.gender)\n",
    "print('Число первого слова - ', words_analized[0][0].tag.number)\n",
    "print('Падеж первого слова - ', words_analized[0][0].tag.case)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Дополнительная очистка текста"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Пунктуация часто совсем не нужна и поэтому можно выбросить её заранее. Если нужно обрабатывать много текста, это может немного ускорить процесс.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1154,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['в',\n",
       " 'это',\n",
       " 'случай',\n",
       " 'слово',\n",
       " 'вроде',\n",
       " 'и',\n",
       " 'не',\n",
       " 'пройти',\n",
       " 'фильтр',\n",
       " 'и',\n",
       " 'быть',\n",
       " 'удалить']"
      ]
     },
     "execution_count": 1154,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Оставим только буквено-численные токены\n",
    "# Это не самый лучший вариант, так как удалятся сокращения с точкой, слова через дефис\n",
    "text = 'В этом случае слова вроде т.к. и по-другому не пройдут фильтр и будут удалены.'\n",
    "good_tokens = [word for word in word_tokenize(text) if word.isalnum()]\n",
    "[morph.parse(token)[0].normal_form for token in good_tokens]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 114,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['сегодняшний',\n",
       " 'заметка',\n",
       " 'быть',\n",
       " 'сервис',\n",
       " 'отслеживание',\n",
       " 'активность',\n",
       " 'пользователь',\n",
       " 'crazyegg',\n",
       " 'знать',\n",
       " 'кома']"
      ]
     },
     "execution_count": 114,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#можно сделать фильтр по длине\n",
    "good_tokens = [word.strip(string.punctuation) for word in \n",
    "               word_tokenize(text) \n",
    "               if len(word) > 2 and len(word) < 35]\n",
    "\n",
    "[morph.parse(token)[0].normal_form for token in good_tokens][:10]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Можно убрать стоп-слова (предлоги, союзы, местоимения, частотные слова). Сам термин стоп-слово происходит из информационного поиска, первый раз его упомянул [Питер Лун](https://en.wikipedia.org/wiki/Hans_Peter_Luhn) в 1959.  \n",
    "Удаление таких слов позволяло сократить размер индекса и не сильно испортить выдачу или даже улучшить её, поднимая релевантность документам со значимыми словами. Со временем от такой практики, в основном, отказались - память стала дешевой (и повились всякие алгоритмы для сокращения потребления памяти), а для учёта значимости придумали IDF.  "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Во многих поисковых движках стоп-слова всё ещё используются. Часто их используют и в практических задачах (классификации, тематическом моделировании). "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 120,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['и', 'в', 'во', 'не', 'что', 'он', 'на', 'я', 'с', 'со', 'как', 'а', 'то', 'все', 'она', 'так', 'его', 'но', 'да', 'ты', 'к', 'у', 'же', 'вы', 'за', 'бы', 'по', 'только', 'ее', 'мне', 'было', 'вот', 'от', 'меня', 'еще', 'нет', 'о', 'из', 'ему', 'теперь', 'когда', 'даже', 'ну', 'вдруг', 'ли', 'если', 'уже', 'или', 'ни', 'быть', 'был', 'него', 'до', 'вас', 'нибудь', 'опять', 'уж', 'вам', 'ведь', 'там', 'потом', 'себя', 'ничего', 'ей', 'может', 'они', 'тут', 'где', 'есть', 'надо', 'ней', 'для', 'мы', 'тебя', 'их', 'чем', 'была', 'сам', 'чтоб', 'без', 'будто', 'чего', 'раз', 'тоже', 'себе', 'под', 'будет', 'ж', 'тогда', 'кто', 'этот', 'того', 'потому', 'этого', 'какой', 'совсем', 'ним', 'здесь', 'этом', 'один', 'почти', 'мой', 'тем', 'чтобы', 'нее', 'сейчас', 'были', 'куда', 'зачем', 'всех', 'никогда', 'можно', 'при', 'наконец', 'два', 'об', 'другой', 'хоть', 'после', 'над', 'больше', 'тот', 'через', 'эти', 'нас', 'про', 'всего', 'них', 'какая', 'много', 'разве', 'три', 'эту', 'моя', 'впрочем', 'хорошо', 'свою', 'этой', 'перед', 'иногда', 'лучше', 'чуть', 'том', 'нельзя', 'такой', 'им', 'более', 'всегда', 'конечно', 'всю', 'между']\n"
     ]
    }
   ],
   "source": [
    "# стоп-слова есть в nltk\n",
    "stops = stopwords.words('russian')\n",
    "print(stops)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Список не идеальный и его можно расширять под свои задачи."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 144,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['это',\n",
       " 'случай',\n",
       " 'слово',\n",
       " 'вроде',\n",
       " 'т.к',\n",
       " 'по-другому',\n",
       " 'пройти',\n",
       " 'фильтр',\n",
       " 'удалить']"
      ]
     },
     "execution_count": 144,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "words_normalized = [morph.parse(token)[0].normal_form for token in good_tokens]\n",
    "[word for word in words_normalized if word not in stops]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Универсальная предобработка"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Всё, что мы рассмотрели выше, так или иначе привязано к особенностям конкретного языка (токенизацию мы делали по пробелам, а они есть не везде; стемминг и лемматизация вообще работают только для целевого языка). Есть и универсальные методы предобработки. \n",
    "\n",
    "Например, **byte-pair-encoding**. Этот, изначально придуманный для кодировки алгоритм, сейчас используется почти во всех state-of-the-art моделях машинного перевода.  "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "При этом идея там не такая сложная. Изначально текст рассматривается как последовательность символов. На каждом шаге алгоритма в один токен склеивается самое частотное сочетание символов. Единственным параметром алгоритма является количество таких шагов. Чем больше шагов, тем конткретнее становятся токены (сначала собираются частотные морфемы, корни, потом слова, потом уже словосочетания). Если алгоритм не остановить, то весь текст соберется в один токен. "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Статья, в которой предлагается его использовать для машинного перевода - https://www.aclweb.org/anthology/P16-1162"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Минимальная реализация совсем короткая:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 106,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "import re, collections\n",
    "def get_stats(vocab):\n",
    "    pairs = collections.defaultdict(int)\n",
    "    for word, freq in vocab.items():\n",
    "        symbols = word.split()\n",
    "        for i in range(len(symbols)-1):\n",
    "            pairs[symbols[i],symbols[i+1]] += freq\n",
    "    return pairs\n",
    "\n",
    "def merge_vocab(pair, v_in):\n",
    "    v_out = {}\n",
    "    bigram = re.escape(' '.join(pair))\n",
    "    p = re.compile(r'(?<!\\S)' + bigram + r'(?!\\S)')\n",
    "    for word in v_in:\n",
    "        w_out = p.sub(''.join(pair), word)\n",
    "        v_out[w_out] = v_in[word]\n",
    "    return v_out\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 113,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'l o w </w>': 5, 'l o w e r </w>': 2, 'n e w est </w>': 6, 'w i d est </w>': 3, 'st r an g e r </w>': 2, 'and</w>': 10, 'st and</w>': 7}\n"
     ]
    }
   ],
   "source": [
    "vocab = {'l o w </w>' : 5, 'l o w e r </w>' : 2,\n",
    "         'n e w e s t </w>':6, 'w i d e s t </w>':3, \n",
    "         's t r a n g e r </w>':2, 'a n d </w>':10,\n",
    "         's t a n d </w>':7\n",
    "        }\n",
    "num_merges = 5\n",
    "\n",
    "for i in range(num_merges):\n",
    "    pairs = get_stats(vocab)\n",
    "    if not pairs:\n",
    "        print(i)\n",
    "        break\n",
    "    best = max(pairs, key=pairs.get)\n",
    "    vocab = merge_vocab(best, vocab)\n",
    "print(vocab)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Разумеется, это не самая эффективная реализация. Но об этом уже позаботились умные люди и вы можете воспользоваться готовыми решениями."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Совсем недавно ребята из ВК сделали библиотеку YouTokenToMe, по бенчмаркам оно обходит другие популярные реализации (SentencePiece от Гугла, например). Пост на медиуме - https://medium.com/@vktech/youtokentome-a-tool-for-quick-text-tokenization-from-the-vk-team-aa6341215c5a"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "По какой-то причине в jupyter не работает обучение модели. Обучить модель можно в командной строке."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 84,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Training parameters\r\n",
      "  input: text.txt\r\n",
      "  model: model\r\n",
      "  vocab_size: 1000\r\n",
      "  n_threads: 8\r\n",
      "  character_coverage: 1\r\n",
      "  pad: 0\r\n",
      "  unk: 1\r\n",
      "  bos: 2\r\n",
      "  eos: 3\r\n",
      "\r\n",
      "reading file...\r\n",
      "learning bpe...\r\n",
      "number of unique characters in the training data: 92\r\n",
      "number of deleted characters: 0\r\n",
      "number of unique characters left: 92\r\n",
      "model saved to: model\r\n"
     ]
    }
   ],
   "source": [
    "!yttm bpe --data text.txt --model model --vocab_size 1000"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 83,
   "metadata": {},
   "outputs": [],
   "source": [
    "import random\n",
    "import youtokentome as yttm"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Модель загружается вот так."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 85,
   "metadata": {},
   "outputs": [],
   "source": [
    "bpe = yttm.BPE(model='model')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Преобразовать текст можно так."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 86,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[['▁Сегодняшняя', '▁заметка', '▁будет', '▁о', '▁сервисе', '▁отслеживания', '▁активности', '▁пользователя', '▁—', '▁CrazyEgg', '▁.', '▁Я', '▁не', '▁знаю', '▁ко', 'му', '▁обязан', '▁сервис', '▁таки', 'м', '▁г', 'ов', 'ор', 'я', 'щ', 'им', '▁и', 'ме', 'не', 'м', ',', '▁но', '▁о', 'но', '▁работает', ',', '▁и', '▁хорошо', '.', '▁Запоминается?', '▁Отлично!', '▁', 'Ч', 'то', '▁это', '▁та', 'ко', 'е', '?', '▁Как', '▁уже', '▁с', 'ка', 'за', 'но', '▁вы', 'ше', '▁это', '▁сервис', '▁для', '▁отслеживания', '▁перемещения', '▁пользователей', '▁по', '▁сайту', '▁—', '▁к', 'то', '▁ку', 'да', '▁к', 'ли', 'к', 'ну', 'л', ',', '▁какие', '▁ссылки', '▁наиболее', '▁популярные', '▁и', '▁то', 'му', '▁по', 'доб', 'ная', ',', '▁разнородная', '▁информация', '▁для', '▁юзабилистов.', '▁С', 'ервис', '▁позволяет', '▁отслеживать', '▁активно', 'сть', '▁определенных', '▁пользовате', 'ле', 'й,', '▁и', '▁выводить', '▁эти', '▁да', 'н', 'ные', '▁в', '▁различных', '▁формах:', '▁«инфракрасная»', '▁—', '▁где', '▁', 'чем', '▁активнее', '▁область,', '▁тем', '▁она', '▁«', 'те', 'п', 'лее', '»', ',', '▁са', 'лю', 'т', 'ы', '▁(чем', '▁активнее', '▁область,', '▁тем', '▁больше', '▁кон', 'ф', 'ети', '),', '▁про', 'сто', 'й', '▁с', 'пис', 'о', 'к', '▁с', '▁со', 'р', 'ти', 'ров', 'кой', '▁по', '▁активности', ',', '▁кол', 'бы', '▁(чем', '▁за', 'полне', 'н', 'нее', '▁колба,', '▁тем', '▁активнее', '▁область', '),', '▁обла', 'ка', '▁(', 'на', '▁мо', 'й', '▁взгляд', '▁наиболее', '▁удоб', 'ный', '▁вариант', '▁—', '▁совмещает', '▁в', '▁себе', '▁все', '▁о', 'ста', 'ль', 'ные', '▁в', 'м', 'ес', 'те', '▁взятые).', '▁Д', 'ля', '▁кого', '▁это?', '▁Р', 'а', 'зу', 'меет', 'ся', '▁сервис', '▁изначально', '▁планировался', '▁ка', 'к', '▁п', 'ерв', 'ы', 'й', '▁помощник', '▁для', '▁юзабилистов,', '▁но', '▁пользова', 'ть', 'ся', '▁им', '▁мо', 'жет', '▁каждый,', '▁у', '▁кого', '▁есть', '▁деньги', '▁—', '▁интуитивный', '▁интерфейс', ',', '▁и', '▁хороший', '▁дизайн', '▁да', 'ет', '▁о', '▁себе', '▁знать', '▁—', '▁сервис', '▁массово', '▁популяризировался', '▁пол', '▁года-год', '▁на', 'за', 'д', '.', '▁Относительно', '▁не', 'до', 'ро', 'го', 'й,', '▁но', '▁у', 'ж', '▁то', 'чно', '▁не', '▁из', '▁дешевых', '▁—', '▁сервис', '▁предполагает', '▁со', 'бо', 'й', '▁4', '▁платных', '▁линии', '▁и', '▁о', 'д', 'ну', '▁бесплат', 'ну', 'ю.', '▁Дабы', '▁написа', 'ть', '▁этот', '▁обзор', '▁я', '▁не', '▁поленился', '▁за', 'пла', 'ти', 'ть', '▁19', '▁долларов', '▁(в', '▁месяц', ')', '▁вы', 'бра', 'в', '▁средний', '▁вариант', '▁—', '▁для', '▁нескольких', '▁проектов', '▁с', '▁включенными', '▁дополнительными', '▁функциями.', '▁Да-да,', '▁сервис', '▁не', '▁бесплатен.', '▁Т', 'о', 'ч', 'нее', '▁бесплат', 'ная', '▁возможность', '▁по', 'те', 'стирова', 'ть', '▁есть', ',', '▁но', '▁она', '▁немного', '▁об', 'ре', 'за', 'на', '▁(', 'можно', '▁отслеживать', '▁только', '▁5', '000', '▁посетителей', '▁и', '▁всего', '▁4', '▁страницы', '▁на', '▁сайте', '▁(внимание', '▁—', '▁4', '▁страницы', ',', '▁а', '▁не', '▁сайтов),', '▁', 'т.', 'е', '.', '▁вполне', '▁', 'х', 'ва', 'тает', '▁для', '▁того,', '▁что', 'бы', '▁понять', '▁полезность', '▁сервиса', ').', '▁Зачем', '▁это?', '▁С', '▁помо', 'щь', 'ю', '▁этого', '▁сервиса', '▁можно', '▁та', 'с', 'ова', 'ть', '▁бло', 'ки', '▁на', '▁сайте', ',', '▁которые', '▁полезны', '▁пользователям', '▁больше', '▁всего', '.', '▁Б', 'оль', 'ше', '▁не', '▁нужно', '▁с', 'по', 'ри', 'ть', '▁создателям', '▁—', '▁какой', '▁бло', 'к', '▁где', '▁расположить.', '▁В', '▁этом', '▁им', '▁поможет', '▁Сумасшедшее', '▁я', 'й', 'ц', 'о', '▁.', '▁Т', 'ак', 'же', '▁этот', '▁сервис', '▁поможет', '▁вам', '▁понять', '▁—', '▁в', '▁какой', '▁зоне', '▁сайта', '▁лучше', '▁всего', '▁располагать', '▁рекла', 'му', ',', '▁ко', 'г', 'да', '▁в', '▁ва', 'ше', 'м', '▁сервисе', '▁ре', 'ч', 'ь', '▁за', 'й', 'д', 'ет', '▁о', '▁монетизации.', '▁В', 'е', 'д', 'ь', '▁а', 'ль', 'т', 'ру', 'из', 'м', '▁это', '▁хорошо', ',', '▁а', '▁деньги', '▁на', '▁со', 'держа', 'ние', '▁сервиса', '▁ну', 'ж', 'ны', ',', '▁и', '▁не', '▁лишним', '▁будет', '▁вы', 'ч', 'ис', 'ли', 'ть', '▁зоны', '▁где', '▁рекла', 'ма', '▁будет', '▁приносить', '▁наи', 'б', 'оль', 'ш', 'ую', '▁отдачу,', '▁и', '▁наименьшее', '▁раз', 'д', 'ра', 'же', 'ние', '▁у', '▁пользователей.', '▁Как', '▁это', '▁работает', '?', '▁Никаких', '▁километровых', '▁скрип', 'тов', '▁вставлять', '▁не', '▁нужно', ',', '▁достаточно', '▁вставиь', '▁2', '▁ст', 'ро', 'ч', 'ки', '▁я', 'ва', 'с', 'крип', 'та', ',', '▁и', '▁сервис', '▁начнет', '▁отслежива', 'ние', '.', '▁Насколько', '▁я', '▁поня', 'л', '▁—', '▁исполнительный', '▁скрип', 'т', '▁работает', '▁на', '▁сервере', '▁CrazyEgg', '▁', ',', '▁по', 'э', 'то', 'му', '▁ва', 'ш', '▁сайт', '▁от', '▁этого', '▁в', '▁производительности', '▁не', '▁потеряет', '▁', 'ни', '▁се', 'к', 'ун', 'ды', ',', '▁а', '▁полезность', '▁довольно', '▁таки', '▁большая.', '▁Сколько', '▁это', '▁с', 'тоит', '?', '▁Как', '▁я', '▁уже', '▁упоминал', '▁—', '▁сервис', '▁да', 'ле', 'ко', '▁не', '▁бесплатен,', '▁хо', 'ть', '▁и', '▁имеет', '▁тестовую-бесплатную', '▁версию.', '▁Расскажу', '▁подробнее', '▁о', '▁тарификации.', '▁1.', '▁Бесплатная', '▁те', 'сто', 'ва', 'я', '▁версия.', '▁Включает', '▁в', '▁себ', 'я', '▁возможность', '▁отслеживания', '▁5', '▁000', '▁посещений,', '▁4', '▁страницы', '▁на', '▁сайте', '.', '▁2.', '▁Б', 'а', 'зова', 'я', '▁версия.', '▁В', '▁это', 'й', '▁версии', '▁можно', '▁отследить', '▁10', '▁000', '▁посещений,', '▁и', '▁10', '▁страниц,', '▁что', '▁вполне', '▁достаточно', '▁для', '▁среднего', '▁ко', 'р', 'по', 'ра', 'тив', 'ного', '▁сайта.', '▁Стоит', '▁базовый', '▁комплект', '▁—', '▁', '9', '▁долларов', '▁в', '▁месяц.', '▁В', '▁этот', '▁комплект', '▁вклю', 'че', 'ны', '▁все', '▁дополнитель', 'ные', '▁функ', 'ции.', '▁', '3', '.', '▁Версия', '▁«', 'С', 'та', 'н', 'да', 'р', 'т', '».', '▁В', '▁не', 'ё', '▁в', 'ходит', '▁возможность', '▁отслеживания', '▁25', '▁000', '▁посещений', '▁на', '▁2', '0', '▁страницах.', '▁В', 'полне', '▁подходит', '▁для', '▁тестирования', '▁но', 'во', 'го', '▁ста', 'р', 'та', 'п', 'а', '.', '▁Стоит', '▁она', '▁19', '▁долларов', '▁в', '▁месяц', ',', '▁им', 'ен', 'но', '▁е', 'ё', '▁я', '▁к', 'уп', 'и', 'л', '▁для', '▁тестирования', '▁сервиса', ',', '▁и', '▁написа', 'ния', '▁этого', '▁обзора.', '▁4', '.', '▁Версия', '▁«Плюс».', '▁Отличается', '▁от', '▁пред', 'ы', 'д', 'у', 'ще', 'й', '▁возможность', 'ю', '▁отслеживания', '▁100', '▁000', '▁посещений,', '▁5', '0', '▁страниц.', '▁Очень', '▁хороший', '▁тариф', '▁для', '▁к', 'р', 'уп', 'ных', '▁сервис', 'ов.', '▁Стоит', '▁4', '9', '▁долларов', '▁в', '▁месяц.', '▁Д', 'овольно', '▁большие', '▁деньги', '▁за', '▁сервис', ',', '▁но', '▁о', 'ни', '▁обычно', '▁с', '▁лихвой', '▁о', 'к', 'уп', 'аются', '.', '▁5', '.', '▁Версия', '▁«Про».', '▁Стоит', '▁по', 'ч', 'ти', '▁100', '▁долларов', ',', '▁имеет', '▁возможность', '▁отследить', '▁250', '▁000', '▁посещений', '▁на', '▁ста', '▁страницах.', '▁Т', 'а', 'риф', '▁подходит', '▁для', '▁монстров', '▁с', '▁боль', 'шо', 'й', '▁посещаемостью', '▁и', '▁большим', '▁количеством', '▁страниц.', '▁', 'Е', 'сть', '▁и', '▁аналоги', '▁Я', '▁не', '▁поленился,', '▁и', '▁собрал', '▁еще', '▁п', 'а', 'ру', '▁ссылок', '▁с', '▁аналогами,', '▁которые', '▁пред', 'лага', 'ют', '▁таки', 'е', '▁же', '▁у', 'с', 'л', 'у', 'ги', ',', '▁но', '▁немного', '▁дешевле.', '▁1.', '▁', 'G', 'o', 'o', 'g', 'l', 'e', '▁', 'A', 'n', 'a', 'l', 'y', 't', 'i', 'c', 's', '▁—', '▁бесплат', 'ный', '▁сервис', '▁для', '▁с', 'бо', 'ра', '▁и', '▁ана', 'ли', 'за', '▁статистики,', '▁вывод', '▁статистики', '▁в', '▁наиболее', '▁наглядной', '▁форме,', '▁и', '▁б', 'е', 'з', '▁разнообразных', '▁рейтингов,', '▁счетчиков.', '▁Очень', '▁подробная', '▁и', '▁полезная', '▁вещь', '.', '▁Р', 'е', 'ко', 'м', 'ен', 'д', 'ую', ',', '▁', 'т.к.', '▁сам', '▁пользуюсь', '▁им', '▁для', '▁этого', '▁бло', 'га', '.', '▁2.', '▁', 'M', 'a', 'p', 'S', 'u', 'r', 'f', 'a', 'c', 'e', '▁—', '▁сам', '▁еще', '▁не', '▁и', 'спользова', 'л', '▁(', 'т.к.', '▁предпочел', '▁CrazyEgg', '),', '▁но', '▁врядли', '▁буд', 'уч', 'и', '▁п', 'ло', 'х', 'им', '▁сервис', '▁собрал', '▁б', 'ы', '▁м', 'но', 'ж', 'ество', '▁положительных', '▁от', 'з', 'ы', 'в', 'ов.', '▁К', '▁со', 'жа', 'ле', 'ни', 'ю', '▁о', 'н', '▁се', 'й', 'ча', 'с', '▁на', 'ходит', 'ся', '▁в', '▁стат', 'у', 'се', '▁за', 'к', 'р', 'ы', 'то', 'й', '▁б', 'ет', 'ы', '.', '▁Вывод', '▁Использовать', '▁можно', ',', '▁и', '▁нужно', '.', '▁В', 'о', 'т', '▁только', '▁тариф', 'ы', '▁довольно', '▁боль', 'но', '▁ку', 'с', 'аются', ',', '▁но', '▁обычно', '▁эти', '▁деньги', '▁потом', '▁с', '▁лихвой', '▁от', 'би', 'ва', 'ются', '▁на', '▁повышении', '▁конверта', 'ции', '▁посетителей', '▁в', '▁деньги', '.', '▁Использовать', '▁сервис', '▁нужно', '▁для', '▁тестирования', '▁рекла', 'м', 'ных', '▁мес', 'т', '▁и', '▁удобства', '▁отдельных', '▁страниц,', '▁что', '▁помогает', '▁опять', '▁же', '▁повысить', '▁конверта', 'ци', 'ю.', '▁В', '▁об', 'ще', 'м', '▁и', '▁целом', '▁—', '▁полезная', '▁вещь', '▁для', '▁каждого', '▁владельца', '▁сайтов,', '▁а', '▁для', '▁юзабилис', 'та', '▁вообще', '▁практически', '▁обязательна.', '▁К', '▁с', 'ча', 'стью', '▁для', '▁', 'лю', 'де', 'й,', '▁которые', '▁по', 'из', 'держа', 'лис', 'ь', '▁деньгами', '▁в', '▁этом', '▁месяц', 'е', '▁—', '▁есть', '▁полез', 'ные', '▁аналоги.', '▁', 'А', 'в', 'тор', ':', '▁Ярослав', '▁Бирзул', '▁(', 'D', 'e', 'z', 'm', 'A', 'S', 't', 'e', 'r', ').', '▁Источник:', '▁Б', 'ло', 'г', '▁о', '▁юзаби', 'ли', 'ти', '▁ве', 'б', '▁интерфейс', 'ов', '▁.', '▁', 'P', 'S', ':', '▁В', 'се', 'х', '▁с', '▁прошедшим', '▁Н', 'овы', 'м', '▁годом!', '▁От', '▁все', 'й', '▁д', 'у', 'ши', '▁желаю', '▁вам', '▁всего', '▁самого-самого', '▁лучшего,', '▁чего', '▁вы', '▁желаете', '▁только', '▁в', '▁сам', 'ых', '▁со', 'к', 'ров', 'ен', 'ных', '▁мечтах.', '▁', 'У', 'да', 'чно', '▁вам', '▁п', 'ров', 'ес', 'ти', '▁время.']]\n"
     ]
    }
   ],
   "source": [
    "# Two types of tokenization\n",
    "print(bpe.encode([text], output_type=yttm.OutputType.SUBWORD))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Выглядит это все как какие-то бессмысленные обрезки текста. Но на самом деле это очень эффективный способ токенизации. Когда дойдем до классификаторов и нейронных сетей, вы всё увидите сами."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}