6_hw.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Марковские цепи и компания\n",
    "\n",
    "## Задание 1\n",
    "\n",
    "Взять два разных текста и обучить на них марковскую цепь с помощью `markovify`.\n",
    "\n",
    "Документация: https://github.com/jsvine/markovify"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "import markovify"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open(\"./m_texts/hroniki.txt\", encoding = 'utf-8') as f:\n",
    "    text_hr = f.read()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "model_hr = markovify.Text(text_hr)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Возможно, она догадывалась, о чем Эдмунд прошеп тал Питеру в конце концов все обойдется благополучно.\n",
      "- Спасибо, мисс, - сказал Питер, - ставить фонарь в таком громадном доме, и при мысли о длиннющих коридорах с рядами дверей в пустые спальни для гостей.\n",
      "Сьюзен глядела на профессора во все горло, Люси вскарабкалась на Стол, чтобы схватить Аслана.\n",
      "Но фавн был очень сердит на Люси за руку и сердце.\n",
      "- Прекрасно, великан Рамблбаффин, - сказал Дед Мороз.\n"
     ]
    }
   ],
   "source": [
    "for i in range(5):\n",
    "    print(model_hr.make_sentence())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open(\"./m_texts/stalin.txt\", encoding = 'utf-8') as f:\n",
    "    text_st = f.read()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "model_st = markovify.Text(text_st)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "И это означало: Великая мечта перестали существовать.\n",
      "В результате арестовали почти всех действующих лиц семинарской жизни.\n",
      "С фронта поступали все новые сургучные печати.\n",
      "Не понимал старый большевик попросил справку о своей тайной полиции - в советской тюрьме.\n",
      "Стиль, который потом принесет ему проклятый шалаш!\n"
     ]
    }
   ],
   "source": [
    "for i in range(5):\n",
    "    print(model_st.make_sentence())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 68,
   "metadata": {},
   "outputs": [],
   "source": [
    "model_combo = markovify.combine([ model_hr, model_st ], [ 1, 1 ])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "По доброй воле взойдет тот, кто ни в чем не знала что, и разревелась.\n",
      "- Слушаюсь и повинуюсь, о королева! - прорычал он. - Можно, я оставлю ваш платок себе на доклад горбачевских министров.\n",
      "Они должны были исчезнуть...\n",
      "Если и найдет, вряд ли кто сумел сдать экзамен на послушного раба.\n",
      "И когда они притащили его туда, им всем спать, то есть в Нарнии своими глазами, - это страна, - сказал мистер Бобр, затем Люси, Питер и Сьюзен; замыкала шествие миссис Бобриха. - Достань лучше из ящика комода несколько чистых носовых платков...\n"
     ]
    }
   ],
   "source": [
    "for i in range(5):\n",
    "    print(model_combo.make_sentence())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Задание 2\n",
    "\n",
    "На выбор, обсудим на паре.\n",
    "\n",
    "То, что вчера, но с русским и украинским."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "from sklearn.feature_extraction.text import TfidfVectorizer\n",
    "from sklearn.model_selection import train_test_split\n",
    "from sklearn.metrics import classification_report\n",
    "import os"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "ukru = 'text\\tlang\\n'\n",
    "for path in os.listdir('ukr_corpus')[:400]:\n",
    "    if os.path.isfile('./ukr_corpus/' + path):\n",
    "        with open('./ukr_corpus/' + path, encoding='utf-8-sig') as f:\n",
    "            text = f.read().replace('\\t', ' ')\n",
    "            text = text.replace('\"', '')\n",
    "            ukru += '\"' + text + '\"' + \"\\t\" + \"ukr\" + \"\\n\"\n",
    "for path in os.listdir('rus_corpus')[:400]:\n",
    "    if os.path.isfile('./rus_corpus/' + path):\n",
    "        with open('./rus_corpus/' + path, encoding='utf-8-sig') as f:\n",
    "            text = f.read().replace('\\t', ' ')\n",
    "            text = text.replace('\"', '')\n",
    "            ukru += '\"' + text + '\"' + \"\\t\" + \"rus\" + \"\\n\"\n",
    "with open('ukru.csv', 'w', encoding='utf-8-sig') as file:\n",
    "    file.write(ukru)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "ukru = pd.read_csv('ukru.csv',sep='\\t')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>lang</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Gantz/EXA це ранобе, за мотивами манґи Gantz, ...</td>\n",
       "      <td>ukr</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>17 грудня 2004 в Японії в доповнення до 15 том...</td>\n",
       "      <td>ukr</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>У липні 2009 року Young Jump почав видавати ра...</td>\n",
       "      <td>ukr</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Як подяку фанатам, що зробили Gantz: Ідеальна ...</td>\n",
       "      <td>ukr</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>25 січня 2011 у світ вийшов Gantz/Origins від ...</td>\n",
       "      <td>ukr</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                text lang\n",
       "0  Gantz/EXA це ранобе, за мотивами манґи Gantz, ...  ukr\n",
       "1  17 грудня 2004 в Японії в доповнення до 15 том...  ukr\n",
       "2  У липні 2009 року Young Jump почав видавати ра...  ukr\n",
       "3  Як подяку фанатам, що зробили Gantz: Ідеальна ...  ukr\n",
       "4  25 січня 2011 у світ вийшов Gantz/Origins від ...  ukr"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "ukru.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "trg = TfidfVectorizer(analyzer = 'char', ngram_range = (2, 2))\n",
    "mat_trg = trg.fit_transform(ukru.text)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "x_train, x_test, y_train, y_test = train_test_split(mat_trg, ukru['lang'], random_state=42)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.linear_model import LogisticRegression\n",
    "from sklearn.naive_bayes import MultinomialNB"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "MultinomialNB(alpha=1.0, class_prior=None, fit_prior=True)"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model = MultinomialNB()\n",
    "model.fit(x_train, y_train)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "y_pred = model.predict(x_test)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "             precision    recall  f1-score   support\n",
      "\n",
      "        rus       0.99      1.00      1.00       102\n",
      "        ukr       1.00      0.99      0.99        98\n",
      "\n",
      "avg / total       1.00      0.99      0.99       200\n",
      "\n"
     ]
    }
   ],
   "source": [
    "print(classification_report(y_test, y_pred))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "text = 'Ще нам, браття молодії, усміхнеться доля'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array(['ukr'], dtype='<U3')"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "x_new = trg.transform([text])\n",
    "y_new_pred = model.predict(x_new)\n",
    "y_new_pred"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([[0.07367015, 0.92632985]])"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "y_new_probs = model.predict_proba(x_new)\n",
    "y_new_probs"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pickle"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open('ukr_model','wb') as f:   #выгружаем обученный классификатор\n",
    "    pickle.dump(model, f)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open('trg','wb') as f:   #и векторизатор, который нужен для его работы\n",
    "    pickle.dump(trg, f)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}