SynNet.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## SynNet (vocab & word matrix)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "C:\\Users\\Drafter\\Anaconda3\\lib\\site-packages\\gensim\\utils.py:860: UserWarning: detected Windows; aliasing chunkize to chunkize_serial\n",
      "  warnings.warn(\"detected Windows; aliasing chunkize to chunkize_serial\")\n",
      "Slow version of gensim.models.doc2vec is being used\n",
      "2017-05-29 15:05:55,172 : INFO : loading projection weights from c:/data/ruscorpora_1_300_10.bin.gz\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loading w2v_model...\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "2017-05-29 15:06:13,334 : INFO : loaded (161301, 300) matrix from c:/data/ruscorpora_1_300_10.bin.gz\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "word2vec model 'c:/data/ruscorpora_1_300_10.bin.gz' loaded\n",
      "reading pickle poems model...\n",
      "vectorizing model...\n",
      "model is loaded\n"
     ]
    }
   ],
   "source": [
    "from poems_model import PoemsModel\n",
    "\n",
    "poems_data = './data/poems_model.pickle'\n",
    "w2v_file = 'c:/data/ruscorpora_1_300_10.bin.gz'\n",
    "pm = PoemsModel(poems_data, w2v_file)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 208,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "from gensim.models.keyedvectors import KeyedVectors\n",
    "\n",
    "def synNet(w2v: KeyedVectors, word: str, breadth=10, depth=3) -> dict:\n",
    "    net = {}\n",
    "    net[0] = {word}\n",
    "    vocab = set()\n",
    "    vocab.add(word)\n",
    "    \n",
    "    def get_associations(word: str, level: int):\n",
    "        nonlocal net, vocab\n",
    "        similars = [a[0] for a in w2v.most_similar(word, topn=breadth) if a[0] not in vocab]\n",
    "        net[level] = net.get(level, {}).union(similars)\n",
    "        vocab = vocab.union(similars)\n",
    "        # print(similars, vocab)\n",
    "        if level < depth:\n",
    "            for sim in similars:\n",
    "                get_associations(sim, level + 1)\n",
    "    \n",
    "    def gather_net(word: str, level: int):\n",
    "        nonlocal net\n",
    "        similars = [a[0] for a in w2v.most_similar(word, topn=breadth)]\n",
    "        # net[level] = net.get(level, set()).union(similars)\n",
    "        if level not in net:\n",
    "            net[level] = set()\n",
    "        if level < depth:\n",
    "            for sim in similars:\n",
    "                if sim not in net[level-1] | net[level]:\n",
    "                    gather_net(sim, level + 1)\n",
    "        net[level] = net[level].union(similars)\n",
    "\n",
    "    def reduce_net():\n",
    "        nonlocal net\n",
    "        for i in range(depth):\n",
    "            i_set = net[i]\n",
    "            for j in range(i+1, depth+1):\n",
    "                j_set = net[j]\n",
    "                for w in i_set:\n",
    "                    if w in j_set:\n",
    "                        j_set.remove(w)\n",
    "                \n",
    "    # get_associations(word, 1)\n",
    "    gather_net(word, 1)\n",
    "    reduce_net()\n",
    "    return net\n",
    "            \n",
    "    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 209,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Wall time: 1.24 s\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "{0: {'свеча_NOUN'},\n",
       " 1: {'восковой_ADJ',\n",
       "  'зажигать_VERB',\n",
       "  'засвечать_VERB',\n",
       "  'кенкета_NOUN',\n",
       "  'лампада_NOUN',\n",
       "  'лампадка_NOUN',\n",
       "  'огарок_NOUN',\n",
       "  'подсвечник_NOUN',\n",
       "  'свечка_NOUN',\n",
       "  'шандал_NOUN'},\n",
       " 2: {'абажурчик_NOUN',\n",
       "  'воск_NOUN',\n",
       "  'восково_NOUN',\n",
       "  'гореть_VERB',\n",
       "  'догорать_VERB',\n",
       "  'жирандоль_NOUN',\n",
       "  'зажженый_ADJ',\n",
       "  'зажигаться_VERB',\n",
       "  'затепливать_VERB',\n",
       "  'каганец_NOUN',\n",
       "  'канделябр_NOUN',\n",
       "  'карсель_NOUN',\n",
       "  'кенкет_NOUN',\n",
       "  'киот_NOUN',\n",
       "  'коптилка_NOUN',\n",
       "  'лампадный_ADJ',\n",
       "  'лампадочка_NOUN',\n",
       "  'лампешка_NOUN',\n",
       "  'люстра_NOUN',\n",
       "  'нагорать_VERB',\n",
       "  'нагорелый_ADJ',\n",
       "  'нащепать_VERB',\n",
       "  'ночник_NOUN',\n",
       "  'ночничок_NOUN',\n",
       "  'огарочек_NOUN',\n",
       "  'ослопной_ADJ',\n",
       "  'погасать_VERB',\n",
       "  'подставка_NOUN',\n",
       "  'полузавешивать_VERB',\n",
       "  'полузадернуть_VERB',\n",
       "  'потушить_VERB',\n",
       "  'припечек_NOUN',\n",
       "  'простеночный_ADJ',\n",
       "  'светильня_NOUN',\n",
       "  'свечечка_NOUN',\n",
       "  'свечница_NOUN',\n",
       "  'свещник_NOUN',\n",
       "  'смолье_NOUN',\n",
       "  'теплиться_VERB',\n",
       "  'тушить_VERB'},\n",
       " 3: {'абажур_NOUN',\n",
       "  'архирейский_ADJ',\n",
       "  'божница_NOUN',\n",
       "  'бриллиянт_NOUN',\n",
       "  'буфетик_NOUN',\n",
       "  'валежин_NOUN',\n",
       "  'васильюшко_NOUN',\n",
       "  'водосвятный_ADJ',\n",
       "  'войлочек_NOUN',\n",
       "  'воскобойня_NOUN',\n",
       "  'всос_NOUN',\n",
       "  'вспыхивать_VERB',\n",
       "  'выблеск_NOUN',\n",
       "  'выглянуть_VERB',\n",
       "  'гарпиус_NOUN',\n",
       "  'гасить_VERB',\n",
       "  'гаснуть_VERB',\n",
       "  'гераневый_ADJ',\n",
       "  'гераниум_NOUN',\n",
       "  'головщик_NOUN',\n",
       "  'горнушка_NOUN',\n",
       "  'горящий_ADJ',\n",
       "  'грубка_NOUN',\n",
       "  'грубок_NOUN',\n",
       "  'гуашевый_ADJ',\n",
       "  'двусветный_ADJ',\n",
       "  'двухсветный_ADJ',\n",
       "  'державка_NOUN',\n",
       "  'дилюнг_NOUN',\n",
       "  'догасать_VERB',\n",
       "  'долготье_NOUN',\n",
       "  'дотлевать_VERB',\n",
       "  'единоумерший_ADJ',\n",
       "  'жалюзя_NOUN',\n",
       "  'жардиньерка_NOUN',\n",
       "  'жирник_NOUN',\n",
       "  'загашать_VERB',\n",
       "  'загораться_VERB',\n",
       "  'задоска_NOUN',\n",
       "  'закапчивать_VERB',\n",
       "  'занавесочек_NOUN',\n",
       "  'запрестольный_ADJ',\n",
       "  'запылать_VERB',\n",
       "  'засвечиваться_VERB',\n",
       "  'затеплиться_VERB',\n",
       "  'затушить_VERB',\n",
       "  'защипка_NOUN',\n",
       "  'звездица_NOUN',\n",
       "  'золоченый_ADJ',\n",
       "  'икона_NOUN',\n",
       "  'иконостас_NOUN',\n",
       "  'иконочка_NOUN',\n",
       "  'карафин_NOUN',\n",
       "  'карбидок_NOUN',\n",
       "  'керосинка_NOUN',\n",
       "  'керосиновый_ADJ',\n",
       "  'кивот_NOUN',\n",
       "  'кисейка_NOUN',\n",
       "  'кокорье_NOUN',\n",
       "  'коптилочка_NOUN',\n",
       "  'костерик_NOUN',\n",
       "  'лампа_NOUN',\n",
       "  'лампочка_NOUN',\n",
       "  'лучина_NOUN',\n",
       "  'лучинка_NOUN',\n",
       "  'масло_NOUN',\n",
       "  'мед_NOUN',\n",
       "  'мерцать_VERB',\n",
       "  'моленна_NOUN',\n",
       "  'наддверный_ADJ',\n",
       "  'намолиться_VERB',\n",
       "  'настойный_ADJ',\n",
       "  'натесывать_VERB',\n",
       "  'нацеловывать_VERB',\n",
       "  'незавешивать_VERB',\n",
       "  'незанавешенный_ADJ',\n",
       "  'непогасший_ADJ',\n",
       "  'оборки_NOUN',\n",
       "  'обочье_NOUN',\n",
       "  'образник_NOUN',\n",
       "  'образок_NOUN',\n",
       "  'огонек_NOUN',\n",
       "  'осмиконечный_ADJ',\n",
       "  'отсверкивать_VERB',\n",
       "  'официантская_NOUN',\n",
       "  'охонюшка_NOUN',\n",
       "  'паникадил_NOUN',\n",
       "  'печка_NOUN',\n",
       "  'пламень_NOUN',\n",
       "  'плафон_NOUN',\n",
       "  'плошка_NOUN',\n",
       "  'погасить_VERB',\n",
       "  'подглазница_NOUN',\n",
       "  'подзеркальный_ADJ',\n",
       "  'подставочка_NOUN',\n",
       "  'подтопок_NOUN',\n",
       "  'пожар_NOUN',\n",
       "  'позолоченый_ADJ',\n",
       "  'полукресло_NOUN',\n",
       "  'полщека_NOUN',\n",
       "  'полыхать_VERB',\n",
       "  'померкнуть_VERB',\n",
       "  'помогат_NOUN',\n",
       "  'пономарик_NOUN',\n",
       "  'потолок_NOUN',\n",
       "  'потускнелый_ADJ',\n",
       "  'потухать_VERB',\n",
       "  'преддиванный_ADJ',\n",
       "  'приделывать_VERB',\n",
       "  'приложиться_VERB',\n",
       "  'принакрывать_VERB',\n",
       "  'припечка_NOUN',\n",
       "  'притушить_VERB',\n",
       "  'прожилочка_NOUN',\n",
       "  'пропетия_NOUN',\n",
       "  'протесилай_NOUN',\n",
       "  'пылать_VERB',\n",
       "  'разопревать_VERB',\n",
       "  'репсовый_ADJ',\n",
       "  'румянеть_VERB',\n",
       "  'сало_NOUN',\n",
       "  'светец_NOUN',\n",
       "  'светильный_ADJ',\n",
       "  'светиться_VERB',\n",
       "  'свещать_VERB',\n",
       "  'свещный_ADJ',\n",
       "  'свещь_NOUN',\n",
       "  'сгасать_VERB',\n",
       "  'семилинейный_ADJ',\n",
       "  'серник_NOUN',\n",
       "  'серничка_NOUN',\n",
       "  'смола_NOUN',\n",
       "  'сребреный_ADJ',\n",
       "  'стеарин_NOUN',\n",
       "  'стеклярусный_ADJ',\n",
       "  'стулик_NOUN',\n",
       "  'сухостоин_NOUN',\n",
       "  'сушина_NOUN',\n",
       "  'табурет_NOUN',\n",
       "  'тепаться_VERB',\n",
       "  'тлеть_VERB',\n",
       "  'торшер_NOUN',\n",
       "  'треножный_ADJ',\n",
       "  'триповый_ADJ',\n",
       "  'троеручица_NOUN',\n",
       "  'трюкать_VERB',\n",
       "  'тускло_ADV',\n",
       "  'тушение_NOUN',\n",
       "  'тушиться_VERB',\n",
       "  'угасать_VERB',\n",
       "  'угодничок_NOUN',\n",
       "  'унизываться_VERB',\n",
       "  'фитилек_NOUN',\n",
       "  'фольговый_ADJ',\n",
       "  'фонарь_NOUN',\n",
       "  'футляр_NOUN',\n",
       "  'чугунчик_NOUN',\n",
       "  'шебуршать_VERB',\n",
       "  'щепать_VERB',\n",
       "  'этажерка_NOUN',\n",
       "  'этажерочка_NOUN'}}"
      ]
     },
     "execution_count": 209,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "%%time\n",
    "synNet(pm.w2v, 'свеча_NOUN')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 108,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.46540949340518623"
      ]
     },
     "execution_count": 108,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "pm.w2v.similarity('сон_NOUN', 'разбудить_VERB')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 105,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.41081592150334684"
      ]
     },
     "execution_count": 105,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "pm.w2v.similarity('сон_NOUN', 'дремать_VERB')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "from gensim.models.keyedvectors import KeyedVectors\n",
    "import numpy as np\n",
    "\n",
    "def semantic_levels(w2v: KeyedVectors, base_word: str, portions=[0.2, 0.3, 0.5], vocab_count=100) -> (dict, np.ndarray):\n",
    "    if base_word not in w2v.vocab:\n",
    "        return {}, []\n",
    "    \n",
    "    levels = {}\n",
    "    levels[0] = {base_word}\n",
    "    for level in range(1, len(portions) + 1):\n",
    "        levels[level] = set()\n",
    "    matrix = [w2v.word_vec(base_word)]    \n",
    "            \n",
    "    similars =  w2v.most_similar(base_word, topn=vocab_count)\n",
    "    \n",
    "    def gather_by_similarity():\n",
    "        max_sim = similars[0][1]\n",
    "        sim_notches = [max_sim * (1 - portion) for portion in portions]\n",
    "        for word, sim in similars:\n",
    "            for level, notch in enumerate(sim_notches):\n",
    "                if sim >= notch:\n",
    "                    levels[level+1].add(word)\n",
    "                    matrix.append(w2v.word_vec(word) * (1 - portions[level]))\n",
    "                    break\n",
    "    \n",
    "    def gather_by_count():\n",
    "        notch = 0\n",
    "        next_notch = 0\n",
    "        for level, portion in enumerate(portions):\n",
    "            next_notch = notch + int(vocab_count * portion)\n",
    "            for i in range(notch, next_notch):\n",
    "                word = similars[i][0]\n",
    "                levels[level+1].add(word)\n",
    "                matrix.append(w2v.word_vec(word) * (1 - portions[level]))\n",
    "            notch = next_notch\n",
    "    \n",
    "    gather_by_count()\n",
    "    return levels, np.vstack(matrix)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Wall time: 39 ms\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "({0: {'пилорама_NOUN'},\n",
       "  1: {'коксохим_NOUN',\n",
       "   'кормокухня_NOUN',\n",
       "   'лесопилка_NOUN',\n",
       "   'лесопильня_NOUN',\n",
       "   'лесоучасток_NOUN',\n",
       "   'пила_NOUN',\n",
       "   'пилиться_VERB',\n",
       "   'скреперный_ADJ',\n",
       "   'трелевщик_NOUN',\n",
       "   'узкоколейка_NOUN'},\n",
       "  2: {'бульдозер_NOUN',\n",
       "   'вагончик_NOUN',\n",
       "   'вторчермет_NOUN',\n",
       "   'лежневка_NOUN',\n",
       "   'лесопильный_ADJ',\n",
       "   'пилить_VERB',\n",
       "   'пильня_NOUN',\n",
       "   'сезонница_NOUN',\n",
       "   'столярка_NOUN',\n",
       "   'стояночный_ADJ',\n",
       "   'стройка_NOUN',\n",
       "   'трактор_NOUN',\n",
       "   'циркулярка_NOUN',\n",
       "   'электродойка_NOUN',\n",
       "   'электропила_NOUN'},\n",
       "  3: {'автопоилка_NOUN',\n",
       "   'бензопила_NOUN',\n",
       "   'бревно_NOUN',\n",
       "   'гараж_NOUN',\n",
       "   'грабарка_NOUN',\n",
       "   'запань_NOUN',\n",
       "   'камнедробилка_NOUN',\n",
       "   'колюха_NOUN',\n",
       "   'комбинатский_ADJ',\n",
       "   'лесозавод_NOUN',\n",
       "   'литейка_NOUN',\n",
       "   'молоток_NOUN',\n",
       "   'ножовка_NOUN',\n",
       "   'овчарник_NOUN',\n",
       "   'овчарный_ADJ',\n",
       "   'ремонтно-механический_ADJ',\n",
       "   'свинарник_NOUN',\n",
       "   'свинарня_NOUN',\n",
       "   'соломорезка_NOUN',\n",
       "   'строгальный_ADJ',\n",
       "   'телятник_NOUN',\n",
       "   'укладчик_NOUN',\n",
       "   'ферма_NOUN',\n",
       "   'шлакоблок_NOUN',\n",
       "   'электродрель_NOUN'}},\n",
       " array([[ -2.26880498e-02,  -1.56972427e-02,   3.47404554e-02, ...,\n",
       "          -1.01694405e-01,  -5.27246259e-02,  -3.32302675e-02],\n",
       "        [  8.68265852e-02,  -9.93232056e-02,   5.62206507e-02, ...,\n",
       "          -8.22457299e-02,  -3.32521349e-02,  -1.46858664e-02],\n",
       "        [  4.70820196e-05,  -4.79665585e-02,   8.62799808e-02, ...,\n",
       "          -5.70496731e-02,   2.46428157e-04,  -2.24185418e-02],\n",
       "        ..., \n",
       "        [  3.30944583e-02,  -3.46619710e-02,   2.33878214e-02, ...,\n",
       "          -3.22773419e-02,  -2.53885593e-02,   3.02583619e-04],\n",
       "        [  4.97559644e-03,   3.85845266e-02,   1.68057028e-02, ...,\n",
       "          -7.03421831e-02,   3.37806717e-02,   1.35040777e-02],\n",
       "        [ -1.45523865e-02,   1.94235146e-02,   2.65176278e-02, ...,\n",
       "           5.70713868e-03,  -2.39480212e-02,  -4.90856431e-02]], dtype=float32))"
      ]
     },
     "execution_count": 24,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "%%time\n",
    "semantic_levels(pm.w2v, 'пилорама_NOUN', vocab_count=50)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "pm.w2v.word_vec('стакан_NOUN')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Семантические запросы"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {},
   "outputs": [],
   "source": [
    "_, query_mx = pm.semantic_levels('сова_NOUN', vocab_count=500)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Wall time: 1.32 s\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "[('на землю сыплю корм и птицы\\nпохожие на журавлей\\nкак тени нерождённых внуков\\nко мне слетаются с небес\\n',\n",
       "  0.16616129313638348),\n",
       " ('апполинарий смотрит в небо\\nна стаю диких журавлей\\nсжимая кулаки до хруста\\nв руках оставшихся синиц\\n',\n",
       "  0.16577842849457336),\n",
       " ('чем пахнет мокрая собака\\nкустами дымом ноябрём\\nтоской по лапам тёмных елей\\nв низинах по краям болот\\n',\n",
       "  0.16188771914946398),\n",
       " ('над сквером ласточки летают\\nхватая клювом на лету\\nкаких то странных насекомых\\nнапоминающих людей\\n',\n",
       "  0.15968517067427646),\n",
       " ('но с первым снегом он стал тихим\\nи больше не кричал во сне\\nи перестал стрелять по птицам\\nна юг летящим по утрам\\n',\n",
       "  0.15635423488959579),\n",
       " ('пушнина есть спросил охотник\\nв мою берлогу заглянув\\nи я прикрыв куницу лапой\\nсдал белку и бурундука\\n',\n",
       "  0.15614397340190408),\n",
       " ('сквозь лес уснувший темной ночью\\nглеб возвращается с ручья\\nлуна колышется в ладонях\\nв траве мерцают светлячки\\n',\n",
       "  0.15569293367270889),\n",
       " ('у вас за кружевным  забором\\nвсегда цветёт лиловый сад\\nа мы здесь отбиваем мясо\\nу стаи бешеных собак\\n',\n",
       "  0.15511882728683257),\n",
       " ('буренка ночь в небесном стойле\\nжует букет из диких трав\\nи надоедливые звезды\\nгоняет взмахами хвоста\\n',\n",
       "  0.15484823216607468),\n",
       " ('лариса в пышном белом платье\\nи в фильдеперсовых чулках\\nс сачком в руках под сенью яблонь\\nпоймает бабочку и съест\\n',\n",
       "  0.15397220001098358)]"
      ]
     },
     "execution_count": 41,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "%%time\n",
    "pm.similar_poems(query_mx, topn=10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Wall time: 163 ms\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "[('в глуши сибирской за уралом\\nтаится мудрая сова\\nв глухом лесу в столетнем дубе\\nв дупле у ней хрустальный друзь\\n',\n",
       "  0.30307447323591785),\n",
       " ('вот друзь под маской зинаиды\\nнесёт сову в дремучий лес\\nа вот прокаркало из чащи\\nты судно зин не расплескай\\n',\n",
       "  0.30204326195599296),\n",
       " ('кто раньше встал того и тапки\\nкто раньше лёг того и сны\\nа кто сова сиди без тапок\\nи в темноту таращь глаза\\n',\n",
       "  0.28591263327915512),\n",
       " ('от уханья в ночи проснулся\\nи не описался едва\\nкак страшно жить когда супруга\\nсова\\n',\n",
       "  0.27480240575327297),\n",
       " ('пушнина есть спросил охотник\\nв мою берлогу заглянув\\nи я прикрыв куницу лапой\\nсдал белку и бурундука\\n',\n",
       "  0.25968866847778205),\n",
       " ('енотовидная собака\\nи горностаевидный кот\\nизгои в мире горностаев\\nсобак енотов и котов\\n',\n",
       "  0.25836029226214607),\n",
       " ('апполинарий смотрит в небо\\nна стаю диких журавлей\\nсжимая кулаки до хруста\\nв руках оставшихся синиц\\n',\n",
       "  0.25508930683135989),\n",
       " ('в тот час когда катамараны\\nвыходят на большой порог\\nих тихий шелест слышат совы\\nи вылетают посмотреть\\n',\n",
       "  0.25305251794906714),\n",
       " ('на сером небе грустно пишут\\nслова разлуки и тоски\\nморские птицы а пониже\\nдве кошки дразнят трёх котов\\n',\n",
       "  0.25252200848550427),\n",
       " ('вороне раз кусок лисицы\\nпослал какой то добрый бог\\nи басня стала и короче\\nи справедливее в разы\\n',\n",
       "  0.25059854072988791)]"
      ]
     },
     "execution_count": 42,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "%%time\n",
    "pm.similar_poems('сова', topn=10)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}