Word2Vec_query.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Пример использования Word2Vec"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "from gensim.models import Word2Vec"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "nrows = 5000000 # количество строк, которое берем из файла\n",
    "sentences = [] # лист предложений, по которым строится модель\n",
    "\n",
    "j = 0 # вспомогательная переменная, чтобы выйти из цикла при достижении nrows\n",
    "\n",
    "# опция rb при открытии файла на чтение помогает избежать выхода из цикла при случайном появлении в файле опеределенных спецсимволов\n",
    "with open('query-count-direct-2015-09.txt', 'rb') as f:\n",
    "    for line in f:\n",
    "        # берем только те фразы, в которых больше двух слов\n",
    "        # берем первый столбцев в файле (файл вида \"фраза tab количество показов\": \"смотреть онлайн \\t 564732\")\n",
    "        if len(line.split('\\t')[0].split(' ')) > 1:\n",
    "            # разбиваем поисковые фразы на слова и добавляем в лист sentences\n",
    "            sentences.append(line.split('\\t')[0].split(' '))\n",
    "       \n",
    "        j += 1\n",
    "        # каждый миллион строк выводим ход процесса\n",
    "        if j%1000000==0:\n",
    "            print j\n",
    "            \n",
    "        # когда загрузили nrows строк выходим из цикла\n",
    "        if j>nrows:\n",
    "            break"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "# смотрим сколько строк выгрузили\n",
    "len(sentences)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# параметры модели Word2Vec\n",
    "num_features = 512    # размерность пространства векторов (чем больше, тем более точная модель)                      \n",
    "min_word_count = 5   # учитываем в модели только слова, которые встретились более, чем min_word_count раз                        \n",
    "num_workers = 256       # сколько процессов одновременно будут строить модель\n",
    "context = 10          # сколько слов в контексте следует учитывать алгоритму\n",
    "downsampling = 1e-3   # исключаем очень часто встречающиеся слова"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "%%time\n",
    "\n",
    "model = Word2Vec(sentences, workers=num_workers, \\\n",
    "            size=num_features, min_count = min_word_count, \\\n",
    "            window = context, sample = downsampling)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# можно сохранить модель на диске, чтобы в следующий раз не строить ее заново\n",
    "# в качестве названия обычно записывают параметры, на которых она была построена\n",
    "# загрузить модель можно с помощью функции .load\n",
    "model.save('w2v_nf512_mwc5_nw256_ds1e3')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "# список слов, которые в итоге попали в модель\n",
    "for word in model.vocab.keys():\n",
    "    print word"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "# выводим самые близкие в поисковых фразах слова к слову 'айфон'\n",
    "for word, cosine in model.most_similar(positive=['айфон'], topn=10):\n",
    "    print word, cosine"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "# 'сша + доллар - россия'\n",
    "for word, cosine in model.most_similar(positive=['сша', 'доллар'], negative=['россия'], topn=10):\n",
    "    print word, cosine"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 2",
   "language": "python",
   "name": "python2"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 2
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython2",
   "version": "2.7.10"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 0
}