2017/seminar3-preproc/minor-seminar-preproc.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Майнор по Анализу Данных, Группа ИАД-4\n",
    "## 28/09/2017 Предобработка данных"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Table of Contents\n",
    " <p><div class=\"lev1 toc-item\"><a href=\"#Cеминар-3.-Методы-обработки-данных\" data-toc-modified-id=\"Cеминар-3.-Методы-обработки-данных-1\"><span class=\"toc-item-num\">1&nbsp;&nbsp;</span>Cеминар 3. Методы обработки данных</a></div><div class=\"lev1 toc-item\"><a href=\"#Загрузка-данных-и-&quot;выбор&quot;-задачи\" data-toc-modified-id=\"Загрузка-данных-и-&quot;выбор&quot;-задачи-2\"><span class=\"toc-item-num\">2&nbsp;&nbsp;</span>Загрузка данных и \"выбор\" задачи</a></div><div class=\"lev2 toc-item\"><a href=\"#Предобработка\" data-toc-modified-id=\"Предобработка-21\"><span class=\"toc-item-num\">2.1&nbsp;&nbsp;</span>Предобработка</a></div><div class=\"lev3 toc-item\"><a href=\"#Новая-категориальная-переменная\" data-toc-modified-id=\"Новая-категориальная-переменная-211\"><span class=\"toc-item-num\">2.1.1&nbsp;&nbsp;</span>Новая категориальная переменная</a></div><div class=\"lev3 toc-item\"><a href=\"#Label-encoder\" data-toc-modified-id=\"Label-encoder-212\"><span class=\"toc-item-num\">2.1.2&nbsp;&nbsp;</span>Label encoder</a></div><div class=\"lev3 toc-item\"><a href=\"#One-hot-encoding\" data-toc-modified-id=\"One-hot-encoding-213\"><span class=\"toc-item-num\">2.1.3&nbsp;&nbsp;</span>One-hot-encoding</a></div><div class=\"lev3 toc-item\"><a href=\"#Более-умная-кодировка\" data-toc-modified-id=\"Более-умная-кодировка-214\"><span class=\"toc-item-num\">2.1.4&nbsp;&nbsp;</span>Более умная кодировка</a></div><div class=\"lev4 toc-item\"><a href=\"#Среднее-по-категории\" data-toc-modified-id=\"Среднее-по-категории-2141\"><span class=\"toc-item-num\">2.1.4.1&nbsp;&nbsp;</span>Среднее по категории</a></div><div class=\"lev4 toc-item\"><a href=\"#Вероятность-категории\" data-toc-modified-id=\"Вероятность-категории-2142\"><span class=\"toc-item-num\">2.1.4.2&nbsp;&nbsp;</span>Вероятность категории</a></div><div class=\"lev4 toc-item\"><a href=\"#TF-IDF-для-категориальных-переменных\" data-toc-modified-id=\"TF-IDF-для-категориальных-переменных-2143\"><span class=\"toc-item-num\">2.1.4.3&nbsp;&nbsp;</span>TF-IDF для категориальных переменных</a></div><div class=\"lev3 toc-item\"><a href=\"#Разложение-количественной-переменной-в-&quot;корзины&quot;\" data-toc-modified-id=\"Разложение-количественной-переменной-в-&quot;корзины&quot;-215\"><span class=\"toc-item-num\">2.1.5&nbsp;&nbsp;</span>Разложение количественной переменной в \"корзины\"</a></div><div class=\"lev1 toc-item\"><a href=\"#Пару-слов-про-пропущенные-значения\" data-toc-modified-id=\"Пару-слов-про-пропущенные-значения-3\"><span class=\"toc-item-num\">3&nbsp;&nbsp;</span>Пару слов про пропущенные значения</a></div><div class=\"lev1 toc-item\"><a href=\"#Собственно,-кластеризация\" data-toc-modified-id=\"Собственно,-кластеризация-4\"><span class=\"toc-item-num\">4&nbsp;&nbsp;</span>Собственно, кластеризация</a></div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Сегодняшний семинар будет более практическим. На примере одного набора данных мы постараемся охватить как можно больше методов предобработки данных.\n",
    "\n",
    "Преждем чем приступать к обработка, надо определиться с тем, какую именно задачу мы будем решать."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import scipy\n",
    "import numpy as np\n",
    "import matplotlib.pyplot as plt\n",
    "\n",
    "plt.style.use('ggplot')\n",
    "\n",
    "%matplotlib inline\n",
    "\n",
    "plt.rcParams['figure.figsize'] = (10, 6)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Загрузка данных и \"выбор\" задачи"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_offers = pd.read_excel(\"./WineKMC.xlsx\", sheetname=0)\n",
    "df_offers.columns = [\"offer_id\", \"campaign\", \"varietal\", \"min_qty\", \"discount\", \"origin\", \"past_peak\"]\n",
    "df_offers.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_transactions = pd.read_excel(\"./WineKMC.xlsx\", sheetname=1)\n",
    "df_transactions.columns = [\"customer_name\", \"offer_id\"]\n",
    "df_transactions.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Данные состоят из двух таблиц - транзакции по промо акциям и данные о самих промо-акциях. В исходных данных нет никакой разметки, и придумывать её тоже не хочется. Давайте попробуем решить задачу кластеризации"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df = df_transactions.merge(df_offers, on='offer_id')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Предобработка"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Новая категориальная переменная"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df.loc[:, 'varietal + origin'] = df.loc[:, 'varietal'] + '+' + df.loc[:, 'origin']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# Для универсальности можно реализовать функцию\n",
    "def make_conj_feature(df, feature1, feature2):\n",
    "    new_feature_name = feature1 + '_' + feature2\n",
    "    df.loc[:, new_feature_name] = df.loc[:, feature1] + '+' + df.loc[:, feature2]\n",
    "    return df\n",
    "\n",
    "df = make_conj_feature(df, 'varietal', 'origin')\n",
    "\n",
    "# Но лучше так\n",
    "df = df.pipe(make_conj_feature, 'varietal', 'origin')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Label encoder"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Самый бездарный кодировщик.\n",
    "\n",
    "Пожалуй имеет смысл, только если вы заранее можете задать категории интерпретируемое числовое значение."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### One-hot-encoding"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Как вы поняли, нужно было от строк перейти к числам и только потом использовать OneHot...\n",
    "\n",
    "Можно сократить! Использовав DictVectorizer"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Более умная кодировка"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Среднее по категории"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Давайте закодируем категорию средним (например) значением какой-нибудь связяной с ней величины"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Вероятность категории"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# ?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### TF-IDF для категориальных переменных"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Разложение количественной переменной в \"корзины\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Пару слов про пропущенные значения"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Собственно, кластеризация"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Теперь, используя весь этот багаж знаний, кластеризуйте-таки покупателей и постарайтесь проинтерпретировать кластеры\n",
    "\n",
    "Можно использовать самый наивный метод - метод kMeans. Но лучше, если вы с ним уже знакомы, аггломеративную кластеризацию."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "anaconda-cloud": {},
  "kernelspec": {
   "display_name": "Python [conda root]",
   "language": "python",
   "name": "conda-root-py"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 2
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython2",
   "version": "2.7.13"
  },
  "nav_menu": {},
  "toc": {
   "colors": {
    "hover_highlight": "#DAA520",
    "navigate_num": "#000000",
    "navigate_text": "#333333",
    "running_highlight": "#FF0000",
    "selected_highlight": "#FFD700",
    "sidebar_border": "#EEEEEE",
    "wrapper_background": "#FFFFFF"
   },
   "moveMenuLeft": true,
   "nav_menu": {
    "height": "272px",
    "width": "253px"
   },
   "navigate_menu": true,
   "number_sections": false,
   "sideBar": true,
   "threshold": 4,
   "toc_cell": false,
   "toc_section_display": "block",
   "toc_window_display": true,
   "widenNotebook": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}