linjär och polynomisk regression-utan kod.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Linjär regression med polynom - utan kod"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Jämförelse mellan linjär regression och linjär regression med polynom, alltså basis function regression med x = 𝜙(x upphöjt med i). \n",
    "\n",
    "Inspirerad av Nhan Tran i Towards Data Science. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#importera nödvändiga bibliotek\n",
    "import numpy as np\n",
    "import matplotlib.pyplot as plt\n",
    "import pandas as pd\n",
    "\n",
    "# Importera de två dataset vi ska använda \n",
    "dataset_pos = pd.read_csv('https://s3.us-west-2.amazonaws.com/public.gamelab.fun/dataset/position_salaries.csv')\n",
    "X_pos = dataset_pos.iloc[:, 1:2].values\n",
    "y_pos = dataset_pos.iloc[:, 2].values\n",
    "\n",
    "dataset_sal = pd.read_csv('https://s3.us-west-2.amazonaws.com/public.gamelab.fun/dataset/salary_data.csv')\n",
    "X_sal = dataset_sal.iloc[:, :-1].values\n",
    "y_sal = dataset_sal.iloc[:, 1].values "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "När nödvändiga bibliotek och det dataset vi ska använda är importerat är det dags att göra oss familijär med den data vi ska analysera. Ett bra sätt att göra det är att visualisering. Men allra först vill vi titta på de första raderna i vår data. Använd Python för att hämta dessa i kodblocket nedan. Vi vill också räkna antalet rader totalt i vårt dataset och skriva ut det, samt göra några beräkningar på data såsom medel och medianvärde på löner i respektive position."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Hur stora är våra dataset?\n",
    "\n",
    "\n",
    "#Skriv ut våra två dataset\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Lär känna vår data lite bättre, räkna ut medel och median för löner baserat på antal år eller efter position."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Räkna ut och skriv ut medel och median för dataset position"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Räkna ut och skriv ut medel och median för dataset år"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Inte så snyggt, snyggare är att från panda hämta deskriptiv data direkt om sitt dataset."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#hämta deskriptiv data om dataset med position\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#hämta descriptiv data om dataset med år\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Är det meningsfull statistik i de olika tabellerna? Vad beskriver de?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "För att skapa både tränings- och testdata behöver vi dela vårt tillgänliga data i ett träningsset och ett testset.  Koda sedan en instruktion som delar dina två datafiler så att ca 30% blir testdata och 70% blir träningsdata. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# dela data mellan testdata och träningsdata för positionstabellen\n",
    "from sklearn.model_selection import train_test_split "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Nu är det dags att ta en titt på en linjär regression approximering av vårt data, alltså att visualisera hur en rät linje kan anpassas till vårt data. För detta använder vi biblioteket sklearn som har metoder för linjär regression. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# Beräkna en rät linje anpassad till vårt testdataset för positionsdata\n",
    "from sklearn.linear_model import LinearRegression\n",
    "\n",
    "#Prediktera y\n",
    "\n",
    "\n",
    "# Visualisera regressionen på träningsdata\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Förutom att visualisera vårt resultat för att se hur väl vår valda modell passar vårt problem kan vi också använda beräkningar för att se hur bra vår modell är. Ett av de absolut enklaste sätten är att jämföra med medelvärdet för varje prediktkerat värde, modellen bör åtminstonde vara bättre än detta värde. \n",
    "\n",
    "Bättre sätt att beräkna \"fit\" för linjär regression är R^2 score och MSE, RMSE (Root mean square error). Dessa kan vi räkna ut direkt med hjälp av inbyggda funktioner. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "from sklearn.metrics import mean_squared_error\n",
    "from sklearn.metrics import r2_score\n",
    "from math import sqrt\n",
    "\n",
    "#Beräkna kvalitetsvärden för träningsdata av positionsdata\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Dela upp dataset i testdata och träningsdata för lönetabellen\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.metrics import mean_squared_error\n",
    "from sklearn.metrics import r2_score\n",
    "from math import sqrt\n",
    "\n",
    "# Beräkna en rät linje anpassad till vårt träningsdata för lönedata\n",
    "\n",
    "#Prediktera och visualisera resultatet för träningsdata\n",
    "\n",
    "\n",
    "#Beräkna kvalitetsvärden för träningsdata"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Prediktera och vislualisera resultatet för testdata \n",
    "\n",
    "\n",
    "#Beräkna kvalitetsvärden för träningsdata\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Ok, hur ser de ut, är en rät linje en bra approximation för våra två dataset? Vad säger våra kvalitetsvärden? \n",
    "\n",
    "Nja, det verkar passa utmärkt för lönedata baserat på antal år man arbetat, men betydligt sämre på lönedata baserat på position. Där behöver vi uppenbarligen testa något annat.\n",
    "\n",
    "Vilket sätt är enklast att bestämma detta, värden eller visualisering?\n",
    "\n",
    "Ok, då testar vi att istället anpassa en polynomiskt beräknad linje till vårt dataset med lön per position. Testa med olika grader på polynom.\n",
    "\n",
    "Vilken grad motsvarar vår ursprungliga linje? Vad motsvarar 0?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Istället för en rät linje approximerar vi med hjälp av polynom för positionsdata. Här med grad 1.\n",
    "from sklearn.preprocessing import PolynomialFeatures\n",
    "\n",
    "\n",
    "# Visualisera den polynomiska regressionens resultat \n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Istället för en rät linje approximerar vi med hjälp av polynom. Grad 2\n",
    "\n",
    "# Visualisera den polynomiska regressionens resultat \n",
    "\n",
    "\n",
    "#Beräknar kvalitetsvärden för träningsdata med polynom\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Istället för en rät linje approximerar vi med hjälp av polynom. Grad 3\n",
    "\n",
    "\n",
    "# Visualizing the Polymonial Regression results\n",
    "\n",
    "\n",
    "#Beräknar kvalitetsvärden för träningsdata med polynom\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Istället för en rät linje approximerar vi med hjälp av polynom. Grad 4\n",
    "\n",
    "\n",
    "# Visualizing the Polymonial Regression results\n",
    "\n",
    "\n",
    "#Beräknar kvalitetsvärden för träningsdata med polynom\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Istället för en rät linje approximerar vi med hjälp av polynom. Grad 8\n",
    "\n",
    "# Visualizing the Polymonial Regression results\n",
    "\n",
    "\n",
    "#Beräknar kvalitetsvärden för träningsdata med polynom\n"
   ]
  },
  {
   "cell_type": "raw",
   "metadata": {},
   "source": [
    "Hur vet vi när den är overfitted?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Ok, vad ska vi nu ha detta till? Jo, för att beräkna vad för lön man ska erbjuda sina nyanställda för att de ska tacka ja! Vilken modell skulle du välja och varför?"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}