Cross validation.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "2d36480e",
   "metadata": {},
   "source": [
    "# 교차 검증"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "25da12a3",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>alcohol</th>\n",
       "      <th>sugar</th>\n",
       "      <th>pH</th>\n",
       "      <th>class</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>9.4</td>\n",
       "      <td>1.9</td>\n",
       "      <td>3.51</td>\n",
       "      <td>0.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>9.8</td>\n",
       "      <td>2.6</td>\n",
       "      <td>3.20</td>\n",
       "      <td>0.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>9.8</td>\n",
       "      <td>2.3</td>\n",
       "      <td>3.26</td>\n",
       "      <td>0.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>9.8</td>\n",
       "      <td>1.9</td>\n",
       "      <td>3.16</td>\n",
       "      <td>0.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>9.4</td>\n",
       "      <td>1.9</td>\n",
       "      <td>3.51</td>\n",
       "      <td>0.0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   alcohol  sugar    pH  class\n",
       "0      9.4    1.9  3.51    0.0\n",
       "1      9.8    2.6  3.20    0.0\n",
       "2      9.8    2.3  3.26    0.0\n",
       "3      9.8    1.9  3.16    0.0\n",
       "4      9.4    1.9  3.51    0.0"
      ]
     },
     "execution_count": 1,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import pandas as pd\n",
    "wine = pd.read_csv('https://bit.ly/wine_csv_data')\n",
    "wine.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "a54c4bb2",
   "metadata": {},
   "outputs": [],
   "source": [
    "data = wine[['alcohol', 'sugar', 'pH']].to_numpy()\n",
    "target = wine['class'].to_numpy()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "4aeaa394",
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.model_selection import train_test_split\n",
    "train_input, test_input, train_target, test_target = train_test_split(\n",
    "data, target, test_size=0.2, random_state=42)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "776a28e8",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.996921300750433\n",
      "0.8584615384615385\n"
     ]
    }
   ],
   "source": [
    "from sklearn.tree import DecisionTreeClassifier\n",
    "dt = DecisionTreeClassifier(random_state=42)\n",
    "dt.fit(train_input, train_target)\n",
    "print(dt.score(train_input, train_target))\n",
    "print(dt.score(test_input, test_target))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c40556d1",
   "metadata": {},
   "source": [
    "### K-Fold cross validation"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "6b1fe5c7",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'fit_time': array([0.01299238, 0.00799489, 0.00699592, 0.00699568, 0.0069952 ]),\n",
       " 'score_time': array([0.00099993, 0.        , 0.00099921, 0.00099969, 0.00099969]),\n",
       " 'test_score': array([0.86923077, 0.84615385, 0.87680462, 0.84889317, 0.83541867])}"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from sklearn.model_selection import cross_validate\n",
    "scores = cross_validate(dt, train_input, train_target)\n",
    "scores"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "561d14d7",
   "metadata": {},
   "source": [
    "##### fit_time과 score_time은 각각 모델을 훈련하는 시간과 검증하는 시간을 의미합니다. 딕셔너리 타입으로 반환되며 각 키마다 5개의 결과가 있습니다.  cross_validate() 함수는 기본적으로 5-폴드 교차 검증을 수행합니다."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3f42f9b6",
   "metadata": {},
   "source": [
    "##### 교차 검증의 최종 점수는 test_score 키에 담긴 5개의 점수를 평균하여 얻을 수 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "a6f57134",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.855300214703487"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import numpy as np\n",
    "np.mean(scores['test_score'])"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7f279cf0",
   "metadata": {},
   "source": [
    "##### cross_validate()는 훈련 세트를 섞어 폴드를 나누지 않습니다. 여기서는 train_test_split() 함수로 전체 데이터를 섞었기 때문에 따로 섞을 필요가 없었지만 교차 검증을 할 때 훈련 세트를 섞어주려면 분할기(splitter)를 지정해야 합니다."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "492e545a",
   "metadata": {},
   "source": [
    "##### 회귀 모델일 경우 KFold 분할기를 사용하고 분류 모델일 경우 타깃 클래스를 골고루 나누기 위해 StratifiedKFold를 사용합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "ca9336cc",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.855300214703487"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from sklearn.model_selection import StratifiedKFold\n",
    "scores = cross_validate(dt, train_input, train_target, cv=StratifiedKFold())\n",
    "np.mean(scores['test_score'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "2e699894",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.8574181117533719"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# n_splits method를 통해 10-폴드 교차 검증 수행\n",
    "splitter = StratifiedKFold(n_splits=10, shuffle=True, random_state=42)\n",
    "scores = cross_validate(dt, train_input, train_target, cv=splitter)\n",
    "np.mean(scores['test_score'])"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.10"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}