week1/1-2.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 1.2. 데이터 준비"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "1. [공공데이터포털]('https://www.data.go.kr/data/15044251/fileData.do)에서 서울교통공사_월별 승차인원 csv 파일 다운로드\n",
    "2. 특정 저장위치(예: \"D:/COSADAMA/Week1/train.csv\")에 저장하기\n",
    "3. 2번 예시처럼 저장 위치 복사해 두기\n",
    "5. pd.read_csv('저장위치/파일이름.csv', encoding = 'utf-8', sep = ',', names = ['원하는','컬럼 이름으로', '변경하기'], usecols = ['원본 데이터의', '원하는', '컬럼이름들'], index_col = '인덱스로 설정하고 싶은 컬럼명')\n",
    "\n",
    "- encoding: 한글, 일본어, 중국어 등 영어 외의 언어를 읽어올 때 필요한 인코딩 설정\n",
    "- sep: 데이터가 어떤 방식으로 나뉘는지.\n",
    "    - csv: comma-separated values -> 컴마로 구분된 데이터 -> sep = ','\n",
    "    - tsv: tab-separated values -> tab으로 구분된 데이터 -> sep = '\\t'\n",
    "    - txt: ','일 수도, '\\t'일 수도, '|'일 수도, 그 외의 데이터일 수도 있음 -> 직접 확인\n",
    "\n",
    "- names: 전체 컬럼의 이름을 원하는 대로 다시 입력하기\n",
    "- usecols: 필요한 컬럼만 가져오기\n",
    "- index_col: 특정 컬럼을 인덱스로 설정하기\n",
    "\n",
    "- read_csv 외에 read_tsv, read_table, read_excel, read_json 등 읽어오려는 파일 형식에 따라 여러 모듈이 있으니 자세한 내용은 [판다스 공식 페이지]('https://pandas.pydata.org/docs/index.html')나 필요할 때 검색하면서 찾아보시기 바랍니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>����</th>\n",
       "      <th>ȣ��</th>\n",
       "      <th>����ȣ</th>\n",
       "      <th>����.1</th>\n",
       "      <th>2021��1��</th>\n",
       "      <th>2021��2��</th>\n",
       "      <th>2021��3��</th>\n",
       "      <th>2021��4��</th>\n",
       "      <th>2021��5��</th>\n",
       "      <th>2021��6��</th>\n",
       "      <th>2021��7��</th>\n",
       "      <th>2021��8��</th>\n",
       "      <th>2021��9��</th>\n",
       "      <th>2021��10��</th>\n",
       "      <th>2021��11��</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>150</td>\n",
       "      <td>���￪(1)</td>\n",
       "      <td>863461.0</td>\n",
       "      <td>890851.0</td>\n",
       "      <td>1827089</td>\n",
       "      <td>1841712</td>\n",
       "      <td>1841724</td>\n",
       "      <td>1152743</td>\n",
       "      <td>973900</td>\n",
       "      <td>942249</td>\n",
       "      <td>957461</td>\n",
       "      <td>1125594</td>\n",
       "      <td>1270865</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2</td>\n",
       "      <td>1</td>\n",
       "      <td>151</td>\n",
       "      <td>��û(1)</td>\n",
       "      <td>420304.0</td>\n",
       "      <td>420686.0</td>\n",
       "      <td>954481</td>\n",
       "      <td>955202</td>\n",
       "      <td>902354</td>\n",
       "      <td>536217</td>\n",
       "      <td>477840</td>\n",
       "      <td>451248</td>\n",
       "      <td>451677</td>\n",
       "      <td>507332</td>\n",
       "      <td>590817</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>3</td>\n",
       "      <td>1</td>\n",
       "      <td>152</td>\n",
       "      <td>����</td>\n",
       "      <td>685203.0</td>\n",
       "      <td>706115.0</td>\n",
       "      <td>1598997</td>\n",
       "      <td>1572365</td>\n",
       "      <td>1522428</td>\n",
       "      <td>885428</td>\n",
       "      <td>767958</td>\n",
       "      <td>720164</td>\n",
       "      <td>702153</td>\n",
       "      <td>799319</td>\n",
       "      <td>919350</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>4</td>\n",
       "      <td>1</td>\n",
       "      <td>153</td>\n",
       "      <td>����3��(1)</td>\n",
       "      <td>507414.0</td>\n",
       "      <td>549933.0</td>\n",
       "      <td>1084476</td>\n",
       "      <td>1059282</td>\n",
       "      <td>1053215</td>\n",
       "      <td>691110</td>\n",
       "      <td>612154</td>\n",
       "      <td>601553</td>\n",
       "      <td>608293</td>\n",
       "      <td>696209</td>\n",
       "      <td>712182</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>5</td>\n",
       "      <td>1</td>\n",
       "      <td>154</td>\n",
       "      <td>����5��</td>\n",
       "      <td>469264.0</td>\n",
       "      <td>475339.0</td>\n",
       "      <td>1100841</td>\n",
       "      <td>1071587</td>\n",
       "      <td>1057283</td>\n",
       "      <td>600243</td>\n",
       "      <td>536493</td>\n",
       "      <td>509050</td>\n",
       "      <td>519447</td>\n",
       "      <td>583177</td>\n",
       "      <td>595547</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   ����  ȣ��  ����ȣ      ����.1  2021��1��  2021��2��  2021��3��  2021��4��  \\\n",
       "0     1    1    150     ���￪(1)   863461.0   890851.0    1827089    1841712   \n",
       "1     2    1    151      ��û(1)   420304.0   420686.0     954481     955202   \n",
       "2     3    1    152        ����   685203.0   706115.0    1598997    1572365   \n",
       "3     4    1    153  ����3��(1)   507414.0   549933.0    1084476    1059282   \n",
       "4     5    1    154     ����5��   469264.0   475339.0    1100841    1071587   \n",
       "\n",
       "   2021��5��  2021��6��  2021��7��  2021��8��  2021��9��  2021��10��  \\\n",
       "0    1841724    1152743     973900     942249     957461     1125594   \n",
       "1     902354     536217     477840     451248     451677      507332   \n",
       "2    1522428     885428     767958     720164     702153      799319   \n",
       "3    1053215     691110     612154     601553     608293      696209   \n",
       "4    1057283     600243     536493     509050     519447      583177   \n",
       "\n",
       "   2021��11��  \n",
       "0     1270865  \n",
       "1      590817  \n",
       "2      919350  \n",
       "3      712182  \n",
       "4      595547  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "############ 본인의 경로/파일이름.csv로 바꾸기\n",
    "import pandas as pd\n",
    "subway_df = pd.read_csv('/서울교통공사_월별 승차인원_20211130.csv')\n",
    "subway_df.head()  # 데이터가 너무 많을 때 앞의 5개만 불러오기"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "앗! 한글이 모두 깨져서 나오네요! 이럴 때는 **인코딩encoding**을 설정해 주시면 됩니다. 컴퓨터는 0과 1만 인식하기 때문에 우리가 사용하는 한글, 영어를 인식할 때 특정 문자 집합과 숫자를 매핑한 문자 집합Character Set을 사용합니다. 이때 **문자를 byte 코드로 표현하는 작업을 인코딩encoding**이라고 합니다.\n",
    "\n",
    "대표적인 한글 인코딩에는 유니코드(**utf-8**, utf-16, utf-32), **euc-kr**, **cp949** 등이 있습니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>연번</th>\n",
       "      <th>호선</th>\n",
       "      <th>역번호</th>\n",
       "      <th>역명</th>\n",
       "      <th>2021년1월</th>\n",
       "      <th>2021년2월</th>\n",
       "      <th>2021년3월</th>\n",
       "      <th>2021년4월</th>\n",
       "      <th>2021년5월</th>\n",
       "      <th>2021년6월</th>\n",
       "      <th>2021년7월</th>\n",
       "      <th>2021년8월</th>\n",
       "      <th>2021년9월</th>\n",
       "      <th>2021년10월</th>\n",
       "      <th>2021년11월</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>150</td>\n",
       "      <td>서울역(1)</td>\n",
       "      <td>863461.0</td>\n",
       "      <td>890851.0</td>\n",
       "      <td>1827089</td>\n",
       "      <td>1841712</td>\n",
       "      <td>1841724</td>\n",
       "      <td>1152743</td>\n",
       "      <td>973900</td>\n",
       "      <td>942249</td>\n",
       "      <td>957461</td>\n",
       "      <td>1125594</td>\n",
       "      <td>1270865</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2</td>\n",
       "      <td>1</td>\n",
       "      <td>151</td>\n",
       "      <td>시청(1)</td>\n",
       "      <td>420304.0</td>\n",
       "      <td>420686.0</td>\n",
       "      <td>954481</td>\n",
       "      <td>955202</td>\n",
       "      <td>902354</td>\n",
       "      <td>536217</td>\n",
       "      <td>477840</td>\n",
       "      <td>451248</td>\n",
       "      <td>451677</td>\n",
       "      <td>507332</td>\n",
       "      <td>590817</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>3</td>\n",
       "      <td>1</td>\n",
       "      <td>152</td>\n",
       "      <td>종각</td>\n",
       "      <td>685203.0</td>\n",
       "      <td>706115.0</td>\n",
       "      <td>1598997</td>\n",
       "      <td>1572365</td>\n",
       "      <td>1522428</td>\n",
       "      <td>885428</td>\n",
       "      <td>767958</td>\n",
       "      <td>720164</td>\n",
       "      <td>702153</td>\n",
       "      <td>799319</td>\n",
       "      <td>919350</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>4</td>\n",
       "      <td>1</td>\n",
       "      <td>153</td>\n",
       "      <td>종로3가(1)</td>\n",
       "      <td>507414.0</td>\n",
       "      <td>549933.0</td>\n",
       "      <td>1084476</td>\n",
       "      <td>1059282</td>\n",
       "      <td>1053215</td>\n",
       "      <td>691110</td>\n",
       "      <td>612154</td>\n",
       "      <td>601553</td>\n",
       "      <td>608293</td>\n",
       "      <td>696209</td>\n",
       "      <td>712182</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>5</td>\n",
       "      <td>1</td>\n",
       "      <td>154</td>\n",
       "      <td>종로5가</td>\n",
       "      <td>469264.0</td>\n",
       "      <td>475339.0</td>\n",
       "      <td>1100841</td>\n",
       "      <td>1071587</td>\n",
       "      <td>1057283</td>\n",
       "      <td>600243</td>\n",
       "      <td>536493</td>\n",
       "      <td>509050</td>\n",
       "      <td>519447</td>\n",
       "      <td>583177</td>\n",
       "      <td>595547</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   연번  호선  역번호       역명   2021년1월   2021년2월  2021년3월  2021년4월  2021년5월  \\\n",
       "0   1   1  150   서울역(1)  863461.0  890851.0  1827089  1841712  1841724   \n",
       "1   2   1  151    시청(1)  420304.0  420686.0   954481   955202   902354   \n",
       "2   3   1  152       종각  685203.0  706115.0  1598997  1572365  1522428   \n",
       "3   4   1  153  종로3가(1)  507414.0  549933.0  1084476  1059282  1053215   \n",
       "4   5   1  154     종로5가  469264.0  475339.0  1100841  1071587  1057283   \n",
       "\n",
       "   2021년6월  2021년7월  2021년8월  2021년9월  2021년10월  2021년11월  \n",
       "0  1152743   973900   942249   957461   1125594   1270865  \n",
       "1   536217   477840   451248   451677    507332    590817  \n",
       "2   885428   767958   720164   702153    799319    919350  \n",
       "3   691110   612154   601553   608293    696209    712182  \n",
       "4   600243   536493   509050   519447    583177    595547  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# 인코딩 지정해서 읽어오기\n",
    "subway_df = pd.read_csv('/서울교통공사_월별 승차인원_20211130.csv',\n",
    "                        encoding = 'euc-kr')\n",
    "subway_df.head()  # 데이터가 너무 많을 때 앞의 5개만 불러오기"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "서울교통공사는 월별 승차인원 데이터를 euc-kr 형식으로 저장했군요! 저장할 때 어떤 인코딩encoding 형식을 사용했는지에 따라 데이터를 불러올 때 확인하는 작업이 필요하답니다.\n",
    "\n",
    "역번호는 필요 없는 상황일 때 연번, 호선, 역명, 1 ~ 3월의 데이터를 가져오고, 연번이 중복되지 않는 값이니 index로 만들어 봅시다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>호선</th>\n",
       "      <th>역명</th>\n",
       "      <th>2021년1월</th>\n",
       "      <th>2021년2월</th>\n",
       "      <th>2021년3월</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>연번</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>서울역(1)</td>\n",
       "      <td>863461.0</td>\n",
       "      <td>890851.0</td>\n",
       "      <td>1827089</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>1</td>\n",
       "      <td>시청(1)</td>\n",
       "      <td>420304.0</td>\n",
       "      <td>420686.0</td>\n",
       "      <td>954481</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>1</td>\n",
       "      <td>종각</td>\n",
       "      <td>685203.0</td>\n",
       "      <td>706115.0</td>\n",
       "      <td>1598997</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>1</td>\n",
       "      <td>종로3가(1)</td>\n",
       "      <td>507414.0</td>\n",
       "      <td>549933.0</td>\n",
       "      <td>1084476</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>1</td>\n",
       "      <td>종로5가</td>\n",
       "      <td>469264.0</td>\n",
       "      <td>475339.0</td>\n",
       "      <td>1100841</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "    호선       역명   2021년1월   2021년2월  2021년3월\n",
       "연번                                          \n",
       "1    1   서울역(1)  863461.0  890851.0  1827089\n",
       "2    1    시청(1)  420304.0  420686.0   954481\n",
       "3    1       종각  685203.0  706115.0  1598997\n",
       "4    1  종로3가(1)  507414.0  549933.0  1084476\n",
       "5    1     종로5가  469264.0  475339.0  1100841"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "\n",
    "subway_df = pd.read_csv('/서울교통공사_월별 승차인원_20211130.csv',\n",
    "                        encoding = 'euc-kr', \n",
    "                        usecols = ['연번', '호선', '역명', \n",
    "                                   '2021년1월',\t'2021년2월', '2021년3월'],\n",
    "                        index_col = '연번')\n",
    "\n",
    "subway_df.head()  # 데이터가 너무 많을 때 앞의 5개만 불러오기"
   ]
  }
 ],
 "metadata": {
  "language_info": {
   "name": "python"
  },
  "orig_nbformat": 4
 },
 "nbformat": 4,
 "nbformat_minor": 2
}