CH02-01. CSV 파일 읽고 쓰기.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# [ 2-1. CSV 파일 읽고 쓰기 ]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 1. CSV 파일 소개\n",
    "### 1-1. CSV 파일 형식 소개\n",
    "* CSV(Comma-Separated Values) 파일은 데이터를 저장하는 데 널리 사용되는 형식 중 하나입니다.\n",
    "\n",
    "* 각 줄은 텍스트 라인이며, 쉼표(,)를 사용하여 필드를 구분합니다. (다른 구분자를 사용하여 필드를 구분하기도 합니다.)\n",
    "\n",
    "* CSV 파일은 텍스트 형식으로 저장되기 때문에 다양한 응용 프로그램에서 사용할 수 있습니다.\n",
    "\n",
    "### 1-2. CSV 파일의 구조와 사용 사례\n",
    "\n",
    "* CSV 파일은 표 형식의 데이터를 저장하는 데 사용됩니다.\n",
    "\n",
    "* 주로 데이터베이스, 스프레드시트, 웹 애플리케이션 등에서 데이터를 읽고 쓰는데 사용됩니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 1-2-1. CSV 파일 생성\n",
    "* 메모장에서 간단하게 샘플 파일 생성 가능합니다. 내용 작성 후 확장자명을 '.csv'로 하여 저장합니다.\n",
    "![csv_notepad](./image/CH02-01.image_csv_notepad.png)\n",
    "* 엑셀에서 해당 파일을 열어보면 표 형태로 인식하고 있음을 보실 수 있습니다.\n",
    "![csv_excel](./image/CH02-01.image_csv_excel.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "##### [참고]\n",
    "맥OS의 경우 엑셀파일로 열었을 때 한글이 깨져서 나타날 수도 있습니다. 이 경우 메모장으로 파일을 열어서 Text Encoding을 \"Unicode (UTF-8) with BOM\" 또는 기타 호환되는 Encoding으로 변경하면 제대로 표시가 됩니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 1-2-2. 외부에서 받은 CSV 파일 확인\n",
    "실제 실무에서 CSV파일을 메모장에서 일일이 작성할 일은 거의 없습니다. kaggle.com에서 받은 Amazon Sales Dataset의 경우에 대해 간단하게 보여드리겠습니다.\n",
    "![amazon_excel](./image/CH02-01.image_amazon_notepad.png)\n",
    "상기 화면은 에러난 도스화면 마냥 어떠한 내용도 확인할 수 없습니다.\n",
    "\n",
    "해당 파일을 엑셀에서 열어보면 컬럼명과 각 컬럼별로 값들이 구분되어 있는 것을 보실 수 있습니다.\n",
    "![amazon_excel](./image/CH02-01.image_amazon_excel.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### 1-2-3. CSV 파일을 사용하는 이유\n",
    "* 간단하고 가벼움 : CSV 파일은 텍스트 형식으로 데이터를 저장하기 때문에 간단하고 가벼운 형식입니다. 데이터를 저장하고 공유하기가 용이합니다.\n",
    "\n",
    "* 플랫폼 독립적 : CSV 파일은 플랫폼 독립적이므로 다양한 운영 체제와 프로그램에서 사용할 수 있습니다. 윈도우즈, 맥OS, 리눅스 등 여러 운영 체제에서 CSV 파일을 사용할 수 있습니다.\n",
    "\n",
    "* 다양한 프로그램 지원 : CSV 파일은 파일 형식이 간단하기 때문에 다양한 프로그램에서 지원이 가능합니다. 이에 프로그램 간 데이터 공유가 용이합니다. 예를 들어 MS Excel, Google Sheets, 데이터베이스 시스템(MySQL 등), 데이터 분석도구(파이썬의 pandas 라이브러리 등) 등에서 CSV 파일을 읽고 쓸 수 있습니다.\n",
    "\n",
    "* 빠른 속도 : CSV 파일은 텍스트 형식이기 때문에 읽기 쓰기 속도가 빠릅니다. 이는 대용량 데이터셋을 다룰 때 유용합니다.\n",
    "\n",
    "#### 1-2-4. 실무적 활용\n",
    "\n",
    "* 기획, 마케팅, 재무, 인사 등 다양한 영역에서 회사 내 대용량 데이터를 이용하여 어떠한 인사이트가 필요한 결과물을 도출하고자 할 때, 기존에는 IT 담당자에게 도출하고자 하는 결과물의 형태를 설명하고, 최종 도출된 결과 데이터를 받아서 사용하는 경우가 많았을 것입니다.\n",
    "\n",
    "* IT 담당자에게 제공 가능한 Raw 데이터셋 전체를 CSV 파일로 요청하여 받은 후 이를 직접 파이썬으로 분석하고 필요한 결과물을 도출한다면 의사소통 중에 발생되는 Loss를 줄이고, 더욱 효율적이고 적합성 높은 결과물을 만들어 낼 수 있습니다.\n",
    "\n",
    "* 저같은 경우는 재무 업무를 담당하고 있음에도 회사 데이터베이스에 직접 접근할 수 있는 권한을 받아서 SQL을 이용하여 실시간으로 데이터셋을 받아 분석하고 리포팅에 활용하고 있습니다.\n",
    "\n",
    "* 최종 분석 결과물만 엑셀로 변환해서 공유하면 됩니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 2. csv 라이브러리 소개\n",
    "'csv' 라이브러리는 파이썬 표준 라이브러리 중 하나로, CSV 파일을 읽고 쓰는데 사용됩니다. 이 라이브러리는 CSV 파일을 처리하는 데 필요한 다양한 함수와 클래스를 제공하여 데이터를 읽고 쓰는 작업을 간편하게 할 수 있습니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 2-1. csv 라이브러리 주요 기능\n",
    "* CSV 파일 읽기 및 쓰기 : 'csv.reader()' 및 'csv.writer()' 함수를 사용하여 CSV 파일을 읽고 쓸 수 있습니다.\n",
    "\n",
    "* 구분자 지정 : CSV 파일의 구분자를 쉼표(기본값) 외의 다른 문자로 지정할 수 있습니다.\n",
    "\n",
    "* 헤더 처리 : CSV 파일의 첫 번째 행을 헤더로 처리하여 필드 이름을 지정할 수 있습니다.\n",
    "\n",
    "* 데이터 형식 변환 : CSV 파일로 데이터를 쓸 때 데이터 형식을 변환하거나 포맷팅 할 수 있습니다.\n",
    "\n",
    "* 예외 처리 : 잘못된 데이터 또는 형식 오류에 대한 예외 처리를 제공합니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 2-2. csv 라이브러리 사용하기\n",
    "라이브러리를 사용하기 위해서는 import 키워드를 이용하여 해당 라이브러리를 읽어들여야 합니다.\n",
    "\n",
    "아래 예시를 보면 \"import csv\" 구문을 사용하여 'csv' 라이브러리를 읽어들여서 사용할 수 있도록 준비하였습니다.\n",
    "이후 'csv' 라이브러리의 속성과 메서드는 'csv.속성' 또는 'csv.메서드()'와 같은 방식으로 사용합니다.\n",
    "\n",
    "##### [CSV 파일 쓰기]\n",
    "* 아래 예시를 실행하면, 현 주피터노트북이 있는 폴더에 'data.csv' 파일이 생성된 것을 확인하실 수 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import csv\n",
    "\n",
    "# CSV 파일을 쓰기 모드로 열기\n",
    "with open('csv_data1.csv', 'w', newline='') as file:\n",
    "    writer = csv.writer(file)\n",
    "    # 데이터 쓰기\n",
    "    writer.writerow(['Name', 'Age', 'Grade'])\n",
    "    writer.writerow(['John', '25', 'A'])\n",
    "    writer.writerow(['Emily', '22', 'B'])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "##### [CSV 파일 읽기]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['Name', 'Age', 'Grade']\n",
      "['John', '25', 'A']\n",
      "['Emily', '22', 'B']\n"
     ]
    }
   ],
   "source": [
    "import csv\n",
    "\n",
    "# CSV 파일을 읽기 모드로 열기\n",
    "with open('csv_data1.csv', 'r') as file:\n",
    "    reader = csv.reader(file)\n",
    "    # 각 행에 대해 반복하며 데이터 읽기\n",
    "    for row in reader:\n",
    "        print(row)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 3. csv 라이브러리 사용 데이터 읽고 전처리 하기\n",
    "### 3-1. 샘플 데이터 생성"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "import csv\n",
    "\n",
    "with open('csv_data2.csv', 'w', newline='') as file:\n",
    "    writer = csv.writer(file)\n",
    "    # 데이터 쓰기\n",
    "    writer.writerow(['날짜', '제품', '가격', '판매량'])\n",
    "    writer.writerow(['2023-01-01', '사과', '1000', '50'])\n",
    "    writer.writerow(['2023-01-01', '바나나', '1500', '40'])\n",
    "    writer.writerow(['2023-01-02', '사과', '1000', '60'])\n",
    "    writer.writerow(['2023-01-02', '바나나', '1500', '45'])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 3-2. CSV 파일 전처리하고, 총 매출 계산하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "총 매출: 237500\n",
      "총 매출: 237,500원\n"
     ]
    }
   ],
   "source": [
    "import csv\n",
    "\n",
    "# CSV 파일을 읽기 모드로 열기\n",
    "with open('csv_data2.csv', 'r', newline='') as file:\n",
    "    # CSV 리더 객체 생성\n",
    "    reader = csv.reader(file)\n",
    "    \n",
    "    # 헤더를 스킵하고 첫 번째 데이터 행부터 읽기\n",
    "    next(reader)  # 헤더 스킵\n",
    "    \n",
    "    # 각 행에 대해 반복하며 총 매출 계산\n",
    "    total_sales = 0\n",
    "    for row in reader:\n",
    "        price = int(row[2])  # 가격 정보를 정수형으로 변환\n",
    "        quantity = int(row[3])  # 판매량 정보를 정수형으로 변환\n",
    "        total_sales += price * quantity  # 총 매출 계산\n",
    "\n",
    "# 총 매출 출력\n",
    "print(\"총 매출:\", total_sales)\n",
    "print(f\"총 매출: {total_sales:,}원\")\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "사과 매출: 110000\n",
      "사과 매출: 110,000원\n"
     ]
    }
   ],
   "source": [
    "# CSV 파일을 읽기 모드로 열기\n",
    "with open('sample_data.csv', 'r', newline='') as file:\n",
    "    # CSV 리더 객체 생성\n",
    "    reader = csv.reader(file)\n",
    "    \n",
    "    # 헤더를 스킵하고 첫 번째 데이터 행부터 읽기\n",
    "    next(reader)  # 헤더 스킵\n",
    "    \n",
    "    # 각 행에 대해 반복하며 '사과'인 경우에 대해서만 매출 계산\n",
    "    total_sales = 0\n",
    "    for row in reader:\n",
    "        if row[1] == '사과':\n",
    "            price = int(row[2])  # 가격 정보를 정수형으로 변환\n",
    "            quantity = int(row[3])  # 판매량 정보를 정수형으로 변환\n",
    "            total_sales += price * quantity  # 사과 매출 계산\n",
    "\n",
    "# 총 매출 출력\n",
    "print(\"사과 매출:\", total_sales)\n",
    "print(f\"사과 매출: {total_sales:,}원\")\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "base",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}