Lecture1-3_Basic_BigDataSmallData_KK.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 빅데이터 vs 스몰데이터 \n",
    "\n",
    "> **중요성1. 모든 통계적 분석은 샘플이 모집단을 대표할 수 있다는 가정!**   \n",
    ": 모집단의 특성을 통계로 설명하는 것은 제법 괜찮은 접근이지만, 샘플이 모집단을 대표하지 못하면 거짓말 분석결과(유의미하지 않은 통계)   \n",
    "\n",
    "> **중요성2. 빅데이터라고 하더라도 결국 편향이 없을 수 없는 샘플!**   \n",
    ": 많은 전문가들이 통계의 한계를 전문적인 이유로 설명하지 못하더라도 본능적으로 왜곡될 수 있음을 인지하고 있고, 아무리 공정하게 추출하려 해도 편향이 없을 수 없음을 인지해야 함 \n",
    "     \n",
    "     \n",
    "- **장점:** 과학적 연구에서 표본조사가 전수조사보다 선호되는 이유     \n",
    "    - 정보가 신속하게 필요한 경우, 데이터수집, 분석을 신속히 처리   \n",
    "    - 신속한 의사결정시간에 따른 비효율을 줄이고 비용과 시간이 절약되어 경제적   \n",
    "    - 샘플링 데이터의 정확도에 영향을 주는 오차는 \"표본추출오차\"와 \"비표본오차\"가 있는데,   \n",
    "    표본추출오차는 샘플링 과정에서 발생하나 표본의 크기를 증가시키면 줄어드는 경향,   \n",
    "    비표본오차는 데이터 수집이나 처리, 사람의 주관으로 발생하는 오차로 전수/표본조사 모두 존재,   \n",
    "    샘플링이 데이터의 수집과정 상의 오류를 더 잘 통제가 가능기에 전수조사보다 비표본오차가 적어 정확도가 높음   \n",
    "    - 모집단이 무한히 많거나 정확한 파악이 불가하거나 특정 집단에서만 수집된 데이터의 경우 전수조사가 불가하기에 불가피하게 표본조사를 시행해야 함   \n",
    "\n",
    "\n",
    "- **단점:**   \n",
    "    - 모집단 자체가 작은 경우 표본조사가 무의미 할 수 있음 \n",
    "    - 데이터의 특성을 정확히 모르면서 샘플링을 하면 bias나 왜곡이 더욱 증가될 수 있음   \n",
    "    - 모집단을 완벽하게 대표하는 표본을 선정하는 일은 쉽지 않음(그래도 안하는 것보단 나음)\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 샘플링 방법론\n",
    "\n",
    "- **Process:** \n",
    "\n",
    "<center><img src='Image/Sampling_Process.png' width='600'></center> \n",
    "\n",
    "\n",
    "- **Comparison:** \n",
    "\n",
    "|  | 확률표본(Probability Sample): 무작위추출 | 비확률표본(Nonprobability Sample): 작위추출 | \n",
    "|:-----------------------:|:------------------------------------------------------------------------------------:|:-------------------------------------------------------------------:| \n",
    "| 방법론 | 주관을 배재하고 각 샘플이 뽑힐 확률을 확률적(객관적)으로 균등하게 부여 => \"확률표본\" | 샘플이 뽑힐 확률을 수학/확률적인 방법을 따르지 않음 => \"비확률표본\" | \n",
    "| 장점 | 표본이 추출될 확률 사전적으로 알때 용이 | 표본이 추출될 확률 사전적으로 모를때 용이 | \n",
    "|  | 모수추정에 bias가 없음 | 모수추정에 bias가 있음 | \n",
    "|  | 추출기회가 독립적이라 대표성이 높음 | 추출기회가 독립적이 않아 대표성이 낮음 | \n",
    "| 단점 | 시간과 비용이 많이 듦(표본의 크기가 커야함) | 시간과 비용이 적게 듦(표본의 크키가 작아도됨) | \n",
    "| 모집단 일반화 | 가능 | 불가능(모집단의 대략적 성격 파악 목적) | \n",
    "| 표본오차(신뢰구간) 추정 | 가능 | 불가능 | \n",
    "| 종류 | 단순임의 표본추출 | 편의 표본추출 | \n",
    "|  | 체계적 표본추출 | 할당 표본추출 | \n",
    "|  | 비례층화 표본추출 | 자발적 표본추출 | \n",
    "|  | 다단계층화 표본추출 |  | \n",
    "|  | 군집 표본추출 |  |\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 확률표본(Probability Sample) 추출법 \n",
    "\n",
    "- **세부종류:** \n",
    "<center><img src='Image/Sampling_Simplerandom.png' width='300'>\n",
    "<center><img src='Image/Sampling_Systematic.png' width='300'>\n",
    "<center><img src='Image/Sampling_Stratified.png' width='300'>\n",
    "<center><img src='Image/Sampling_Cluster.png' width='300'>\n",
    "  \n",
    "\n",
    "- **요약:** \n",
    "\n",
    "| 종류 | 추출법 | 비고 | \n",
    "|:-----------------------------------------:|:--------------------------------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------------------:| \n",
    "| 단순임의 표본추출(Simple Random Sampling) | 모집단으로 표본을 균등한 확률로 추출하는 것으로, 추출된 표본을 단순임의표본이라고 함 | 100명(남60,여40) 중 10명을 뽑을 시 전부 남자일 수 있어서 모집단의 특성을 반영하지 못하는 대표성 한계 | \n",
    "| 체계적 표본추출(Systematic Sampling) | 첫번째 표본을 무작위로 선정한 후 k번째 간격의 표본들을 선정함 | 단순임의추출의 대표성 한계를 줄이기 위해서이며 비용이 적게들고 정확성이 단순임의 추출보다 높은편 | \n",
    "|  |  | k는 모집단의 크기를 원하는 표본의 크기로 나누어 계산 | \n",
    "| 층화 표본추출(Stratified Sampling) | 모집단을 서로 겹치지 않는 여러 개의 층(부분집단)으로 구분 후, 각 층에서 단순임의추출로 표본 추출함 | 단순임의추출의 대표성 한계를 줄이기 위해 여러 층으로 구분하여 bias를 회피 | \n",
    "|  |  | 층간은 이질적이나 층내는 동질적인 데이터에 적합(ex. 개발 파트 vs 분석 파트) | \n",
    "| 군집 표본추출(Cluster sampling) | 모집단을 서로 인접한 값들로 묶어 집단을 구성후, 특정 집단의 일부 또는 전체를 표본으로 함 | 집단간은 동질적이나 집단내는 이질적인 데이터에 적합(ex. 분석파트1 vs 분석파트2) | \n",
    "|  |  | 집단간은 동질적이나 집단내는 이질적인 데이터에 적합(ex. 분석파트1 vs 분석파트2) |"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 비확률표본(Nonprobability Sample) 추출법 \n",
    "\n",
    "- **세부종류:** \n",
    "<center><img src='Image/Sampling_Nonprobability.png' width='700'>\n",
    "\n",
    "\n",
    "- **요약:** \n",
    "\n",
    "| 종류 | 추출법 | 비고 | \n",
    "|:-----------------------------------:|:---------------------------------------------------------------------------------------------:|:---------------------------------------------------------------------------------------:| \n",
    "| 편의 표본추출(Convenience Sampling) | 특정 집단이나, 계층 및 시간대로 데이터만을 대상으로 표본을 선정 | 시간과 비용이 적게 들지만 대표성 문제 아주 높음 | \n",
    "| 판단 표본추출(Purposive Sampling) | 분석가 주관으로 분석에 도움이 된다 판단되는 대상만을 표본으로 함 | 전문가여야 가능하며 그렇지 않으면 모집단의 대표성 문제 높음 | \n",
    "| 할당 표본추출(Quota Sampling) | 모집단이 여러 특성을 가질 경우 각 특성에 따라 층을 형성 후, 층별로 표본을 같게 또는 비례 선정 | 모집단의 특성을 잘 아는 전문가이어야 하마 그렇지 않으면 대표성 뿐 아니라 Bias 문제 높음 |"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 요약 \n",
    "\n",
    "<center><img src='Image/Sampling_Summary.png' width='500'>\n",
    "\n",
    "> **문제:** 선거에서 중년층>청년층=노년층 투표율이 높고, 남성=중산층>여성=저소득층 투표율이 높으면 선거여론조사에서 어떤 데이터를 수집해야 빠른 시간 내 높은 정확성의 출구조사를 분석할 수 있을까?"
   ]
  }
 ],
 "metadata": {
  "hide_input": false,
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.5"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {
    "height": "1058px",
    "left": "579px",
    "top": "224px",
    "width": "365.594px"
   },
   "toc_section_display": true,
   "toc_window_display": true
  },
  "toc-autonumbering": true,
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}