Data Analysis

• 원시(원본 그대로) 데이터를 분석하여 인사이트(가시성 증가 및 깊은 이해)로 변환하는 작업이다.
• 문제를 해결하기 위해 데이터를 사용해서 흐름 및 방향을 찾는 기술이다.
• 데이터 분석을 통해 비지니스 프로세스를 구성하고, 의사 결정을 개선하며, 비지니스 성장을 증진할 수 있다.

** _{ETL은 Extract(추출), Transform(변환), Load(적재)를 의미한다. 여기 저기 흩어진 데이터를 하나로 모으기 위한 결합 과정이다.}

기초 통계 (Basic statistics)

📌 통계는 아직 발생하지 않은 일을 예측하기 위해 사용한다.

• 통계학을 공부하는 데 있어 필요한 기본 개념이고,
  수량적인 비교를 기초로 많은 사실을 관찰하고 처리하는 방법을 연구하는 학문이다.
• 불균형 데이터를 대상으로 규칙성과 불규칙성을 발견한 뒤 실생활에 적용할 수 있다.

변량 (Variable)

• 자료의 수치를 변량이라고 하며, 이는 데이터의 값을 의미한다.

계급 (Class)

• 변량을 일정 간격으로 나눈 구간을 의미한다.
• 변량의 최소값과 최대값을 잘 고려해서 계급을 정해야한다.
• 예를 들어, 150 ~ 160 계급이 있을 경우, 160까지 속한다. 즉 151 ~ 160 까지이다.

도수 (Frequency)

• 각 계급에 속하는 변량의 개수를 의미한다.

상대 도수 (Relative frequency)

• 각 계급에 속하는 변량의 비율을 의미한다.

도수분포표(Frequency table)

• 주어진 자료를 계급별로 나눈 뒤 각 계급에 속하는 도수 및 상대 도수를 조사한 표이다.
• 구간별 분포를 한 번에 알아보기 좋지만 계급별 각 변량의 정확한 값이 생략되어 있다.

히스토그램 (Histogram)

• 도수분포표를 시각화한 그래프이다.

산술 평균 (Mean)

• 변량의 합을 변량의 수로 나눈 값을 의미한다.

편차 (Deviation)

• 변량에서 평균을 뺀 값이다.
• 각 변량의 편차를 구한 뒤, 모두 합하면 0이 되기 때문에 편차의 평균을 구할 수 없다.

분산 (Variance)

• 변량이 평균으로부터 떨어져있는 정도를 보기 위한 통계량이다.
• 편차에 제곱하여 그 합을 구한 뒤 산술 평균을 낸다.

표준편차 (Standard deviation)

• 분산의 제곱근이며, 관측된 변량의 흩어진 정도를 하나의 수치로 나타내는 통계량이다.
• 표준편차가 작을 수록 평균 값에서 변량들의 거리가 가깝다고 판단한다.

확률변수 (Random variable)

• 머신러닝, 딥러닝 등 확률을 다루는 분야에 있어서 필수적인 개념이다.
• 확률(probability)이 있다는 뜻은 사건(event)이 있다는 뜻이며,
  시행(trial)을 해야 시행의 결과인 사건(event)이 나타난다.
• 시행(trial)을 해서 어떤 사건(event)이 나타났는지에 따라 값이 정해지는 변수이다.
• 알파벳 대문자로 표현하며, X, Y, Z 또는 X₁, X₂, X₃과 같이 표현한다.
• 확률 변수는 집합이며, 원소를 확률변수값(Value of random variable)이라고 표현한다.
  확률 변수에서 사용한 알파벳의 소문자를 사용한다.
• Y = { y₁, y₂, y₃ }, 이 때 Y는 확률변수이고 원소인 y₁ ~ y₃은 확률변수값이다.

범주형 확률변수 (Categorical random variable)

• 범주형 확률변수값은 수치가 아닌 기호나 언어, 숫자 등으로 표현하고, 기호나 언어는 순서를 가질 수도 있다.
• 유한집합으로 표현한다. 유한집합은 원소의 수가 유한한 집합을 의미한다.
• {앞면, 뒷면}, {동의, 비동의}, {선택, 미선택}, {봄, 여름, 가을, 겨울}

이산형 확률변수 (Discrete random variable)

• 이산형 확률변수 값은 수치로 표현하고 셀 수 있는 값이다.
  이를 더 넓은 범위로, 양적 확률변수 또는 수치형 확률변수라고도 부른다.
• 유한집합 또는 셀 수 있는 무한집합으로 표현한다. 무한집합은 원소의 수가 무한한 집합을 의미한다.
• {0, 1, 2, 3}, {10, 20, 30}, {1, 2, 3, ...}, {100, 1000, 10000}

연속형 확률변수 (Continuous random variable)

• 연속형 확률변수는 구간을 나타내는 수치로 표현한다.
  이를 더 넓은 범위로, 양적 확률변수 또는 수치형 확률변수라고도 부른다.
• 셀 수 없는 무한집합으로 표현한다.
• 128.56 < X < 268.56

확률분포 (Probability distribution)

• 사건에 대한 확률변수에서 정의된 모든 확률값의 분포이며, 서로 다른 모든 결과의 출현 확률을 제공한다.

1) 동전 던지기(시행)
2) { 0, 1 }(확률변수와 확률변수값)
3) 완벽한 형태의 동전일 경우 확률 분포

1) 1 ~ 12까지 새겨진 주사위 던지기 (시행)
2) { 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12 } (확률변수와 확률변수 값)
3) 완벽한 형태의 주사위일 경우 확률 분포

확률분포표 (Probability distribution table)

• 확률변수의 모든 값(원소)에 대해 확률을 표로 표시한 것이다.
• 범주형 또는 이산형 확률변수의 확률분포를 표현하기에 적합한 방식이다.

확률분포함수 (Probability distribution function)

• 확률변수의 분포를 나타내는 함수로서, 확률변수의 확률변수값이 나올 확률을 나타내는 함수이다.
• 확률질량함수, 확률밀도함수 등의 함수가 있다.

확률질량 함수(Probability mass function, pmf)

• 확률변수 X의 분포를 나타내는 함수로서, x_i가 나올 확률이다.
• 확률변수의 값을 매개변수로 전달받고, 해당 값이 나타날 확률을 구해서 리턴하는 함수이다.
• 범주형 확률변수와 이산형 확률변수에서 사용된다.
• 확률변수에서 각 값에 대한 확률을 나타내는 것이 마치 각 값이 "질량"을 가지고 있는 것처럼 보이기 대문에 확률질량 함수로 불린다.

확률질량 함수 f는 확률변수 X가 x를 변수값으로 가질 때의 확률이다.

무한대 (Infinity)

• 끝없이 커지는 상태를 의미하고 기호로 ∞ 를 사용한다.

무한소 0 (Infinitesimal)

• 거의 없다는 의미이고, 0에 매우 근접하지만 0이 아닌 상태를 의미한다.

미분 (Differential)

• 기울기는 독립변수가 종속변수에 미치는 영향력의 크기를 의미한다.
• 변경 전의 독립변수 x₁이라는 점과 변경 후의 x₂라는 점을 지나는 직선의 기울기가 바로 변화에 대한 속도이다.
• 즉, 직선의 기울기가 4로 구해졌다면, 종속변수가 독립변수의 변화에 4배 속도로 변화된 것이다.
• 이 때, 두 점 사이가 무한히 가까워지면, 결국 거의 한 점과 같은 점에 대한 접선의 기울기가 되고 이는 순간적인 변화량이다.
• 미분을 통해서 독립변수가 굉장히 미세하게 변화할 때 순간적으로 종속변수가 얼마나 빠르게 변화하는 지를 알 수 있다.

적분 (Integral)

• 선분 = 높이(길이), 면적 = 가로 X 높이
• 면적을 구할 때 여러 사각형으로 나눈 뒤 합하여도 전체 면적이 나온다.
• 가로가 무한소 0인 사각형 즉, 선분과 거의 비슷한 사각형을 쌓은 뒤, 각 면적을 모두 합하는 것이 적분이다.

확률밀도 함수 (Probability density function, pdf)

• 확률변수 X의 분포를 나타내는 함수로서, 특정 구간에 속할 확률이고 이는 특정 구간을 적분한 값이다.
• 확률변수값의 범위(구간)를 매개변수로 전달받고, 범위의 넓이를 구해서 리턴하는 함수이다.
• 연속형 확률변수에서 사용된다.
• 전체에 대한 확률이 아닌 구간에 포함될 확률을 나타내기 때문에 구간에 따른 밀도를 구하는 것이고, 이를 통해 확률밀도 함수라 불린다.

확률밀도 함수 f는 특정 구간에 포함될 확률을 나타낸다.