Perceptron
- Machine Learning을 사용하는 궁극적인 이유는 데이터 예측을 잘하기 위함이다.
- 직각 삼각형과 동그라미가 데이터라고 볼 때, 해 데이터가 직각 삼각형인지, 동그라미인지에 대한 정의를 내려야할 때, 빨간색을 기준선으로 두고 분류할 수 있다. 이 일차원에서의 예시는 빨간선이 Machine Learning으로 얻어내려는 기준이다.
- 2차원적으로 봤을 때, 두 데이터를 가를 수 있는 기준은 찾아야 되는 빨간 선이다.
- 이를 기준선을 수학적으로 풀어서 보면 a * x_1 + b * x_2 + c = 0 이다.
- 예를들어 2 * x_1 + x_2 - 2 = 0 가 기준이라고 한다면, 딥러닝에서 Perceptron은 x_1, x_2라고 할 수 있다.
- 이때, 들어오는 Data의 값이 x_1 = 2, x_2 = 2 라면, 4 + 2 - 2 > 0 이므로 해당 기준선을 기준으로 수학적으로 동그라미라고 할 수 있다. x_1 = -1, x_2 = -1 이면 -2 -1 - 2 < 0 이므로 세모라고 수학적으로 구분할 수 잇겠다.
- 위의 예시 처럼 해당 데이터를 대표하는 수학적 모델을 만들기 위해 Machine Learning으로는 위의 x_1, x_2의 계수를 찾는 것이다. 계수에 따라 데이터를 구분하는 수학적 직선은 달라질 것이고, 완벽하게 나누는 선을 찾는 것이 목표가 된다.(물론 이는 어렵다.)
- Perceptron은 이전 예시 처럼 수학적으로 Linear하다는 특성을 가지고있다.
- Linear한 것을 복잡하게 얽고 섥으면 저 원처럼 될 수 있을까? 수학적으로 불가능하다. 위의 원이라는 기준은 비선형이기 때문이다.
- 따라서 추가되는 것이 Activation Function이다. 이는 어떤 임계치에 따라 Neuron이 다른 값(On-Off)을 내보내게 해줘서 선형적 결과에 비선형성을 추가할 수 있게 된다. 이러면 비선형으로 만들 수 있게 된다.
- 대표적으로 ReLu, Signmoid, tanh 이 있다.
| Tanh | Linear |
|---|---|
- 비 선형일 때 데이터가 분류가 될 수 있음을 알 수 있다.
- 이러한 특성을 지닌 Perceptron을 조합한 것이 다중 퍼셉트론 이다.
- 또한 Neuron 사이 연결에 대한 관계성은 수학적으로 weight라는 것으로 명칭된다. 이를 찾아나가고, 최적화해나가는 것이 다중 퍼셉트론의 복잡한 형태인 ML/DL의 목표이다.
- ML/DL은 Neuron의 같은 계층에있는 hidden-layer라는 것이 쌓이고 쌓여서 보다 복잡한 연관성과 비선형성으로 weight를 찾아나가게된다.