Linear Regression

[iammiori]

• 1. hypothesis
• 2. cost funcion
• 3. Gradinet descent
• 4. convex/non-convex

[iammiori]

hypothesis

(linear) hypothesis

H(x) = Wx +b

[iammiori]

cost function

• = loss function, objective function
• minimun value 찾는게 관건
• H(x) - y
  cost = 1/m sigma from i=1 to i = m (H(x)-y)^2

결국 , 중요한거는 minimize cost

[iammiori]

gradient descent algorithm

• minimize cost function
• 경사도가 없는 부분 (기울기 =0) 인 곳까지 내려가
• 기울기니까 미분을 활용
• 최소비용에 수렴할 때 까지 반복
• 알파가 너무 크면 오버슈팅
• 알파가 너무 작으면 최소비용에 수렴하는데 시간 너무 오래 걸려

[iammiori]

convex vs non-convex

- 어느방향으로 얼마만큼 이동할 것인가

• linear hypothesis -> convex function ( global minimum 가져)
• non-convex function -> global minimum 보장 못해