Bagging, Boosting

👈 랜덤포레스트란?

배깅; 부트스트랩 기법

​ 배깅은 bootstrap aggregating 의 준말로서, 하나의 주어진 데이터에서 여러 개의 모델을 만들어 각 모델들 결과값의 평균을 통해 성능을 높이는 기법이다. 우선 주어진 데이터에 대해 복원추출을 여러 번 함으로써(Bootstrap) 여러 개의 데이터 셋을 생성할 수 있다.

복원추출 기법:

• 첫번째 시행: 주머니에서 공을 랜덤하게 하나 꺼냄
• 두번째 시행: 그 공을 주머니에 넣고, 다시 랜덤하게 뽑는 것

​

​ 부트스트랩을 B 번 반복하면 B 개의 데이터가 생성되며, 총 B 개의 모델이 생성되는 것이다. 5개의 각각의 모델에서의 예측결과에 따라서 분류라면 다수결로 결과를 결정하고, 회귀라면 평균으로 결과를 결정한다.

부스팅 기법

​ 부스팅은 매 번 학습을 할 때마다 오분류된 확률변수에 대해 가중치를 부여한 후, 다시 학습을 하며, 이 과정을 반복하면서 매 번의 결과들을 앙상블하는 것이다.

​

​ 대표적으로 (1) AdaBoost 알고리즘 (2) Gradient Boost 알고리즘이 있다. AdaBoost 알고리즘은 오분류 관찰치에 가중치를 올리고, Gradient Boost 는 직전 단계의 오차를 학습하는 방법이다.