xgboost

랜덤 포레스트와 Boosting 알고리즘

랜덤 포레스트(Random Forest) - 의사결정 트리 + Bagging 알고리즘 - 부트스트랩 데이터를 생성할 때, 입력 변수에 대해서도 복원 추출 - 데이터 셋에서 Bootstrap을 통해 N개의 훈련 데이터셋을 생성하고, 생성한 N개의 의사결정 나무들을 학습함 - 학습된 트리들의 예측 결과값의 평균 또는 다수결 투표 방식 이용하여 결합 - 변수의 중요성을 파악할 수 있음 - 변수 일부를 사용하기 때문에 과적합을 방지할 수 있음 Ada Boost(Adaptive Boosting:적응 부스팅) - 이전 학습 과정에서 오분류한 데이터를 다음 학습 과정에서는 잘 분류할 수 있도록 하여 Weak Learner를 Strong Learner로 수정하는 Boosting 알고리즘 - 이전 모델이 오분류한 데이터..