의사결정 나무

의사결정 나무 - 회귀

- 겹치지 않는 구역으로 데이터를 나눔

- 특정 구역에 데이터가 있으면, 그 데이터의 예측값은 해당 구역의 평균값임

 

어떤 구역으로 나누어야 하는가? - 구역을 쪼개는 기준

어떤 구역으로 어떻게 나누어야 하는가?

해당 구역에 있는 데이터의 실제값(y)과 예측값의 오차 제곱합을 최소화하는 구역

                                      RSS(Residual Sum of Squares)

 

• RSS(Residual Sum of Squares) : 회귀 알고리즘에서 등장한 개념으로 실제값과 예측값의 단순 오차 제곱합
• 단순오차 제곱합 : 전체 데이터에 대한 실제 값과 예측하는 값의 오차들의 제곱 총합

 

어떤 구역으로 어떻게 나누어야 하는가? 

↓

RSS를 최소화하는 모든 구역을 한 번에 찾는 것은 계산적으로 불가능함

↓

위에서부터 순간순간마다 가장 최선의 선택을 하자 

 

 

의사결정 나무 - 분류

- 분류에서는 해당 구역의 평균값을 구할 수 없기 때문에 RSS를 사용할 수 없음

 

어떤 구역으로 나누어야 하는가? - 구역을 쪼개는 기준

어떤 구역으로 어떻게 나누어야 하는가?

해당 구역에 있는 데이터의 불순도(Impurity)를 최소화하는 구역

 

• 불순도(Impurity) : 다른 데이터가 섞여 있는 정도 
• 지니 계수(Gini Impurity) : 불순도 측정방법, 해당 구역 안에서 특정 클래스에 속하는 데이터의 비율을 모두 제외한 값, 다양성을 계산하는 방법

 

계속해서 나무가 깊어지며 분류/회귀를 진행할 경우, 과적합(Overfitting) 발생 가능성이 높아짐

 

의사결정 나무 특징

• 결과가 직관적이며, 해석하기 쉬움
• 나무 깊이가 깊어질수록 과적합(Overfitting) 문제 발생 가능성이 매우 높음

 

출처: 앨리스교육