[회귀 - 15] 의사 결정 트리(Decision Tree)란?

 

CART는 범주화 나무와 회귀 나무를 합친 것이다.

 

 

먼저 회귀 나무(Regression Trees)에 대해 알아보자.

위와 같은 산점도 그래프가 있다.

주의할 점은 가로축이 x1, 세로축이 x2이고, y축은 3차원에 표현된다는 점이다. 

 

이 그래프에 x1 = -0.5 선을 그어보자.

 

 

그럼 이제 데이터를 x1 = -0.5를 기준으로 왼쪽 값과 오른쪽 값로 나눌 수 있을 것이다.

이제 우리는 2개의 정보를 갖게 된 것이다.

이 말을 정리하면, 기준선을 그을수록 우리의 정보량이 늘어난다는 뜻이다. 그리고 이렇게 갈라진 정보를 '잎'이라고 한다.

이것을 회귀 나무로 표현하면 아래와 같다.

오른쪽이 Yes, 왼쪽이 No라고 하자(아래 표 모두 동일)

 

이제 다시 x2 = 1(x1 < -0.5)선을 그어보자.

 

이제 슬슬 감이 올 것이다. 다시 이것을 회귀 나무로 표현해보자.

더 나눌 수도 있지만 귀찮으니 여기서 스탑

 

그리고 독립 변수(파란점)들에 의해 결정되는 종속 변수를 그래프에 나타내보면 (3차원 어디간에 있을 y값을 상상해보자)

 

이제 이 값을 회귀 나무로 표현하면,

최종 값들이 잎이다

 

이렇게 나타낼 수 있다.