[개미의 걸음 scikit-learn 4차시] 의사결정트리 실습(with iris)

들어가기전...

2021/02/01 - [Python] - [개미의 걸음 scikit-learn 1차시] 사이킷런의 이해

2021/02/02 - [Python] - [개미의 걸음 scikit-learn 2차시] Classification(분류)의 이해

2021/02/03 - [Python] - [개미의 걸음 scikit-learn 3차시] Classification① 의사결정트리(Decision Tree)의 이해

 

 

사이킷런에서의 의사결정트리

분류를 위한 클래스인 DecisionTreeClassifier와 회귀를 위한 클래스인 DecisionTreeRegressor

• DecisionTreeClassifier와 DecisionTreeRegressor는 동일한 파라미터 사용

파라미터 명	설명
min_samples_split	노드를 분할하기 위한 최소한의 샘플 데이터 수로 과적합 제어 용도로 사용 기본값[디폴트] : 2 작게 설정할 수록 분할되는 노드수가 많아져 과적합 가능성 증가     ex> 1로 설정할 경우, 분할되는 노드수가 많아져서 과적합 가능성 증가
min_samples_leaf	leaf가 되기 위한 최소한의 샘플 데이터 수로 과적합 제어 용도로 사용 [min_samples_split과 유사] 비대칭적 데이터의 경우 특정 클래스의 데이터가 극도로 작을 수 있으므로 이경우에는 작게 설정
max_features	최적의 분할을 위해 고려할 최대 feature 개수 기본값[디폴트] : None으로 데이터 세트의 모든 feature를 사용해 분할 수행 int형으로 지정하면 대상 feature의 개수를 의미 float형으로 지정하면 전체 피처 중 대상 feature의 퍼센트를 의미     'None'은 전체 feature 선정     'sqrt'는 전체 feature의 제곱근만큼 선정     'auto'는 sqrt와 동일     'log'는 전체 feature 중 log2(전체 feature 개수)만큼 선정
max_depth	트리의 최대 깊이를 규정 기본값[디폴트] : None으로 완벽하게 클래스 결정 값이 될때까지 깊이를 계속 키우며 분할하거나 노드가 가지는 데이터 개수가 min_samples_split보다 작아질 때까지 계속 깊이를 증가시킴 깊이가 깊어지면 min_samples_split 설정대로 최대 분할하여 과적합 가능성 증가[적절한 값으로 제어]
max_leaf_nodes	말단 노드[leaf]의 최대 개수

# min_samples_split의 이해

ex> min_samples_split=41인 경우, 41개 이상의 샘플만 split한다는 의미!

# min_sample_leaf의 이해

ex> min_samples_leaf=37인 경우, 생성될 노드들의 샘플 수가 모두 37개 이상이어야만 split한다는 의미!

# max_depth의 이해

ex> max depth=3인 경우, depth가 3일 때까지만 split한다는 의미!

# max_leaf_nodes의 이해

ex> max_leaf_nodes=4인 경우, leaf node들이 4가 될 때까지만 split한다는 의미!

 

 

선형회귀분석

필요한 모듈 import

## pandas 모듈
import pandas as pd

## iris 데이터 모듈
from sklearn.datasets import load_iris

## train과 test set 구분 모듈
from sklearn.model_selection import train_test_split

## 데이터 표준화 모듈
from sklearn.preprocessing import StandardScaler

## 의사결정트리 모델
from sklearn.tree import DecisionTreeClassifier

## 정확도 예측 모듈(연속적인 데이터에서 사용 안함)
from sklearn.metrics import accuracy_score

## 의사결정트리 시각화
from sklearn.tree import export_graphviz
import graphviz

[graphviz 설치하기 ↓]

2021/02/04 - [Python] - [개미의 걸음 scikit-learn 오류해결] graphviz 설치 및 오류 해결(with jupyter notebook)

 

아이리스 데이터 불러오기

iris = lad_iris()

 

데이터 셋 train/test 구분하기

## train, test 데이터를 각각 8:2로 구분
x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.2, random_state=1)

## 데이터 표준화
sc = StandardScaler()
sc.fit(x_train)
x_train_std = sc.transform(x_train)
x_test_std = sc.transform(x_test)

• test_size는 0~1사이의 값을 가지며 전체 데이터(1)에서 test 데이터의 비중을 의미
      → 기본값[default 값] : 0.25
• random_state는 숫자를 임의로 생성할 때 재현가능하도록 난수의 초기값을 입력 [난수 생성기]
      → 기본값은 numpy.random에서 제공하는 random number generator가 사용됨
      → random_state에 지정하는 정수값에 따라 분석 결과가 다르게 나옴
      → 생략할 경우, 실행할 때마다 다른 결과가 나옴 [test/train 데이터가 계속 달라지므로]
      → 값을 지정할 경우, 여러번 다시 실행하여도 동일한 결과가 나옴
      → 쉽게 말해서 재현 가능하도록 고정되는 숫자를 지정하는 것!!!
             ex> random_state=3   : 3개의 숫자는 무조건 고정
                                            3개를 뽑으면 항상 같은 수가 나오지만 5개를 뽑으면 3개만 같고 2개를 계속 변화

 

Decision Tree model 만들기

tree_model = DecisionTreeClassifier(random_state=100)
tree_model.fit(x_train_std, y_train)

 

시각화하기

## graphviz가 읽어들여 그래프 형태로 시각화할 수 있는 출력 파일 생성
export_graphviz(tree_model, out_file='tree.dot', class_names=iris.target_names, feature_names=iris.feature_names, impurity=True, filled=True)

## 저장된 tree.dot파일을 사용해 시각화하기
with open("tree.dot")as f:
    dot_graph = f.read()
graphviz.Source(dot_graph)

[format 오류가 발생하는 경우 ↓]

2021/02/04 - [Python] - [개미의 걸음 scikit-learn 오류해결] graphviz 설치 및 오류 해결(with jupyter notebook)

 

 

예측 데이터 만들기

y_pred = linear_model.predict(x_test_std)

 

정확도/정밀도/재현율 구하기

## 정확도/정밀도/재현율 구하는 함수 만들기(여러 번 사용할 때 용이)
def get_clf_eval(y_test, y_pred):
    accuracy = accuracy_score(y_test, y_pred)
    precision = precision_score(y_test,y_pred, average='macro')
    recall = recall_score(y_test,y_pred,average='macro')
    print('정확도 : {0:.4f}, 정밀도 : {1:.4f}, 재현율 : {2:.4f}'.format(accuracy, precision, recall))

## 값 출력하기
print(get_clf_eval(y_test, y_pred))