본문 바로가기

파이썬/머신러닝

(18)
결정트리(Decision Tree) , 엔트로피 개념과 시각화까지 Decision Tree 모델은 가장 많이 쓰이는 지도학습 ML 모델 중 하나이다. 추후 학습할 앙상블 학습의 배깅 방법인 Random Forest는 Decision Tree 여러개를 모아 모델을 학습시키는 방식이다. 그렇기에 그 기초가 되는 결정트리 모델은 꼭꼭 잘 알고 있어야 한다는거! 결정트리는 분류와 회귀 모두 가능한 지도 학습 모델이다. Decision Tree는 마치 SQL의 Case when문과 비슷하다. 다만, case when문은 사람이 직접 조건과 결과값을 정해주는거라면, decision tree는 X 변수를 넣어주면 모델이 알아서 조건과 결과값을 학습한다는 점에서 차이가 있다. decision tree 모델은 마치 스무고개를 하듯 질문에 대한 Y/N에 따라 가지를 뻗쳐나간다. 한번 분..
Linear Regression 선형회귀 파이썬 코드 예제 (보스턴 주택 가격 csv 파일) 선형모델은 아주 기초적이고 간단하지만 설명력이 뛰어나고 다른 모델들의 기초가 되는 모델이기 때문에 반드시 알고 넘어가야 하는 것이 좋다. 중학교 수학시간에 처음 배웠던 함수인 일차함수를 떠올려보자. y = ax + b 이 간단한 식에서 가장 중요한 것은 기울기와 절편이다. 기울기와 절편에 따라서 함수의 모양이 달라지고 x값을 넣었을 때 그에 대한 y값이 달라진다. 이런 단순 선형회귀는 우리가 가진 데이터를 가장 잘 설명할 수 있는 기울기와 절편 값을 찾는 것이다. 선형회귀는 위와 같이 데이터에 단순한 선을 적합시킨다. 당연히 실제 데이터와 선 사이에는 오차가 생기는데, 그 오차가 얼마나 되는지 모든 손실에 제곱을 해서 구하는게 바로 평균제곱오차, MSE(Mean Squared Error)이다. 이 MSE..