[개미의 걸음 scikit-learn 10차시] 회귀분석

회귀분석

하나의 종속변수 y와 두 개 이상의 독립변수(x₁,x₂....)사이의 관계를 최소 제곱법에 의해 추정하는 수법

선형회귀	관측값 y1이 독립변수의 선형 조합으로 표현되는 것
비선형회귀	관측값 y1이 독립변수의 곡선 조합으로 표현되는 것

 

회귀식

데이터들을 대표하는 선을 그리는 것

• Y=WX + b  [W : 가중치, b : 편향(bias)]
      ex> Y = W₀+W₁X₁+W₂X₂
• 점과 회귀식에 의해 그어진 점 사이의 거리가 에러
      → erroer=y - ŷ [y: 실제값,  ŷ: 예측값]
• 다양한 데이터를 분류하기 위해선 cost를 최소화할 수 있는 다양한 선을 그어야 함[Decision Boundary]
  

  

 

선형회귀 vs 로지스틱 회귀

	선형 회귀	로지스틱 회귀
확률값 해석 가능여부	확률값으로 직접 해석 불가	확률값으로 해석 가능
종속 변수	연속형 변수	(0,1) → 범주형 데이터
계수 추정법	최소 제곱법	최대 우도 추정법
모형 검정	F검정, T검정	카이제곱검정[x2-test]
가설함수
비용함수
기울기함수[미분]