2030 BigDATA

[개미의 걸음 SQL 10차시] 데이터 입력과 삭제 : INSERT, DELETE문

IT개미 데이터 — Fri, 26 Mar 2021 15:00:40 +0900

데이터 입력[INSERT]

INSERT INTO 테이블 명(컬럼1, 컬럼2, 컬럼3, ...)
VALUES (값1, 값2, 값3, ...);

데이터가 들어갈 테이블, 컬럼, 데이터를 입력
컬럼을 명시한 순서와 값의 순서가 같아야하고 데이터형도 일치해야만 INSERT문이 실행됨!

[개미의 걸음 ADsP 3과목] 통계분석의 이해

IT개미 데이터 — Wed, 17 Feb 2021 17:17:23 +0900

통계

특정집단을 대상으로 수행한 조사나 실험을 통해 나온 결과에 의해 요약된 형태의 표현

조사 대상의 범위에 따라 전수조사와 표본조사로 구분

전수 조사	대상 집단 모두를 조사하는데 많은 비용*시간이 소요되므로 특별한 경우를 제외하고는 사용되지 않음
표본 조사	모집단에서 샘플을 추출하여 진행하는 조사로 대부분의 설문조사가 표본조사로 진행됨 모집단의 정의, 표본의 크기, 조사방법, 조사기간, 표본추출방법을 정확히 명시해야 한다.

# 표본 조사에서 사용되는 주요 용어

모집단[Population]	조사하고자 하는 대상 집단 전체
원소[Element]	모집단을 구성하는 개체
표본[Sample]	조사하기 위해 추출한 모집단의 일부 원소
모수[Parameter]	표본 관측에 의해 구하고자 하는 모집단에 대한 정보

표본 추출 방법

표본조사는 모집단을 대표하는 일부만을 가지고 조사하므로 표본추출 방법에 따라 분석결과의 해석은 큰 차이가 발생

단순랜덤 추출법 [Simple Random Sampling]	각 샘플에 번호를 부여해 임의의 n개를 추출하는 방법 크기가 n인 모든 가능한 표본에 동일한 산출 기회를 부여[각 샘플은 선택될 확률이 동일] 비복원 추출, 복원 추출
계통추출법 [Systematic Sampling]	단순랜덤추출법을 변형한 방식 번호를 부여한 샘플(N개)을 나열해 K개씩 n개의 구간(K=N/n)으로 나누고 첫 구간에서 하나를 의의 선택해 K개씩 띄어서 n개의 표본을 선택 각 구간별로 동일한 위치의 항목을 추출하는 방법
집락추출법 [Cluster Random Sampling]	모집단을 임의의 군집으로 나눈 뒤 군집별로 단순랜덤 추출법을 수행 집락내는 이질적, 군집간은 동질적 모든 자료를 활용하거나 샘플링하는 방법 지역표본추출, 다단계표본추출
층화추출법 [Stratified Random Sampling]	모집단에서 각 계층을 고루 대표할 수 있는 표본을 추출하는 방법 층내는 동질적, 층간은 이질적 유사한 원소끼리 몇 개의 층[Stratum]으로 나누어 각 층에서 랜덤 추출하는 방법 비례층화추출법, 불비례층화추출법

측정

표본조사나 실험을 실시하는 과정에서 추출된 원소들이나 실험 단위로부터 주어진 목적에 적합하도록 관측해 자료를 얻는 것

※ 실험 : 특정 목적 하에서 실험 대상에게 처리를 가한 후에 그 결과를 관측해 자료를 수집하는 방법

측정방법

명목척도	측정 대상이 어느 집단에 속하는지 분류할 때 사용 성별, 출생지 구분 등	질적 척도, 범주형 자료 [숫자들의 크기 차이가 계산되지 않는 척도]
순서척도	측정 대상의 서열관계를 관측하는 척도 만족도, 선호도, 학년, 신용등급 등	질적 척도, 범주형 자료 [숫자들의 크기 차이가 계산되지 않는 척도]
구간척도 (등간척도)	측정 대상이 갖고 있는 속성의 양을 측정하는 것 구간이나 구간 사이의 간격이 의미 있는 자료[두 관측값 사이 비율은 별 의미없음]	양적 척도, 수치형 자료 [숫자들의 크기 차이를 계산 할 수 있는 척도]
비율척도	간격[차이]에 대한 비율이 의미를 가지는 자료 절대적 기준인 0이 존재하고 사칙연산이 가능하며 제일 많은 정보를 가지는 척도	양적 척도, 수치형 자료 [숫자들의 크기 차이를 계산 할 수 있는 척도]

순서척도는 명목척도와 달리 매겨진 숫자의 크기를 의미있게 활용 가능
구간척도는 절대적 크기를 측정할 수 없기 때문에 사칙연산 중 더하기*빼기는 가능하지만 비율처럼 곱하기*나누기는 안됨

불편 추정량 & 일치 추정량

불편 추정량	모집단이 모수 추정에 있어서 그것의 추정량의 기댓값이 모수와 같을 때
일지 추정량	표본 크기가 커지면 그 값이 점점 모수에 가까워 지는 것[표준편차가 감소]

통계분석

특정한 집단이나 불확실한 현상을 대상으로 자료를 수집해 대상 집단에 대한 정보를 구하고 적절한 통계분석 방법을 이용해 의사결정하는 과정

① 기술통계[Descriptive Statistic]

주어진 자료로부터 어떠한 판단이나 예측과 같은 주관이 섞일 수 있는 과정을 배제하여 통계집단들의 여러 특성을 수량화하여 객관적인 데이터로 나타내는 통계분석 방법론
Sample에 대한 특성인 평균, 표준편차, 중위수, 최빈값, 그래프, 왜도, 첨도 등을 구하는 것

② 통계적 추론[Inference Statistics, 추측통계]

수집된 자료를 이용해 대상 집단[모집단]에 대한 의사결정을 하는 것
제한된 표본을 바탕으로 모집단에 대한 일반적인 결론을 추정하는 것[본질적으로 불확실성 수반]

모수추정	표본집단으로부터 모집단의 특성인 모수[평균, 분산 등]을 분석해 모집단을 추론
가설검정	대상집단에 대한 특정 가설을 설정한 후 그 가설이 옳은지 그린지에 대한 채택여부를 결정하는 방법론
예 측	미래의 불확실성을 해결해 효율적인 의사결정을 하기 위해 활용 회귀분석, 시계열분석 등의 방법 사용

※ 추정 : 표본으로부터 모집단이 가지는 특성(모수)을 추측하는 것
※ 가설검정 : 자신이 가진 이론적 대안이 통계적으로 의미가 있는지를 확인하는 것

1) 모수 추정

전수조사가 불가능할 때 모집단에서 표본을 추출하고 이를 근거로 확률론을 활용해 모집단의 모수들을 추론하는 것

점추정 [Point Estimation]	모수가 특정한 값일 것이라고 추정하는 것 표본의 평균, 중위수, 최빈값 등을 사용하는 것
구간추정 [Interval Estimation]	점추정의 정확성을 보완하기 위해 모수의 참값이 포함되어 있다고 추정되는 구간을 결정하는 것 실제 모집단의 모수가 신뢰구간에 꼭 포함되어 있는 것은 아님 구해진 구간 안에 모수가 있을 가능성의 크기[신뢰수준, Confidence Interval]가 주어져야 한다.

# 점추정량의 조건

불편성 [Unbiasedness]	모든 가능한 표본에서 얻은 추정량의 기댓값은 모집단의 모수와 편의가 없다.
효율성 [Efficiency]	추정량의 분산이 작을수록 좋다.
일치성 [Consistency]	표본의 크기가 아주 커지면, 추정량이 모수와 거의 같아진다.
충족성 [Sufficient]	추정량은 모수에 대하여 모든 정보를 제공한다.

# 95%신뢰수준 하에서 모평균의 신뢰구간

<95% 신뢰수준 하에서 모평균의 신뢰구간>

2) 가설검정

모집단에 대한 어떤 가설을 설정한 뒤에 표본관찰을 통해 그 가설의 채택여부를 결정하는 분석방법

표본관찰 또는 실험을 통해 귀무가설과 대립가설 중에서 하나를 선택하는 과정

귀무가설이 옳다는 전제하에 검정통계량 값을 구한 후에 이 값이 나타날 가능성의 크기에 의해 귀무가설의 채택여부를 결정

귀무가설 [Null Hypothesis, H₀]	현재까지 주장되어온 것이나 변화나 차이가 없음을 설명하는 가설
대립가설 [Alternative Hypothesis, H₁]	귀무가설에 반대되는 주장을 하는 가설로 귀무가설을 기각했을 때 받아들여지는 가설 실제 검정대상이 되는 가설은 아니다!
검정통계량 [Test Statistic]	관찰된 표본으로부터 구하는 통계량 검정 시 가설의 진위를 판단하는 기준
유의수준 [Significance Level, α]	귀무가설을 기각하게 되는 확률의 크기로 '귀무가설이 옳은데도 이를 기각하는 확률의 크기'
유의확률 [p-value]	귀무가설이 맞다고 정할 때, 표본통계량보다 극단적인 결과가 실제로 관측될 확률 p-value와 α를 비교하여 귀무가설 기각 여부를 결정[p-value<α이면 기각]
기각역 [Critical Region,C]	귀무가설을 기각시키는 검정통계량들의 범위[반대는 채택역(acceptance region)} 귀무가설이 옳다는 전제 하에서 구한 검정통계량의 분포에서 확률이 유의수준 α인 부분

제1종오류 & 제2종오류

	H₀가 사실이라고 판정	H₀가 사실이 아니라고 판정
H₀가 사실임	옳음 결정	제 1종 오류[α]
H₀가 사실이 아님	제 2종 오류[β]	옳은 결정

제 1종 오류[Type 1 error] : 귀무가설 H₀가 옳은데도 귀무가설을 기각하게 되는 오류
제 2종 오류[Type 2 error] : 귀무가설 H₀가 옳지 않은데도 귀무가설을 채택하게 되는 오류

통계적 검정

통계적 검정에서 모집단의 모수에 대한 검정은 모수적 검정과 비모수적 검정으로 구분

모수적 방법	비모수적 방법
검정하고자 하는 모집단의 분포에 대한 가정을 하고, 그 가정하에서 검정통계량과 검정통계량의 분포를 유도해 검정을 실시하는 방법	자료가 추출된 모집단의 분포에 대한 아무 제약을 가하지 않고 검정을 실시하는 방법
가정된 분포의 모수에 대해 가설 설정	가정된 분포가 없음 [가설은 단지 '분포의 형태가 동일하다' 또는 '분포의 형태가 동일하지 않다'와 같이 분포의 형태에 대해 설정]
관측된 자료를 이용해 구한 표본평균, 표분분산 등을 이용해 검정을 실시	관측값의 절대적인 크기에 의존하지 않는 관측값들의 순위나 두 관측값 차이의 부호 등을 이용해 검정

비모수적 방법을 사용하는 경우

관측된 자료가 특정분포를 따른다고 가정할 수 없는 경우에 이용
관측된 자료의 수가 많지 않을 경우(30개 미만)에 사용
관측된 자료가 개체간의 서열관계를 나타내는 경우에 사용
즉, 표본의 크기가 작거나 순서형 자료를 포함하는 범주형 자료에 적용 가능

비모수 검정의 예

부호검정[Sign Test]
윌콕슨의 순위합검정[Rank Sum Test]
윌콕슨의 부호순위합검정[Wilcoxon Signed Rank Test]
만-위트니의 U검정
런검정[Run Test]
스피어만의 순위상관계수

[개미의 걸음 ADsP 3과목] 확률분포① 이산형 확률 분포

IT개미 데이터 — Mon, 15 Feb 2021 17:17:05 +0900

이산형 확률 분포

① 이산형 확률변수

확률변수 X가 유한집합이거나 자연수의 부분집합과 일대일 대응일 때의 확률변수 X

② 수학적 기대값, E[u(x)]

f(x)가 이산확률변수 x의 pdf이고 ∑u(x)f(x)의 값이 존재할 때, 이를 수학적 기대값이라 함

★ 기대값의 성질 ★
1. E[c]= C [단, C는 상수]
2. E[cx] = cE(x)
3. E[cu(x)]=cE[u(x)]
4. E[c₁u₁(x)±c₂u₂(x)]=c₁E[u₁(x)]±c₂E[u₂(x)]
5. u₁(x) ≤ u₂(x)이면 E[u₁(x)] ≤ E[u₂(x)]이다.

평균과 분산

확률변수 X가 이산확률밀도 함수f(x)를 갖고 그 공간 R={b₁,b₂...}일 때, b₁f(b₁)+b₂f(b₂)....를 평균이라고 함

ex1> f(x)=1/8 (x=0,1) , f(x)=3/8 (x=2,3)일때, X의 평균은?
E(X) = ∑xf(x)= 0*(1/8) + 1*(1/8) + 2*(3/8) + 3*(3/8) = 2

표준편차의 제곱을 분산이라고 함

분산은 '평균'으로부터 떨어진 정도를 나타냄
var(x) = (표준편차)²= E[(x-u)²]
= E[x²-2ux+u²]
= E[x²]-2uE[x]+u²
= E[x²] - u²
= E[x²] - (E[x])²

★ 분산의 성질 ★
1. var(Cx) = Cvar(x) [단, C는 상수]
2. var(ax+b) = a2var(x) [단, a,b는 상수]
3. var(C) = 0 [단, C는 상수]

※ 체비세프의 부등식

확률변수 X가 유한인 평균과 분산을 가지면, k≥1인 모든 k에 대해 P[|x-u|≥k*(표준편차)]≤(1/k)₂를 만족한다.

③ 확률질량함수[Probability Mass Functon, pmf]

이산확률변수 X에 대한 확률P(X=x)

f(x)를 이산확률변수 X의 pmf라고 한다.
f(x) > 0 , x ∈ R
R : X의 공간
∑f(x) = 1
P(X∈A) = ∑f(x) , A⊂R

누적분포함수[Cumulative Distribution Function, cdf]

A={t:t≤x, x∈R}, F(x)=P(X∈x)=∑f(t)일 때, 확률변수 X의 누적분포함수를 F(x)라고 함

0 ≤ F(x) ≤1
→ F(x)는 확률이므로
F(x)는 x의 비감소 함수
x₁<x₂일때, F(x₁) = P(X≤x₁) ≤ P(X≤x₂) = F(x₂)
F(∞) = 1
F(-∞) = 0
F는 오른편 연속 함수
X가 이산확률변수일 때, F(x)는 계단함수[Step Function]

적률생성함수[Moment Generating Function, mgf], M(t)

-h <t < h 일때, E(e^tx)=∑e^txf(x)를 x의 적률생성함수라고 함

확률변수 X의 적률은 X의 거듭제곱의 기대값을 적률(Moment)이라고 함
→ 확률변수는 pdf가 f(x)인 이산확률변수
E[x^r] = ∑x^rf(x)
→ 원점에 대한 X의 r차 적률
E[(x-b)^r] = ∑(x-b)^rf(x)
→ 중심이 b인 X의 r차 적률
확률변수 X의 적률생성함수가 -h < t < h에서 존재할 때, R(t) = lnM(t)를 x의 누가적률이라고 함
서로 독립인 확률변수 x₁,x₂, ... x_n의 적률생성함수가 각각 Mx₁(t)....Mx_n(t)라고 할 때, Y = a₀ + a₁x₁ + a₂x₂ + .... + a_nx_n(단, a₁,a₂,....a_n은 상수)의 적률생성함수는 MY(t)=e_a₀tMx₁(a₁t) X ....... X Mx_n(a_nt)

적률생성함수 특징

var(x)= E(x²)-[E(x)]² = M''x(0)-[M'(0)]²

※ 맥로린 급수[Maclaurln's Series]

Talyer's Series에서 f(x)=e^x를 대입한 것

f(x) = f(0) + f'(0)x + f''(0)x²/2! + ....
e^x = 1 + x + x²/2! + x³/3! + ....
M(t) = E(e^tx)=E(1 + xt + (xt)²/2! +...) = E(1) + E(x)t + E(x²)t²/2! +....

④ 베르누이 시행과 이항 분포

베르누이 시행[Bernoulli Trial]

두 가지의 서로 배반적이고 완전히 분할되는 실험일 때 적용 가능
ex> 결과가 둘 중 하나(앞/뒤, 합/불, 삶/죽음 등) 일 때
즉, 서로 동시에 일어날 확률이 0
확률변수 X의 pdf가 f(x) = p^x(1-p)^1-x , x=0,1 , 0≤p≤1 , q = 1 - p 일때, X는 베르누이 분포를 갖는다

이항분포[Binomial Distribution]

확률변수 x의 밀도함수가 다음과 같을 때, X는 모수가 (n,p)인 이항분포를 갖는다.
베르누이 시행의 반복 횟수를 n, 각 시행에서 성공할 확률을 p라고 할 때 다음과 같다.

이항분포의 성질

약한 대수의 법칙

⑤ 초기하 분포[Hypergeometric Distribution]

X의 pdf인 f(x)가 다음과 같을 때 초기하 분포라고 함

크기가 유한인 모집단으로 부터 비복원 추출시 나타나는 확률 분포

⑥ 기하 분포[Geometric Distribution]

성공 확률이 p인 베르누이 시행에서 처음 성공이 일어날 때까지 반복한 시행 횟수

확률변수 x의 pdf가 다음과 같이 주어질 때, x는 모수가 p인 기하분포를 가짐

⑦ 음이항 분포[Negative Binominal Distribution]

성공확률이 p인 베르누이 시행에서 독립적으로 반복시행시 r번 성공할 때까지의 실패횟수

확률변수 x의 pdf가 다음과 같을 때, x는 모수가 r,p인 음이항 분포를 가짐

⑧ 포아송 분포[Poisson Distribution]

시간과 공간 내에서 발생하는 사건의 발생횟수에 대한 확률분포

확률변수 x의 pdf가 다음과 같을 때 x는 모수가 λ인 포아송 분포를 가짐

포아송 분포가 되기 위한 조건

겹치지 않는 구간에서 일어나는 사건의 수는 서로 독립이다.
짧은 구간에서 하나의 사건이 일어날 확률은 구간의 길이에 비례한다.
충분히 짧은 구간에서 둘 이상의 사건이 일어날 확률은 0이다.
전 구간을 통해 어느 부분에서나 사건은 동일하게 일어난다.

⑨ 다항 분포[Multinomial Distribution]

세가지 이상의 결과를 가지는 반복 시행에서 발생하는 확률분포

이항분포를 확장한 확률 분포
확률변수 x의 pdf가 다음과 같을 때 x는 다항분포를 가짐

[개미의 걸음 ADsP 3과목] 확률의 이해

IT개미 데이터 — Sun, 14 Feb 2021 17:17:39 +0900

확률

표본공간[S]에 있는 각 사건과 실수 P(A)가 대응하는 집합함수

부분집합인 각 사건에 대해 실수값을 가지는 함수의 확률 값
P(A)는 A의 확률[0 ≤ P(A) ≤ 1 , P(S) =1]

표본공간[Sample Space, S(간혹 Ω로 표기)	모든 가능한 실험 결과들의 모임
사건[Event]	표본공간[S]의 부분집합
원소[Element]	나타날 수 있는 개별의 결과들을 의미
확률변수[Random Variable]	표본공간[S]의 각 원소 S가 단 하나의 실수 X에 대응하는 함수 정의역이 표본공간 치역이 실수값[0<y<1]인 함수

# 집합의 연산법칙

교환 법칙	A∪B=B∪A	A∩B=B∩A
결합 법칙	(A∪B)∪C=A∪(B∪C)	(A∩B)∩C=A∩(B∩C)
분배 법칙	A∩(B∪C)=(A∩B)∪(A∩C)	A∪(B∩C)=(A∪B)∩(A∪C)
드모르간[De Morgan] 법칙	(A∪B)^c=A^c∩B^c	(A∩B)^c=A^c∪B^c

확률의 성질

① P(A) = 1-P(A^c)

1=P(S)=P(A∪A^c)=P(A)+P(A^c) → A와 A^c는 배반사건[A∩A^c=ø]이므로
∴ P(A)=1-P(A^c)

② P(ø) = 0

1=P(S)=P(S∪ø)=P(S)+P(ø) → S와 ø는 배반사건[S∩ø=ø]이므로
∴ P(ø)=1-P(S)=0

③ A⊂B이면 P(A)≤P(B)

B=A∪(B∩A^c) , A∩(B∩A^c)=ø이므로
∴ P(A)≤P(B) = P(A∪(B∩A^c) = P(A) + P(B∩A^c)

④ 0≤P(A)≤1

ø⊂A⊂S에서 정리③에 의해 P(ø)⊂P(A)⊂P(S)
∴ 0≤P(A)≤1

⑤ P(A∪B)=P(A)+P(B)-P(A∩B) → 확률의 덧셈정리

P(A∪B) = P(A∪(B∩A^c)) = P(A) + P(B∩A^c)    →    A와 B∩A^c가 배반사건[A∩(B∩A^c)]
P(B) = P[(A∩B)∪(B∩A^c)] = P(A∩B) + P(B∩A^c)    → A∩B와 B∩Ac가 배반사건[P(A∩B)∩P(B∩Ac)=ø]
∴ P(A∪B)  = P(A) + P(B) - P(A∩B)

⑥ P(A∪BUC)=P(A)+P(B)+P(C)-P(A∩B)-P(A∩C)-P(B∩C)+P(A∩B∩C)

확률변수의 종류

확률변수는 0이 아닌 확률을 갖는 실수값의 형태에 따라 이산형확률변수와 연속형 확률변수로 구분된다.

확률 변수의 종류	이산형 확률변수 [Discrete Random Variable]	연속형 확률변수 [Continuous Random Variable]
정 의	확률 변수 X가 유한 집합이거나 자연수의 부분집합과 일대일 대응일 때의 확률변수	임의의 구간을 설정해도 구간 내의 값을 측정할 수 없는 확률변수
확률분포함수	확률질량함수	확률밀도함수
확률변수X의 기대값	E(X) = ∑x_if(x_i)	E(X) = ∫xf(x)dx
확률변수X의 k차 적률	E(X^k) = ∑x_i^kf(x_i)	E(X^k) = ∫x^kf(x)dx
확률변수[X]의 k차 중심적률	E[(X-μ)^k] = ∑(x_i-μ)^kf(x_i)	E[(X-μ)^k] = ∫(x-μ)^kf(x)

# 모분산[Population Variance, σ²]

σ² = E[(X-μ)²] = E[(X²-2μX+μ²)] = E(X²)-2μE(X)+μ² = E(X²)-μ²

즉, 모분산은 [2차적률-(1차적률)²]으로 해석 가능

순열[Permutation]과 조합[Combination]

순열[Permutation]	순서고려
조합[Combination]	순서고려 X

복원추출 & 비복원 추출

복원추출	다음 표본 추출 전 추출된 표본이 복원되는 추출 방법
비복원추출	추출된 표본이 복원되지 않는 추출 방법

# 초기하 분포[Hypergeometric Distribution]

크기가 유한한 모집단으로부터 비복원 추출 시 나타나는 확률분포

ex> n = n1 + n2일때, r개 추출

ex> 100개[양품80, 불량20개] 중 5개를 추출할 때, 불량품이 0개인 확률은?

이항정리

이항정리의 일반화[다항정리]

파스칼 정리

n개 중 r개를 뽑는 확률은 n-1개 중[1개를 미리 뽑았을 때] r개에 포함이 됨 경우와 안된 경우의 합

조건부확률

사건 B가 주어졌을 때 사건 A가 일어날 확률 [P(A|B)]

확률의 곱셈법칙

전확률의 정리

베이즈 정리

독립사건

사건 A와 B가 서로 독립인 필요충분조건은 P(A∩B)=P(A)XP(B)이다.

P(A|B) = P(A)
사건 A와 B가 독립이면 A와 B^c, A^c와 B, A^c와 B^c도 모두 독립

[개미의 걸음 ADsP 3과목] EDA & 결측치 및 이상치 처리

IT개미 데이터 — Sat, 13 Feb 2021 17:17:37 +0900

탐색적 자료분석[EDA, Explonatory Data Analysis]

데이터가 가지고 있는 특성을 파악하기 위해 해당 변수의 분포 등을 시각화하여 분석하는 분석 방법

미국의 존 튜키교수가 1977년 발표한 저서에 EDA가 처음으로 언급
당시 주로 사용하던 확증적분석[CDA, Confirmatory Data Analysis]는 가설을 검증하는데 주로 사용되었지만
EDA는 자료를 하나의 목적으로 보징낳고 여러 방면으로 바라보기 위해 고안되었다.
다양한 차원과 값을 조합하여 특이한 점이나 의미있는 사실을 도출하고 분석의 최종 목적을 달성해가는 과정
데이터의 특징과 내재하는 구조적 관계를 알아내기 위한 기법들의 총칭
데이터에 대한 전반적인 이해를 통해 분석 가능한 데이터인지 확인하는 단계
[함수를 적용하는 것이 아닌 데이터 자체를 확인하는 것!]
데이터에 포함된 변수의 유형이 어떻게 되는지를 찾아가는 과정
탐색적 데이터 분석을 통해 얻은 정보를 이용해 통계적 가설이나 모형을 설정해 연구하거나 의사결정에 이용해 정보의 정확도를 측정
알고리즘이 학습을 얼마나 잘하는지는 전적으로 데이터 품질과 데이터에 담긴 정보량에 달림
Boxplot을 그리면 이상치의 식별이 쉬움
summary( )함수를 사용하면 데이터의 기초통계량을 파악 가능
수치형변수 : 최소값, 1사분위수, 2사분위수(중앙값), 3사분위수, 최대값, 평균
명목형변수 : 명목값, 데이터 개수
head( )함수를 사용하면 많은 데이터 중 일부의 데이터만 가져올 수 있음
기본적으로 6개의 데이터가 보여지며 보고싶은 데이터의 개수 지정 가능
EDA는 시간이 오래 걸리는 일이므로 최근에는 EDA를 자동으로 신속하게 수행해 유의미한 값만 파악해 데이터 마트로 만든 후 모델링 업무로 진행하는게 일반적
데이터를 시각화(Box Plot, 상자그림)하면 이상치 식별이 용이

EDA의 4가지 주제

저항성 강조	저항적인 자료/분석은 자료의 일부 변동에 따른 영향을 비교적으로 적게 받는 것을 의미 즉, 이상치, 결측치, 입력 오류등의 영향을 적게 받음 ex> median, 사분위수, IQR 등
잔차[오차] 계산	잔차[개별 관측값의 흐름에서 벗어난 값]가 있을 때 왜 이런 값이 발생했는지 파악하는 것 Residual Analysis[Regression Analysis] : 잔차분석[회귀분석]
자료변수의 재표현	자료 분석을 단순화할 수 있도록 원래의 변수를 적당한 척도로 바꾸는 것을 의미 ex> Z-score[표준점수] 등
그래프를 통한 현시성	그래픽 표현을 통해 자료 안에 숨겨진 정보를 효율적으로 활용할 수 있게 해줌 현시성은 데이터 시각화라고도 불림 ex> 줄기와 잎 그림, Boxplot 등

EDA VS Traditional Analysis

Traditional Analysis	EDA
Frequency Distribution	Stem and leaf plot
Histogram	Boxplot
Mean	Median
Standard Deviation	InterQuartile Range[IQR]

결측치 처리

결측치는 NA, 99999999, 공백, Unknown, Not Answer 등으로 표현

결측치 처리는 전체 작업 속도에 크게 영향을 미침
결측치를 처리하기 위해 시간을 많이 사용하는 것은 비효율적!
간혹 결측값 자체가 의미가 있는 경우도 있음
→ ex> 카드 가입자 중 이용실적이 전혀 없는 경우
NaN[Not a Number]는 결측값이 아니라 숫자형 데이터 자리에 숫자 외의 문자가 오는 경우를 의미
결측치 처리방법은 크게 단순 대치법과 다중 대치법이 있음

결측치 처리 방법

① 단순 대치법[Single Imputation]

1) 완전분석법(completes analysis)

결측치가 존재하는 레코드를 삭제하는 방법

2) 평균 대치법(Mean Imputation)

관측, 실험 등을 통해 얻어진 데이터의 평균으로 결측치를 대치하는 방법
조건부 평균 대치법 : 회귀분석을 활용한 대치법
비조건부 평균 대치법 : 관측데이터의 평균을 활용한 대치법

3) 단순확률 대치법(Single Stochastic Imputation)

평균대치법에서 추정량 표준 오차의 과소 추정문제를 보완하고자 고안된 방법
Hot-deck, Nearest neighbor 등의 종류가 있음

② 다중 대치법[Multiple Imputation]

단순 대치법을 여러 번 대치하여 여러 개의 완전한 자료를 생성하는 방법
ex> n번 대치를 통해 n개의 완전한 자료 생성
1단계 : 대치(Imputation Step)
2단계 : 분석(Analysis Step)
3단계 : 결합(Combination Step)

R에서의 결측치 처리

complete.cases( )	데이터가 완전한 데이터인지 확인하는 함수 데이터 셋 안에 결측값이 있으면 FALSE, 없으면 TRUE로 반환
is.na( )	결측치가 있는지 확인하는 함수 결측치을 NA로 인식해 결측값이 있으면 TRUE, 없으면 FALSE로 반환
centralImputation( ) [DMwR 패키지]	NA값을 Central Value로 대치하는 함수 숫자는 중위수, 요인(factor)은 최빈값으로 대치
knnImputation( ) [DMwR 패키지]	NA값을 k최근 이웃 분류 알고리즘을 사용하여 대치하는 함수 k개 주변 이웃까지의 거리를 고려하여 가중 평균한 값을 사용
amelia( ) [Amelia 패키지]	TIME-SERIES-CROSS-SECTIONAL DATA SET에서 활용 랜덤포레스트(random forest)모델은 결측값이 존재할 경우, 바로 에러가 발생 randomForest 패키지의 rfImpute( )함수를 활용해 NA 결측치를 대치한 후 알고리즘에 적용 → randomForest모형의 경우, 결측치가 있으면 에러가 발생 → rfImpute( )함수는 randomForest 패키지에서 결측치(NA)를 대치하도록 하는 함수

이상치 처리

이상치는 정상범주에서 크게 벗어난 값을 의미[설명변수의 관측치에 비해 종속변수의 값이 상이한 값]

의도하지 않게 잘못 입력한 것을 이상치라고 함[Bad Data]
의도하지 않게 입력되었으나 분석 목적에 부합되지 않아 제거해야 하는 것을 이상치라고 함[Bad Data]
의도하지 않은 현상이지만 분석에 포함해야 하는 것을 이상치라고 함
의도된 이상값을 이상치라고 함
Bad Data로 판명된 데이터는 삭제하는 것이 바람직!!
이상치는 반드시 제거해야 하는 것이 아니므로 분석의 목적에 맞게 적절한 판단이 필요
이상치는 제거하는 것보다 조정 방법을 사용해 값을 대치하는 것이 데이터 손실율도 적고, 설명력도 높아짐

이상치 관측

① ESD[Extreme Studentized Deviation]

평균으로부터 3 표준편차 떨어진 값

② 기하평균과 표준편차를 활용

이상값 정의 : "기하평균 - 2.5 X 표준편차 < data < 기하평균 + 2.5 X 표준편차"를 벗어난 값
geo_mean을 활용해 기하평균을 구함

③ 사분위수를 활용

이상치는 변수의 분포를 벗어난 값으로 상자 그림을 통해 확인 가능
상자 그림의 outer fence 밖에 있는 값(이상치) 제거
이상값 정의 : "Q1 - 1.5(Q3 - Q1) < data < Q3+1.5(Q3 - Q1)"를 벗어난 값

이상치 처리 방법

이상치를 처리하는 방법에는 크게 절단(trimming)과 조정(winsorizing)이 있음

① Trimming

이상치 절단 방법에는 기하평균과, 상단*하단 %를 이용한 제거가 있음
상단*하단 %를 이용할 때는 상하위 5%(총 10%)에 해당하는 데이터를 제거

② Winsorizing

상한값과 하한값을 벗어나는 값들을 하한, 상한값으로 대치
상자수염그림에서 IQR의 약 1.5배를 벗어난 데이터를 이상치로 분류
IQR[Inter Quartile Range]는 3Q에서 1Q를 뺀 값
1Q, 3Q로부터 IQR의 1.5배되는 지점을 상한값, 하한값이라고 함

이상치 활용의 예

사기탐지 - 평상시의 신용카드 구매패턴과 다른 패턴을 조사하여 도난여부 확인

침입탐지 - 컴퓨터 네트워크에 대한 예외적인 행위를 감시하는 경우를 탐지

의 료 - 환자에게 보이는 예외적인 이상 증세를 발견함으로써 건강 이상 발견

[개미의 걸음 ADsP 3과목] 데이터 가공(변수의 중요도 및 구간화)

IT개미 데이터 — Fri, 12 Feb 2021 17:17:44 +0900

변수[Variable]

저장된 값[숫자, 문자, 논리값 등]이 바뀔 수 있는 값들을 임시로 보관해 놓기 위한 저장소

변수의 첫글자는 문자나 .(점, dot)로 시작하며, 그 이후에는 문자/숫자/dot/underline 을 사용 가능
대소문자를 구분해야 됨을 유의!
한 번 만들어 사용한 변수는 R을 종료할 때까지 사라지지 않는다.
하나의 변수는 다양한 유형의 값을 저장할 수 있다.

질적 변수	명목형 변수	이름을 기준으로 한 형태
질적 변수	순서형 변수	순서가 있는 형태
양적 변수	연속 변수	연속된 숫자로 구성
양적 변수	이산 변수	떨어져 있는 숫자로 구성

변수 파악

데이터 분석을 위해서는 구성된 데이터의 변수들을 파악하는 것이 중요
summary( )함수를 사용하면 해당 데이터 셋이 어떤 구조를 가지고 있는지 파악 가능
수치형변수 : 최소값, 1사분위수, 2사분위수(중앙값), 3사분위수, 최대값, 평균
명목형변수 : 명목값, 데이터 개수
head( )함수를 사용하면 많은 데이터 중 일부의 데이터만 가져올 수 있음
기본적으로 6개의 데이터가 보여지며 보고싶은 데이터의 개수 지정 가능

변수의 중요도

모형을 생성하여 사용된 변수의 중요도를 정리

변수 선택법과 유사한 개념
klaR 패키지는 특정 변수가 주어졌을 때 클래스가 어떻게 분류되는지에 대한 에러율을 계산해주고, 그래픽으로 결과를 보여주는 기능을 함
greedy.wilks( )는 종속변수에 가장 영향력을 미치는 변수에 가장 영향력을 미치는 변수를 wilks lambda를 활용해 세분화를 위한 stepwise forward 변수를 선택함으로써 변수의 중요도를 정리
※ Wilk's Lambda = 집단 내 분산 / 총 분산

변수의 구간화

연속형 변수를 분석 목적에 활용하기 위해 변수를 구간화

일반적으로 10진수 단위로 구간화
보통 구간을 5개로 나누며 7개 이상의 구간은 잘 만들지 않음
신용평가모델, 고객 세분화와 같은 시스템에서 모형에 활용하는 각 변수들을 구간화해서 구간별 점수를 산정하기 위해 많이 사용
변수의 구간화 방법에는 binning과 의사결정나무 등이 있다.

변수의 구간화 방법

① binning

신용평가모형의 개발에서 연속형 변수를 범주형 변수로 구간화하는데 자주 활용되는 방법
bin은 '쓰레기통'이라는 뜻으로 연속형 변수를 정렬한 후 각각의 bin에 나눠 담아 범주형 변수로 구간화

② 의사결정나무

세분화 또는 예측에 활용되는 의사결정나무 모형을 사용해 입력변수들을 구간화
의사결정나무를 사용하면 동일한 변수를 여러 개의 분리기준으로 사용 가능
연속변수가 반복적으로 선택될 경우, 각각의 분리 기준값으로 연속형 변수를 구간화 가능

[개미의 걸음 ADsP 3과목] 데이터 마트 ① reshape 패키지

IT개미 데이터 — Thu, 11 Feb 2021 17:17:30 +0900

reshape 패키지

데이터 마트를 생성할 수 있도록 데이터를 녹여서(Melt) 형상화(Cast)할 수 있는 R패키지

melt( ) : 쉬운 casting을 위해 데이터를 원하는 데이터의 형태로 바꿔주는 함수
cast( ) : 원하는 형태의 데이터를 계산 또는 변형시켜 요약 형태로 만드는 함수
acast( ) : 벡터, 배열 형태로 결과를 보여줌
dcast( ) : dataframe 형태로 결과를 보여줌
패키지 설치 : install.packages("reshape2")
패키지 연동 : library(reshape2)

ex> airquality data

data( )함수를 사용하면 데이터를 불러올 수 있음
summary( )함수를 사용하면 해당 데이터 셋이 어떤 구조를 가지고 있는지 파악 가능
수치형변수 : 최소값, 1사분위수, 2사분위수(중앙값), 3사분위수, 최대값, 평균
명목형변수 : 명목값, 데이터 개수
head( )함수를 사용하면 많은 데이터 중 일부의 데이터만 가져올 수 있음
기본적으로 6개의 데이터가 보여지며 보고싶은 데이터의 개수 지정 가능

names( )함수를 사용하면 변수만 확인 가능
tolower( )함수를 사용하면 변수들을 전부 소문자로 나타낼 수 있음
toupper( )함수를 사용하면 변수들을 전부 대문자로 나타낼 수 있음

[개미의 걸음 scikit-learn 4차시] Classification① 회귀분석 - 선형(with iris 데이터)

IT개미 데이터 — Thu, 11 Feb 2021 07:07:49 +0900

들어가기전...

2021/02/02 - [Python] - [개미의 걸음 scikit-learn 2차시] Classification(분류)의 이해

2021/02/03 - [Python] - [개미의 걸음 scikit-learn 3차시] Classification① 회귀분석

선형회귀분석

필요한 모듈 import

## pandas 모듈
import pandas as pd

## iris 데이터 모듈
from sklearn.datasets import load_iris

## train과 test set 구분 모듈
from sklearn.model_selection import train_test_split

## 선형회귀분석 모듈
from sklearn.linear_model import LinearRegression

## 데이터 표준화 모듈
from sklearn.preprocessing import StandardScaler

## MSE(평균제곱오차)
from sklearn.metrics import mean_squared_error

## 정확도 예측 모듈(연속적인 데이터에서 사용 안함)
## from sklearn.metrics import accuracy_score

데이터 셋 train/test 구분하기

## train, test 데이터를 각각 8:2로 구분
x_train, x_test, y_train, y_test = train_test_split(iris_data, iris_label, test_size=0.2, random_state=1)

## 데이터 표준화
sc = StandardScaler()
sc.fit(x_train)
x_train_std = sc.transform(x_train)
x_test_std = sc.transform(x_test)

test_size는 0~1사이의 값을 가지며 전체 데이터(1)에서 test 데이터의 비중을 의미
→ 기본값[default 값] : 0.25
random_state는 숫자를 임의로 생성할 때 재현가능하도록 난수의 초기값을 입력 [난수 생성기]
  → 기본값은 numpy.random에서 제공하는 random number generator가 사용됨
  → random_state에 지정하는 정수값에 따라 분석 결과가 다르게 나옴
  → 생략할 경우, 실행할 때마다 다른 결과가 나옴 [test/train 데이터가 계속 달라지므로]
→ 값을 지정할 경우, 여러번 다시 실행하여도 동일한 결과가 나옴
  → 쉽게 말해서 재현 가능하도록 고정되는 숫자를 지정하는 것!!!
ex> random_state=3 : 3개의 숫자는 무조건 고정
3개를 뽑으면 항상 같은 수가 나오지만 5개를 뽑으면 3개만 같고 2개를 계속 변화

linear model 만들기

linear_model = LinearRegression()
linear_model.fit(x_train_std, y_train)

coefficent(기울기), intercept(절편) 구하기

print('linear_model.coef : ' , linear_model.coef_ , 'linear_model.intercept : ' , linear_model.intercept_)

예측 데이터 만들기

y_pred = linear_model.predict(x_test_std)

MSE(잔차) 구하기[작을수록 모델의 예측력이 높음!!]

mse=mean_squared_error(y_true = y_test, y_pred = y_pred)
print('mse :', mse)

상관계수 비교하기[클수록 모델의 예측력이 높음!!]

## numpy.ndarray 타입을 pandas.core.series.Series 타입으로 변경
y_test = pd.Series(y_test)
y_pred = pd.Series(y_pred)
print( type(y_test), type(y_pred) )

## y_test와 y_pred 상관계수 분석
cor = y_test.corr(y_pred)
cor

+ 데이터 프레임으로 만들기

## pandas를 이용해 데이터 프레임 만들기
df = pd.DataFrame({'y_pred':y_pred, 'y_test':y_test})
df

## 데이터 프레임 상관계수 분석
cor = df['y_pred'].corr(df['y_test'])
cor

[개미의 걸음 ADsP 3과목] 데이터 마트의 이해(With 요약변수, 파생변수)

IT개미 데이터 — Wed, 10 Feb 2021 17:17:59 +0900

데이터마트[Data Mart]

데이터 웨어하우스와 사용자 사이의 중간층에 위치한 하나의 주제 또는 하나의 부서 중심의 데이터 웨어하우스

데이터 마트 내 대부분의 데이터는 데이터 웨어하우스로부터 복제되지만 자체적으로 수집도 가능
관계형 데이터베이스나 다차원 데이터베이스를 이용해 구축
동일한 데이터 셋을 활용할 경우, 최신 분석기법들을 이용하면 분석가의 역량 차이에 의한 분석 효과는 미미하지만 데이터 마트를 어떻게 구축하느냐에 따른 분속효과 차이는 큼
CRM[Customer Relationship Management] 관련 업무 중에서 핵심은 고객 데이터 마트 구축!
데이터 마트 내 대부분의 데이터는 데이터웨어하우스로부터 받음!
→ 받아온 데이터를 데이터 분석에 활용할 수 있는 자료로 변환하기 위해 만드는 것이 "변수"
변수에는 요약변수와 파생변수가 있음
→ 요약변수와 파생변수를 생성하는 것은 데이터마트를 구성할 때 가장 중요한 부분 중 하나
→ 모형 개발시 문제를 가장 잘 해석할 수 있는 변수를 찾는 것은 모형 개발에서 가장 중요한 핵심단계

요약변수

수집된 데이터를 특정 기준에 따라 사칙연산을 통해 만들어낸 변수

데이터 분석을 위해 만들어지는 데이터 마트의 가장 기본적인 변수
많은 모델에 공통으로 사용될 수 있어 재활용성이 높음
합계, 횟수 등과 같이 간단한 구조를 가지므로 자동화하여 상황에 맞게 또는 일반적인 자동화 프로그램 구축 가능
요약변수의 단점은 얼마 이상이면 구매하더라도 기준값의 의미해석이 애매할 수 있음
→ 이 경우, 연속형 변수를 그룹핑해 사용하는 것이 좋음

파생변수

사용자(분석자)의 노하우를 기반으로 특정 조건을 만족하거나 특정 함수에 의해 값을 만들어 의미를 부여한 변수

주관적인 변수이므로 논리적 타당성을 갖추어 개발하는 것이 중요
상황에 따라 특정 상황에만 유의미하지 않게 대표성을 나타내는 것이 중요
세분화, 고객행동 예측, 캠페인 반응 예측 등에서 많이 사용됨

[개미의 걸음 scikit-learn 10차시] 회귀분석

IT개미 데이터 — Wed, 10 Feb 2021 07:07:16 +0900

회귀분석

하나의 종속변수 y와 두 개 이상의 독립변수(x₁,x₂....)사이의 관계를 최소 제곱법에 의해 추정하는 수법

선형회귀	관측값 y₁이 독립변수의 선형 조합으로 표현되는 것
비선형회귀	관측값 y₁이 독립변수의 곡선 조합으로 표현되는 것

회귀식

데이터들을 대표하는 선을 그리는 것

Y=WX + b [W : 가중치, b : 편향(bias)]
ex> Y = W₀+W₁X₁+W₂X₂
점과 회귀식에 의해 그어진 점 사이의 거리가 에러
→ erroer=y - ŷ [y: 실제값, ŷ: 예측값]
다양한 데이터를 분류하기 위해선 cost를 최소화할 수 있는 다양한 선을 그어야 함[Decision Boundary]

선형회귀 vs 로지스틱 회귀

	선형 회귀	로지스틱 회귀
확률값 해석 가능여부	확률값으로 직접 해석 불가	확률값으로 해석 가능
종속 변수	연속형 변수	(0,1) → 범주형 데이터
계수 추정법	최소 제곱법	최대 우도 추정법
모형 검정	F검정, T검정	카이제곱검정[x²-test]
가설함수
비용함수
기울기함수[미분]