2030 BigDATA

통계 특정집단을 대상으로 수행한 조사나 실험을 통해 나온 결과에 의해 요약된 형태의 표현 조사 대상의 범위에 따라 전수조사와 표본조사로 구분 전수 조사 대상 집단 모두를 조사하는데 많은 비용*시간이 소요되므로 특별한 경우를 제외하고는 사용되지 않음 표본 조사 모집단에서 샘플을 추출하여 진행하는 조사로 대부분의 설문조사가 표본조사로 진행됨 모집단의 정의, 표본의 크기, 조사방법, 조사기간, 표본추출방법을 정확히 명시해야 한다. # 표본 조사에서 사용되는 주요 용어 모집단[Population] 조사하고자 하는 대상 집단 전체 원소[Element] 모집단을 구성하는 개체 표본[Sample] 조사하기 위해 추출한 모집단의 일부 원소 모수[Parameter] 표본 관측에 의해 구하고자 하는 모집단에 대한 정보 표..

자격증/ADsP 2021. 2. 17. 17:17

이산형 확률 분포 ① 이산형 확률변수 확률변수 X가 유한집합이거나 자연수의 부분집합과 일대일 대응일 때의 확률변수 X ② 수학적 기대값, E[u(x)] f(x)가 이산확률변수 x의 pdf이고 ∑u(x)f(x)의 값이 존재할 때, 이를 수학적 기대값이라 함 ★ 기대값의 성질 ★ 1. E[c]= C [단, C는 상수] 2. E[cx] = cE(x) 3. E[cu(x)]=cE[u(x)] 4. E[c1u1(x)±c2u2(x)]=c1E[u1(x)]±c2E[u2(x)] 5. u1(x) ≤ u2(x)이면 E[u1(x)] ≤ E[u2(x)]이다. 평균과 분산 확률변수 X가 이산확률밀도 함수f(x)를 갖고 그 공간 R={b1,b2...}일 때, b1f(b1)+b2f(b2)....를 평균이라고 함 ex1> f(x)=1/8..

자격증/ADsP 2021. 2. 15. 17:17

확률 표본공간[S]에 있는 각 사건과 실수 P(A)가 대응하는 집합함수 부분집합인 각 사건에 대해 실수값을 가지는 함수의 확률 값 P(A)는 A의 확률[0 ≤ P(A) ≤ 1 , P(S) =1] 표본공간[Sample Space, S(간혹 Ω로 표기) 모든 가능한 실험 결과들의 모임 사건[Event] 표본공간[S]의 부분집합 원소[Element] 나타날 수 있는 개별의 결과들을 의미 확률변수[Random Variable] 표본공간[S]의 각 원소 S가 단 하나의 실수 X에 대응하는 함수 정의역이 표본공간 치역이 실수값[0 100개[양품80, 불량20개] 중 5개를 추출할 때, 불량품이 0개인 확률은? 이항정리 이항정리의 일반화[다항정리] 파스칼 정리 n개 중 r개를 뽑는 확률은 n-1개 중[1개를 미리 뽑..

자격증/ADsP 2021. 2. 14. 17:17

탐색적 자료분석[EDA, Explonatory Data Analysis] 데이터가 가지고 있는 특성을 파악하기 위해 해당 변수의 분포 등을 시각화하여 분석하는 분석 방법 미국의 존 튜키교수가 1977년 발표한 저서에 EDA가 처음으로 언급 당시 주로 사용하던 확증적분석[CDA, Confirmatory Data Analysis]는 가설을 검증하는데 주로 사용되었지만 EDA는 자료를 하나의 목적으로 보징낳고 여러 방면으로 바라보기 위해 고안되었다. 다양한 차원과 값을 조합하여 특이한 점이나 의미있는 사실을 도출하고 분석의 최종 목적을 달성해가는 과정 데이터의 특징과 내재하는 구조적 관계를 알아내기 위한 기법들의 총칭 데이터에 대한 전반적인 이해를 통해 분석 가능한 데이터인지 확인하는 단계 [함수를 적용하는 ..

자격증/ADsP 2021. 2. 13. 17:17

변수[Variable] 저장된 값[숫자, 문자, 논리값 등]이 바뀔 수 있는 값들을 임시로 보관해 놓기 위한 저장소 변수의 첫글자는 문자나 .(점, dot)로 시작하며, 그 이후에는 문자/숫자/dot/underline 을 사용 가능 대소문자를 구분해야 됨을 유의! 한 번 만들어 사용한 변수는 R을 종료할 때까지 사라지지 않는다. 하나의 변수는 다양한 유형의 값을 저장할 수 있다. 질적 변수 명목형 변수 이름을 기준으로 한 형태 순서형 변수 순서가 있는 형태 양적 변수 연속 변수 연속된 숫자로 구성 이산 변수 떨어져 있는 숫자로 구성 변수 파악 데이터 분석을 위해서는 구성된 데이터의 변수들을 파악하는 것이 중요 summary( )함수를 사용하면 해당 데이터 셋이 어떤 구조를 가지고 있는지 파악 가능 수치형..

자격증/ADsP 2021. 2. 12. 17:17

reshape 패키지 데이터 마트를 생성할 수 있도록 데이터를 녹여서(Melt) 형상화(Cast)할 수 있는 R패키지 melt( ) : 쉬운 casting을 위해 데이터를 원하는 데이터의 형태로 바꿔주는 함수 cast( ) : 원하는 형태의 데이터를 계산 또는 변형시켜 요약 형태로 만드는 함수 acast( ) : 벡터, 배열 형태로 결과를 보여줌 dcast( ) : dataframe 형태로 결과를 보여줌 패키지 설치 : install.packages("reshape2") 패키지 연동 : library(reshape2) ex> airquality data data( )함수를 사용하면 데이터를 불러올 수 있음 summary( )함수를 사용하면 해당 데이터 셋이 어떤 구조를 가지고 있는지 파악 가능 수치형변수..

자격증/ADsP 2021. 2. 11. 17:17

데이터마트[Data Mart] 데이터 웨어하우스와 사용자 사이의 중간층에 위치한 하나의 주제 또는 하나의 부서 중심의 데이터 웨어하우스 데이터 마트 내 대부분의 데이터는 데이터 웨어하우스로부터 복제되지만 자체적으로 수집도 가능 관계형 데이터베이스나 다차원 데이터베이스를 이용해 구축 동일한 데이터 셋을 활용할 경우, 최신 분석기법들을 이용하면 분석가의 역량 차이에 의한 분석 효과는 미미하지만 데이터 마트를 어떻게 구축하느냐에 따른 분속효과 차이는 큼 CRM[Customer Relationship Management] 관련 업무 중에서 핵심은 고객 데이터 마트 구축! 데이터 마트 내 대부분의 데이터는 데이터웨어하우스로부터 받음! → 받아온 데이터를 데이터 분석에 활용할 수 있는 자료로 변환하기 위해 만드는 ..

자격증/ADsP 2021. 2. 10. 17:17

데이터 분석 데이터 분석은 통계를 기반으로 두고 있지만 통계지식과 복잡한 가정이 상대적으로 적은 실용적인 분야 대기업들의 경우, 데이터웨어하우스[D.W]와 데이터마트[D.M]을 구축해 분석 데이터를 가져와 사용 신규시스템이나 D.W에 포함되지 못한 자료의 경우, Legacy, Staging Area, ODS에서 데이터를 가져와 D.W에서 가져온 내용과 결합하여 활용할 수 있다.[단, 전처리없이 D.W와 바로 결합하지는 못함] → 운영시스템[Legacy]에 직접 접근해 데이터를 활용하는 것은 매우 위험한 일이므로 거의 사용 안함 → Staging Area의 데이터는 운영시스템에서 임시로 저장된 데이터이므로 거의 사용 안함 ODS[운영데이터 저장소]의 데이터는 기존 운영시스템의 데이터를 전처리하여 정제된 데..

자격증/ADsP 2021. 2. 9. 17:17