2030 BigDATA

데이터마트[Data Mart] 데이터 웨어하우스와 사용자 사이의 중간층에 위치한 하나의 주제 또는 하나의 부서 중심의 데이터 웨어하우스 데이터 마트 내 대부분의 데이터는 데이터 웨어하우스로부터 복제되지만 자체적으로 수집도 가능 관계형 데이터베이스나 다차원 데이터베이스를 이용해 구축 동일한 데이터 셋을 활용할 경우, 최신 분석기법들을 이용하면 분석가의 역량 차이에 의한 분석 효과는 미미하지만 데이터 마트를 어떻게 구축하느냐에 따른 분속효과 차이는 큼 CRM[Customer Relationship Management] 관련 업무 중에서 핵심은 고객 데이터 마트 구축! 데이터 마트 내 대부분의 데이터는 데이터웨어하우스로부터 받음! → 받아온 데이터를 데이터 분석에 활용할 수 있는 자료로 변환하기 위해 만드는 ..

자격증/ADsP 2021. 2. 10. 17:17

회귀분석 하나의 종속변수 y와 두 개 이상의 독립변수(x1,x2....)사이의 관계를 최소 제곱법에 의해 추정하는 수법 선형회귀 관측값 y1이 독립변수의 선형 조합으로 표현되는 것 비선형회귀 관측값 y1이 독립변수의 곡선 조합으로 표현되는 것 회귀식 데이터들을 대표하는 선을 그리는 것 Y=WX + b [W : 가중치, b : 편향(bias)] ex> Y = W0+W1X1+W2X2 점과 회귀식에 의해 그어진 점 사이의 거리가 에러 → erroer=y - ŷ [y: 실제값, ŷ: 예측값] 다양한 데이터를 분류하기 위해선 cost를 최소화할 수 있는 다양한 선을 그어야 함[Decision Boundary] 선형회귀 vs 로지스틱 회귀 선형 회귀 로지스틱 회귀 확률값 해석 가능여부 확률값으로 직접 해석 불가 확..

Python 2021. 2. 10. 07:07

데이터 분석 데이터 분석은 통계를 기반으로 두고 있지만 통계지식과 복잡한 가정이 상대적으로 적은 실용적인 분야 대기업들의 경우, 데이터웨어하우스[D.W]와 데이터마트[D.M]을 구축해 분석 데이터를 가져와 사용 신규시스템이나 D.W에 포함되지 못한 자료의 경우, Legacy, Staging Area, ODS에서 데이터를 가져와 D.W에서 가져온 내용과 결합하여 활용할 수 있다.[단, 전처리없이 D.W와 바로 결합하지는 못함] → 운영시스템[Legacy]에 직접 접근해 데이터를 활용하는 것은 매우 위험한 일이므로 거의 사용 안함 → Staging Area의 데이터는 운영시스템에서 임시로 저장된 데이터이므로 거의 사용 안함 ODS[운영데이터 저장소]의 데이터는 기존 운영시스템의 데이터를 전처리하여 정제된 데..

자격증/ADsP 2021. 2. 9. 17:17

사용자 정의 함수 function()을 사용해 사용자가 원하는 함수를 정의하기 위해 사용하는 함수 인수를 이용한 함수, 인수가 없는 함수를 만들 수 있음

자격증/ADsP 2021. 2. 8. 17:17

① for(변수 in 범위){반복 문장} for(variable in vector) { } ② While(조건) {반복 문장} while(condition) { } ③ Repeat While문과 유사하지만 일단 한번은 무조건 실행되어야만 하는 반복 구문

자격증/ADsP 2021. 2. 7. 17:17

graphviz 설치 ① graphviz 다운 https://www2.graphviz.org/Packages/stable/windows/10/cmake/Release/x64/ 해당 사이트에서 자신의 컴퓨터 사양에 맞는 것 다운로드! Parent Directory를 클릭하면 상위 폴더로 이동 ② graphviz 설치 다운로드 받은 파일을 실행 Add Graphviz to the system PATH for current user를 선택 → 나중에 사용자변수 PATH를 지정할 필요없어서 편함! → 기본값으로 해도 무방 [ 나중에 별도로 지정하면 됨] 파일 위치 선정하고 설치 ③ anaconda에서 설치하기 anaconda 창에서 graphviz 설치 → pip install graphviz ④ 환경변수 설정..

Python 2021. 2. 4. 17:17

들어가기전... 2021/02/01 - [Python] - [개미의 걸음 scikit-learn 1차시] 사이킷런의 이해 2021/02/02 - [Python] - [개미의 걸음 scikit-learn 2차시] Classification(분류)의 이해 2021/02/03 - [Python] - [개미의 걸음 scikit-learn 3차시] Classification① 의사결정트리(Decision Tree)의 이해 사이킷런에서의 의사결정트리 분류를 위한 클래스인 DecisionTreeClassifier와 회귀를 위한 클래스인 DecisionTreeRegressor DecisionTreeClassifier와 DecisionTreeRegressor는 동일한 파라미터 사용 파라미터 명 설명 min_samples..

Python 2021. 2. 4. 07:07

Decision Tree[의사결정나무] 학습을 통해 데이터에 있는 규칙을 찾아내어 Tree기반의 분류 규칙을 만드는 것 ML 알고리즘 중 직관적으로 이해하기 쉬운 알고리즘 → Tree구조는 연속적으로 발생하는 의사결정문제를 시각화 → 의사결정이 이뤄지는 시점과 성과를 한눈에 한 눈에 보여줌 → 계산결과가 의사결정나무에 직접 나타나기 때문에 해석이 간편 → 불순도가 낮아야 정보획득량이 높음 의사결정나무는 주어진 입력값에 대한 출력값을 예측하는 모형(주로 하향식 기법 사용) 분류나무와 회귀나무 모형이 잇음 → 사이킷런에서는 DecisionTreeClassifier와 DesisionTreeRegressor 클래스 → 사이킷런의 결정 트리 구현은 CART[Classification And Regression T..

Python 2021. 2. 3. 07:07