[개미의 걸음 ADsP 2과목] 데이터 분석 방법론

분석 방법론

분석 방법론은 체계적인 절차와 그 처리 방법을 정리한 것

• 분석 방법론은 데이터 분석이 효과적으로 기업 내에 정착하기 위해 필수적으로 수립해야 함
• 분석 방법론은 업무 수행에 대한 최소한의 품질 보증
• 분석 방법론은 역량과 경험에 의존하지 않고 누가 수행하던 "일정 수준의 질과 양"이 보장될 수 있는 시스템
• 분석 방법론은 경험과 감에 따른 의사결정이 아닌 데이터 기반의 의사결정을 가능하게 한다.

기업의 합리적인 의사결정을 가로막는 장애요소

고정관념[Stereotype]

편향된 생각[Bias]

프레이밍 효과[Framing Effect]

# 프레이밍 효과[Framing Effect]

문제의 표현 방식에 따라 동일한 사건이나 상황임에도 불구하고 개인의 판단이나 선택이 달라질 수 있는 현상

 

분석 방법론의 구성요소

• 상세한 절차[Procedures]
• 실행 방법[Methods]
• 도구와 기법[Tools & Technology]
• 템플릿과 산출물[Templates & Output]

 

방법론이 만들어지는 과정[순환]

<방법론이 만들어지는 과정>

 ↓ 암묵지*형식지에 대해 자세히 알아보기

2020/06/14 - [빅데이터[ADsP]] - [ADsP 1과목] 데이터의 이해

 

방법론 Process

<방법론의 3단계 Process>

 

방법론의 적용업무 특성에 따른 모델

① Waterfall Model [폭포수 모델]

이전 단계로 돌아갈 수 없다는 전제하에 각 단계를 확실히 매듭짓고 그 결과를 철저히 검토해 승인과정을 거친 후 다음 단계를 진행하는 방법      ≫ 기존 IT의 SW공학에서 가장 오래되고 가장 폭넓게 사용된 전통적인 모델      ≫ 하향식 방식

② Prototype Model[프로토타입 모델]

개발이 완료되는 시점에서 오류가 발생되는 폭포수 모델의 단점을 보완하기 위해 점진적으로 시스템을 개발하는 방법      ≫ 고객의 요구사항을 완전히 이해하고 있지 못하거나 완벽한 요구사항 분석의 어려움을 해결하기 위한 방식      ≫ 일부분을 먼저 개발한 Prototype을 통해 고객의 요구사항을 정확하게 분석하는 방식

③ Spiral Model[나선형 모델]

반복을 통해 점층적으로 개발하는 방법으로 처음 시도하는 프로젝트 적용에 용이      ≫ 관리체계를 효과적으로 갖추지 못한 경우, 복잡도가 상승해 프로젝트 진행이 어려울 수 있음

 

 

분석 방법론의 종류

① 통계적 방법론

표본론 + 추정 + 가설검정 + 다변량분석

전통적인 통계 분석을 위한 방법론으로 주로 학술연구에 많이 이용되는 방법론

• 통계적 이론을 발굴하는데 중점을 두기 때문에 비즈니스 목적으로는 적합하지 않는 방법론
• 모집단을 대표할 수 있는 표본 집단에서 정보를 수집하고 가설 검증 등 추론 과정을 거쳐 분석하는 것이 통계 분석

② 데이터 마이닝 방법론

통계적 분석기법 + 분산 병렬 + DB + 기계학습, 알고리즘, 신호처리이론

비즈니스 활용 목적으로 만들어진 방법론으로 대용량의 자료로부터 패턴을 파악해 유의미하 데이터를 추출

• 데이터가 크고 다양할수록 보다 활용하기 유리한 분석
• 성능에 집착하면 분석 모델링의 주목적인 실무 적용에 반하여 시간을 낭비할 수 있으므로 훈련 및 테스트 성능에 큰 편차가 없고 예상 성능을 만족하면 중단한다.
• 일정 성과가 나오면 해석과 활용 단계로 진행할 수 있도록 의사결정해야한다.
• SEMMA, CRISP-DM, KDD방법론 등이 있다.

③ 빅데이터 방법론

빅데이터 출현으로 인한 비정형데이터 활용을 위한 새로운 분석 방법론

데이터 마이닝이 RDBMS기반인 반면, 빅데이터는 RDBMS + NoSQL기반

• NoSQL은 비정형 데이터를 자유롭게 분석할 수 있도록 해준다.