[개미의 걸음 ADsP 1과목] 빅데이터의 등장 및 가치

빅데이터[Big Data]

디지털 환경의 발전으로 엄청난 양의 데이터가 생성되면서 빅데이터 시대에 진입

빅데이터는 일반적인 데이터베이스 소프트웨어로 저장*관린*분석할 수 있는 범위를 초과하는 데이터 규모
                                                                                                                       「Mckinsey, 2011」

       ▶ 데이터 규모에 중점을 둔 정의

빅데이터는 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고 데이터의 초고속 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍쳐이다.   「IDC, 2011」

       ▶ 분석 비용 및 기술에 중점을 둔 정의

Gatner Group의 Doug Laney의 3V
   * Volume[규모] : 데이터 규모 측면
   * Variety[형태]  : 데이터 유형과 소스 측면
   * Velocity[속도] : 데이터의 수직과 처리 측면

       ▶ 데이터 자체의 특성 변화에 따른 좁은 관점의 정의

빅데이터는 데이터 처리, 정장, 분석기술 및 아키텍처 클라우드 컴퓨팅의 활용, 저장장치의 가격하락 등을 포함하는 개념이다.

       ▶ 데이터 자체 뿐만 아니라 처리*분석과 같은 기술적 변화를 포함하는 중간 관점에서의 정의

 

빅데이터는 Data scientist 같은 새로운 인재가 필요하며, data중심의 조직이 필요하다.

       ▶ 인재, 조직 변화까지 포함된 넓은 관점에서의 정의

 

빅데이터로 인한 본질적인 변화

사전처리 → 사후처리	필요한 정보만 모으던 시스템에서 가능한한 많은 양의 데이터를 모아서 활용하는 시스템으로의 변화
표본조사 → 전수조사	표본을 조사하던 기존의 지식 발견 방식에서 전체를 조사하는 전수조사로의 변화    → 수집 비용의 감소와 클라우딩 컴퓨터 기술의 발전으로 데이터 처리 비용 감소로 인해 가능
질 → 양	데이터 양이 많을수록 양질의 정보가 오류 정보보다 많아 전체적으로 좋은 결과를 산출한다는 추론에 바탕을 둔 변화
인과관계 → 상관관계	자료들이 올바른 논리가 필요한 인과관계에서 제대로된 논리가 존재하지 않지만 연관성이 존재하는 상관관계로의 변화   → 상관관계를 통해 특정현상 발생가능성이 포착되고 대처방안을 추천하는 방식으로의 변화

       ▶ 기존의 방식으로는 얻을 수 없는 토알 및 가치 창출

       ▶ 사업 방식, 시장, 사회, 정부 등에서 변화와 혁신 주도

# 인과관계 & 상관관계

인과관계 : 어떤 현상에 대해 현상을 발생시킨 원인과 그 결과 사이의 관계

상관관계 : 어던 두 현상에 대해 어느 쪽이 원인인지 알 수 없지만 상관성이 있다는 것을 의미하는 관계

빅데이터의 가치

여러가지 변수로 인해 빅데이터 시대에는 가치를 측정하는 것이 어렵다.

데이터 활용 방식	재사용, 재조합, 다목적용 데이터 개발 등이 일반화되면서 특정 데이터를 언제, 어디서, 누가 활용할지 알 수 없게 되어 가치 산정이 어려워짐
새로운 가치 창출	빅데이터 시대는 데이터가 '기존에 없던' 가치를 창출함에 따라 그 가치 측정이 어려워짐
분석 기술 발전	현재는 가치없는 데이터일지라도 추후에 새로운 분석 기법이 등장한다면 거대한 가치를 지닌 데이터가 될 수 있다.

# 멕킨지[Mckinsey]가 언급한 빅데이터 가치를 만들어 내는 5가지 방식

 

① 투명성 제고를 연구개발 미 관리 효율성 제고

② 시뮬렝션을 통한 수요 포착 및 주요탐색 변수로 경쟁력 강화

③ 고객 세분화 및 맟품 서비스 제공

④ 알고리즘을 활용한 의사결정 보조 혹은 대체

⑤ 비즈니스 모델과 제품, 서비스 혁신

 

빅데이터의 영향

다양한 시장 주체들이 빅데이터를 활용함에 따라 소비자인 일반인들은 맞춤형 서비스를 저렴한 비용으로 이용하게 되고 적시에 필요한 정보를 얻음으로써 다양한 형태로 기회 비용을 절약할 수 있어 사람들의 생활이 점점 스마트해짐

기    업	* 혁신, 경쟁력 제고, 생산성 향상 * 빅데이터를 활용해 소비자의 행동을 분석하고 시장 변동을 예측해 비즈니스 모델을 혁신하거나 신사업을 발굴 * 기업에서의 빅데이터 분석은 기업의 분석 문화 결정에 결정적으로 영향을 받는다
정    부	* 환경탐색, 상황분석, 미래대응 * 기상, 인구인동, 각종통계, 법제 데이터 등을 수집해 사회변화를 추정하여 관련 정보를 추출
개    인	* 목적에 따른 활용 * 빅데이터를 서비스하는 기업이 늘어나면서 데이터 분석 비용이 지속적으로 하락하여 정치인이나 대중가수 등의 개인도 인지도 향상에 빅데이터를 활용

 

빅데이터의 비유

산업혁명의 석탄, 철	제조업 뿐만 아니라 서비스 분야 생산성도 획기적으로 끌어올릴 것을 예상
21세기의 원유	경제 성장에 필요한 정보를 제공함으로써 산업 전반의 생산성을 향상시킬 것으로 예상
렌    즈	현미경이 생물학 발전에 영향을 미쳤던 만큼 데이터가 산업 발전에 영향을 미칠 것으로 예상
플  랫  폼	'공동 활용의 목적으로 구축된 유무형의 구조물'으로써 다양한 서드파티 비즈니스에 활용될 것으로 예상