[개미의 걸음 ADsP 1과목] 빅데이터의 활용

빅데이터 활용의 기본 3요소

데이터	특정 목적없이 모든 것을 데이터화하여 축적된 데이터를 창의적 분석을 함으로써 새로운 가치로 부상
기   술	대용량의 데이터를 빠르게 처리하기 위한 알고리즘 진화 스스로 학습하고 데이터를 처리할 수 잇는 인공지능 기술
인   력	데이터 사이언티스트, 알고리즈미스트의 역할을 통해 빅데이터의 다각적 분석

 

빅데이터 활용의 기본 테크닉

연관규칙 학습	변인들 간에 주목할만한 상관관계가 있는지 찾아내는 방법      ex> 치킨을 구매하는 사람이 맥주를 더 많이 사는가?
유전자 알고리즘	최적화가 필요한 문제의 해결책을 자연선택*돌연변이 등의 메커니즘을 통해 점진적으로 진화시켜 나가는 방법      ex> 최대 시청률을 얻으려면 어떤 프로그램을 어떤 시간대에 방송해야 할까?            택배차량을 어떻게 배치하는 것이 비용 측면에서 가장 효율적인가?
유형 분석	문서를 분류하거나 조직을 그룹으로 나눌 때, 또는 온라인 수강생들을 특성에 따라 분류할 때 사용하는 방법      ex> 이 사용자는 어떤 특성을 가진 집단에 속하는가?
기계 학습	훈련 데이터로부터 학습한 특성을 활용해 예측하는 방법      ex> 기존 시청기록을 바탕으로 시청자가 보유한 영화 중에 어떤 것을 가장 보고 싶어할까?
회귀 분석	독립 변수를 조작함에 따라 종속변수가 어떻게 변하는지를 통해 두 변인의 관계를 파악하는 방법      ex> 나이에 따라 구매차량 타입에 어떤 영향을 미치는가?            고객의 만족도가 충성도에 어떤 영향을 미치는가?
소셜 네트워크 분석 [=사회 관계망 분석]	특정인과 다른 사람이 몇 촌 정도의 관계인가를 파악할 때 사용하는 방법 영향력 있는 사람을 찾아낼 때, 사용자 간의 소셜관계를 알아내고자 할 때 사용      ex> 고객들 간 관계망은 어떻게 구성되어 있나?
감정 분석	특정 주제에 대한 사용자의 긍정*부정 의견을 분석하거나 글 쓴 사람의 감정을 분석 사용자가 사용한 문장이나 단어가 분석 대상이 된다. 최근 SNS 발달로 비정형화된 데이터를 많이 이용하며 주목받는 방법      ex> 새로운 환불정책에 대한 고객 평가 분석            온라인 쇼핑몰에서 사용자의 상품평 분석

 

빅데이터 활용 사례

기     업	구글 : Ngram Viewer(수천 만권의 책을 디지털화 한 후 DB검색할 수 있는 서비스)             → 특정단어, 구문 검색 가능(사용 빈도 확인 가능)             사용자의 로그데이터를 활용해 검색 서비스를 개선              (기존의 페이지랭크[PageRank] 알고리즘을 개선)             *실시간 자동 번역시스템을 통한 의사소통 불편 해소 넷플릭스 : 이용자의 콘텐츠 기호를 파악해 새로운 영화를 추천해주는 Cinematch시스템 운영 월마트  : 소셜미디어를 통해 고객소비패턴을 분석하는 월마트랩[Wallmart Labs] 운영            고객의 소비 패턴을 분석해 상품 진열에 활용 자라 : 일일 판매량을 실시간 데이터 분석으로 상품 수요 예측 아마존 : 전자책 관련 데이터를 분석해 저자에게 독서 패턴 정보 제공            도서 구매 데이터를 분석해 책을 구매한 사람이 추가 구매할 것으로 예상되는 도서 추천 라쿠텐 : 슈퍼 데이터베이스를 구축해 이를 기반으로 다양한 마케팅 활동 진행
정     부	실시간 교통정보, 기후정보, 각종 지진 활용 등 다양한 국가 안전 확보 활동을 위해 실시간 모니터링을 활용 의료, 교육 개선에서도 활용 중
개     인	가   수 : 팬들의 음악 청취 기록 분석을 통해 실제 공연에서 부를 노래 순서를 짜는데 활용

 # 미국 국세청, 탈세 방지 시스템을 통한 국가 재정 강화

대용량의 데이터와 다양한 기술을 결합한 탈세 및 사기 범죄 예방 시스템 구축

→ 사기 방지 솔루션, 소셜 네트워크 분석, 데이터 통합 및 마이닝 등 활용

→ 세금 누락 및 불필요한 세금 환급 절감의 효과 발생

- 추진 목적 및 배경 : 전세계적으로 탈세 및 사기로 인한 국가의 재정 위기 가능성 증가

→ 글로벌 금융위기로 인한 재정 위기의 확산은 개인과 기업의 탈세에 따른 낭비성 재정 지출 문제 발생

→ 세계은행은 탈세 및 세금 사기와 관련된 지구촌 지하경제 규모가 전체 GDP의 18%에 이를 것으로 전망

→ 미국의 탈세 금액은 2010년을 기준으로 저소득층 의료보장 총액을 초과

 

- 추진내용

→ 정부기관 사기 방지 솔루션

→ 소셜 네트워크 분석을 통한 범죄 네트워크 발굴

→ 다양한 데이터 분석을 통한 지능형 감시 시스템 구축

 

- 효과 및 전망

→ 통합형탈세 및 정부사기방지시스템을 통해 연간 3,450억 달러에 달하는 세금 누락 및 불필요한 세금 환급 절감

→ 과학적 데이터를 근거로 탈세 조사를 수행함으로써 탈세자 수의 감축 등 우수성과 발생

→ 과거 데이터 분석을 통해 향후 발생할 수 있는 사기 범죄 및 탈세 관련 사건을 미연에 방지

# 일본, 센서데이터를 활용한 지능형 교통 안내 시스템

실시간으로 GPS 데이터를 분석하여 최적의 교통 정보를 사용자에게 전달하는 서비스

→ 교통상황과 관련된 데이터를 종합 분석하여 실시간으로 출발지에서 목적지까지의 최적 경로를 안내

→ 택시 및 정보 제공에 동의한 내비게이터 사용자로부터 얻어진 교통 정보를 이용

→ 사용자에게 최적의 교통상황 및 경로를 안내함으로써 에너지 효율을 높이고 교통 체증 감소 효과

 

추진 목적 및 배경

1. 지능형 교통 정보 시스템 (ITS, Intelligent Transport Systems)의 발전

→ 일본 ITS(Comprehensive Plan for ITS in Japan, ‘96)의 표준 체계 발표

→ 일본 건설성, 통산성, 운수성, 우정성, 경찰청의 5개성 정부차원에서 지능형 교통 정보 시스템 마련

→ ITS 사업의 아키텍처와 표준화 계획을 제시하여 일본 현실에 맞는 구축사업으로 발전

→ 2000년부터 2015년 이후까지 4단계로 구분하여 개발과 구축을 위한 장기적 전략을 제시

2. 일본 내 내비게이터를 이용하는 사용자의 폭발적인 증가

→ 일본의 자동차 내비게이션 시장은 2008년 기준 연간 317만 대 규모로 2007년에 비해 0.6% 발전하지만,

포터블 내비게이션인 PND(Personal Navigation Device)*가 차지하는 비중은 급속히 증가 추세

※ PND : 액정화면이 4인치 정도로 작고 지도 데이터를 본체 플래시 메모리나 외부 메모리에 보존하는 간이형 내비게이션

추진내용 : GPS로부터 자동차의 주행 스피드를 계산하여 교통 정보 수집

→ 일본 전역 지정도시의 택시(약 11,000여 대)와 데이터 제공에 동의한 사용자로부터 실시간 교통정보 수집

→ 수집된 교통정보를 바탕으로 실시간으로 최적의 교통 안내 서비스 제공

→ UTIS(Urban Traffic Information System)를 통한 독자적 도로 교통 정보망 구축

 

효과 및 전망

→ 일본 노무라 연구소는 스마트 폰형 내비게이션 서비스인 ‘전력 안내! 내비’를 활용하여, 2011년 일본 대 지진 시 도로교통 체증 피해 최소화

→ 사용자에 의해 취득된 정보를 바탕으로 실시간 교통 정보를 공유함으로써 최적의 교통 안내 서비스 가능

→ 교통체증으로 인한 불필요한 에너지 낭비 방지를 통해 에너지 효율 증대