2030 BigDATA

Theano 파이썬 기반의 최초의 딥러닝 라이브러리 GPU와 CPU에 대해 동일한 파이썬 코드를 사용할 수 있음 CPU, GPU 수치 계산에 유용한 선형대수 심블 컴파일러 수치적인 미분, 선형대수 계산을 포함해 Symbolic Expression을 통한 정의된 수식을 사람처럼 미분하거나 재정리해서 전체 계산에 대한 최적의 계산 경로를 찾아내는 소프트웨어 수치미분을 사용한 연산에 비해 정확도나 속도가 빨라 대용량 선형대수 계산이나 몬테카를로 시뮬레이션, 딥러님에 사용되고 있다. 티아노 기반 위에 더 사용하기 쉽게 구현된 라이브러리에는 Keras, Pylearn2, Lasagne, Blocks 등이 있다. # Keras[케라스] 더보기 효율적인 신경망 구축을 위해 단순화된 인터페이스로 개발 파이썬 기반의 티..

자격증/ADsP 2020. 6. 25. 17:17

데이터베이스는 전통적으로 데이터를 보존하는 형식에 따라 5가지로 구분된다. ① 계층형 데이터베이스 데이터를 계층 구조[트리 구조]로 관리하는 데이터 베이스 현대적인 데이터베이스 역사상 최초로 등록된 데이터베이스 타입 ② 관계형 데이터베이스 데이터를 2차원 표 형식으로 관리하는 데이터베이스 → 데이터를 Column과 row를 이루는 하나 이상의 테이블로 정리해 Primary key가 각 row를 식별 → row는 레코드나 튜플로 부르며, 일반적으로 각테이블[관계]는 하나의 엔티티 타입을 대표 Column은 엔티티 종류의 인스턴스의 속성이 되는 값을 대표 → 현재 가장 주류를 이루고 있는 데이터 베이스 ③ 객체지향 데이터베이스 데이터를 ''객체'의 형식으로 관리하는 데이터베이스 → 객체란 유형이나 무형으로 ..

자격증/ADsP 2020. 6. 21. 17:17

개인정보 비식별 기술 비식별 기술이란 데이터 셋에서 개인을 식별할 수 있는 요소를 전부 또는 일부 삭제하거나 다른 값으로 대처하는 등의 방법으로 개인을 알아볼 수 없도록 하는 기술 ① 데이터 마스킹 데이터의 길이, 유형, 형식과 같은 속성을 유지한 채, 새롭고 읽기 쉬운 데이터를 익명으로 생성하는 기술 ex> 홍길동, 20세, 궁미도 거주, 율도대 → 홍 * * , 20세, 궁미도 거주, * * 대 ② 가명처리 개인 식별에 중요한 데이터를 식별할 수 있는 다른 값으로 변경하는 기술 다른 값으로 대체 시 일정한 규칙이 노출되지 않도록 주의해야 함 → 난수화[Random number] : 규칙적이지 않게 나열되어 예측이 불가능한 숫자 ex> 홍길동, 20세, 궁미도 거주, 율도대 재학 → 허균저, 20세, ..

자격증/ADsP 2020. 6. 19. 17:17

데이터 사이언스[Data Science] 데이터 공학, 수학, 통계학, 컴퓨터 공학, 시각화, 해커의 사고방식, 해당 분야의 전문지식을 종합한 학문 데이터로부터 의미 있는 정보를 추출해내는 학문으로 데이터 마이닝과 개념적으로 유사 기존 통계학과 달리 '총체적 접근법'을 사용 정형, 비정형을 막론하고 다양한 유형의 데이터를 대상으로 분석뿐만 아니라 이를 효과적으로 구현하고 전달하는 과정까지를 포함한 포괄적 개념 (데이터 사이언스에서 시각화와 효과적 커뮤니케이션은 매우 중요한 요소) 데이터 사이언스는 과학과 인문의 교차로 # 데이터 사이언스, 과학과 인문의 교차로 더보기 단순한 분석기술(단순통계, 데이터처리)뿐만 아니라 스토리텔링, 커뮤니케이션, 열정, 비판적 시각, 대화능력 등 인 문학적 요소가 필요하다...

자격증/ADsP 2020. 6. 18. 17:17

빅데이터 시대의 위기 요인 ① 사생활 침해 개인정보가 포함된 데이터를 목적 이외에 활용할 경우, 사생활 침해를 넘어 사회*경제적 위협으로 변형될 수 있다. ex> 여행 사실을 SNS에 올린 사람의 집을 노리는 강도 ② 책임 원칙 훼손 빅데이터 기본 분석과 예측 기술이 발전으로 분석대상이 되는 사람들이 예측 알고리즘의 희생양이 될 가능성이 있다. 민주주의 국가에서는 잠재적인 휘험이 아닌 명확한 결과에 책임을 물으므로 이 원리를 훼손할 가능성이 크다. ex> 범죄예측 프로그램에 의해 범행을 저지르기 전 체포 ③ 데이터 오용 일어난 일에 대한 데이터에 의존하므로 미래 예측이 항상 맞을 수 없으며 잘못된 지표 사용도 빅데이터 폐해가 될 수 있다. ex> 베트남전쟁 당시, 미국의 맥나마라 장군이 적군 사망수를 전..

자격증/ADsP 2020. 6. 17. 17:17

빅데이터 활용의 기본 3요소 데이터 특정 목적없이 모든 것을 데이터화하여 축적된 데이터를 창의적 분석을 함으로써 새로운 가치로 부상 기 술 대용량의 데이터를 빠르게 처리하기 위한 알고리즘 진화 스스로 학습하고 데이터를 처리할 수 잇는 인공지능 기술 인 력 데이터 사이언티스트, 알고리즈미스트의 역할을 통해 빅데이터의 다각적 분석 빅데이터 활용의 기본 테크닉 연관규칙 학습 변인들 간에 주목할만한 상관관계가 있는지 찾아내는 방법 ex> 치킨을 구매하는 사람이 맥주를 더 많이 사는가? 유전자 알고리즘 최적화가 필요한 문제의 해결책을 자연선택*돌연변이 등의 메커니즘을 통해 점진적으로 진화시켜 나가는 방법 ex> 최대 시청률을 얻으려면 어떤 프로그램을 어떤 시간대에 방송해야 할까? 택배차량을 어떻게 배치하는 것이 ..

자격증/ADsP 2020. 6. 16. 17:17

빅데이터[Big Data] 디지털 환경의 발전으로 엄청난 양의 데이터가 생성되면서 빅데이터 시대에 진입 빅데이터는 일반적인 데이터베이스 소프트웨어로 저장*관린*분석할 수 있는 범위를 초과하는 데이터 규모 「Mckinsey, 2011」 ▶ 데이터 규모에 중점을 둔 정의 빅데이터는 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고 데이터의 초고속 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍쳐이다. 「IDC, 2011」 ▶ 분석 비용 및 기술에 중점을 둔 정의 Gatner Group의 Doug Laney의 3V * Volume[규모] : 데이터 규모 측면 * Variety[형태] : 데이터 유형과 소스 측면 * Velocity[속도] : 데이터의 수직과 처리 측면 ▶ 데이터 ..

자격증/ADsP 2020. 6. 15. 17:17

Data의 정의 Data는 추론과 추정을 근거로 이루는 사실이다. [옥스퍼드 대사전] Data는 단순한 객체로서의 가치뿐만 아니라 다른 객체와의 상호작용 속에서 가치를 갖는다. 더보기 Data란 용어는 1646년 영국의 문헌에서 처음 등장 라틴어인 dare(주다)의 과거 분사형으로 '주어진 것'이란 의미로 사용됨 1940년대 이후 컴퓨터 시대가 도래하면서 데이터의 의미가 변화됨 관념적*추상적 개념 → 기술적*사실적 의미 정형*반정형*비정형 데이터 ① 정형 데이터 형태[고정된 필드]가 있으며 연산이 가능 주로 RDBMS[관계형데이터베이스관리시스템]에 저장됨 데이터 자체로 분석 가능, 주로 내부 시스템이라 데이터 수집이 쉽다 → 데이터 수집 난이도가 낮고 형식이 정해져 있어 처리가 쉬운 편 ex) 관계형데이..

자격증/ADsP 2020. 6. 14. 17:17